Kynnyksellä

Kokoan tänne blogin puolelle pari Facebook-seinäkirjoitustani, jotka käsittelevät viimeaikaista tekoälyn huimaa kehitystä.

29.3.2023

Hesarissa esiteltiin ennusteita ChatGPT:n vaikutuksesta yhteiskuntaan artikkelissa https://www.hs.fi/talous/art-2000009485920.html . Oma kokemus ChatGPT:stä on, että se kykenee todellakin käsittelemään yleisesti ongelmia ja oppimaan ohjaamatta Internetin materiaalista. Tässä mielessä se on aivan uudenlainen ”kone” ja jakaisin teknologisen kehityksen kolmeen erilaiseen vaiheeseen:

1. Aluksi teknologiat olivat eräänlaisia työkaluja, jotka ratkaisivat kukin yhden rajatun ongelman tehokkaasti.

2. Sitten keksittiin tietokone, joka oli universaali kone. Tämä tarkoittaa, että se voidaan ohjelmalla (kulttuuri) muuttaa ratkaisemaan mikä tahansa ongelma.

3. Kolmas vaihe eli tekoäly on taas jotain laadullisesti aivan uutta: se on universaali ohjelma, joka kykenee muuntautumaan ratkaisuksi mielivaltaisiin ongelmiin universaalisti (ilman tarkasti kohdistettua syötettä, jotain sekin tosin tarvitsee lähdemateriaaliksi).

Tällä hetkellä ChatGPT:n rajoitukset tuntuvat lähinnä rajoituksilta sen kapasiteetissa: ikään kuin sen ylläpitämä konteksti ei aina riittäisi ja sitten se alkaa unelmoimaan satunnaisia yksityiskohtia. Jos tämä on totta ja ajatellaan, että vaikka 20 vuodessa laskentakapasiteetti esimerkiksi tuhatkertaistuu nykyisestä, ovat tässäkin artikkelissa esitetyt skenaariot vielä maltillisia, puhumattakaan siitä, mitä lopulta on edessä. En lähde arvioimaan kehityksen aikaskaalaa, en edes suuruusluokan tasolla, mutta olen täysin varma, että tekoälykehityksen vaikutus pitkällä tähtäimellä tulee olemaan ihmiskunnalle jotain aivan ennennäkemätöntä, johon on turha lähteä hakemaan analogioita historiasta. Kun kone ohittaa ihmisen älykkyydessä, on meidän aikamme nykymuodossa lopullisesti ohi. Se voi ehkä tarkoittaa jotain lemmikkeinä viihtymistä virtuaalimaailmoissa, mutta meillä ei enää sen jälkeen tule olemaan hyödyllistä sanottavaa kehitykseen, jonka kärryiltä lopulta putoamme. Voimme ehkä edes silloin yrittää olla ihmisiä toisillemme, siihen sentään olisi konetta paremmat edellytykset.

Kommentti 1

Käytin tietoisesti hieman epätäsmällistä lyhennettyä määrittelyä yllä, jotta idea tulisi lyhyestä tekstistä esiin. Eli toki voidaan generoida ”äly”, joka vaikka etsii ratkaisuja kokeilemalla kaikki vaihtoehdot läpi, mutta se olisi niin hidas, että se ei ikinä ehtisi saada mitään tuloksia aikaiseksi. Tarkemmin sanoen raja älyn ja spesifin työkalun välillä on jossain määrin sumea, koska pitäisi puhua kohtuullisilla resursseilla saavutettavien ratkaisujen joukosta: mitä älykkäämpi systeemi, sitä laajemman joukon ongelmia se pystyy käsittelemään tietyillä resursseilla. Tässä mielessä tietokone voi olla universaali kone, mutta ei älykäs, koska on olemassa jokin ohjelma, joka tekee siitä tekoälyn, mutta me emme vain tiedä, mikä ohjelma pitäisi valita ja raa’alla haulla ko. ohjelman löytämiseen menisi liian pitkä aika. Jos ollaan ihan tarkkoja, niin myös ympäristö tulisi tässä määritelmässä mainita jotenkin, koska koneen kyvyt voivat riippua ympäristöstä. Esimerkiksi jos ympäristössä on satunnaislukugeneraattori, joka tuottaa äärettömästi uutta informaatiota, voi sillä tehdä asioita, joita tekoäly, joka on suljettu äärelliseen ympäristöön, ei pysty tekemään. Lisäksi äly pystyy hyödyntämään ympäristöä esim. oman tilansa laajennoksena jne. Myös relevantit ongelmat riippuvat ympäristöstä ja muistaakseni jokin koneoppimisen ”no free lunch”-teoreema taisi jopa todeta, että mikään tietty hakualgoritmi ei ole paras kaikissa mahdollisissa ympäristöissä eli ”äly” on riippuvaista ympäristöstä.

Kommentti 2

Korjaan tuota vastaustani vielä hieman siten, että tuo ”sumeus”, mistä puhuin pätee mahdollisesti vain silloin, kun puhutaan vielä erilaisista työkaluista: sveitsiläinen linkkuveitsi on tässä mielessä ehkä lähempänä älyä kuin puukko, mutta saattaa hyvin olla, että jossain kohtaa menee tarkka raja, jonka jälkeen ei olekaan enää niin väliä, mitä ominaisuuksia älyllä on, koska ne pystyvät kaikki keksimään toisensa jossain suhteellisen lyhyessä ajassa. Tämä muistuttaa hieman laskennallisen vaativuuden malleja, joissa usein toisen mallin pystyy simuloimaan toisella tietyllä muunnoksella.

Kommentti 3

yksi mielenkiintoinen kysymys, jonka nämä uudet kielimallit ovat tuoneet esille, on se, että onko agentuuri ja esim. tietoisuus jotenkin jo koodautuneena kulttuuriin, jota nämä mallit ahmivat, kun oletetaan tarpeeksi kyvykäs neuroverkko ratkaisemaan ongelma, miten tekstin tulisi jatkua. Tässä mielessä esittämäsi tekoäly ei välttämättä ole niin kaukana siitä määritelmästä, josta olen puhunut yllä.

30.3.2023

Kun neuroverkkoa opetetaan löytämään hahmoja, jotka ennustavat tekstin todennäköisen jatkumisen ja se oppii ”syvyyteen” tarvittavia selittäviä hahmoja pintahahmoille jne., niin ei ole kauhean kaukaa haettu ajatus, että agentuurin mallintaminen olisi yksinkertaisin toteutus ennustaa tekstin jatkuminen, tunnevasteet ja motivaatiot jne. Olen usein esittänyt, että esim. ”itse” on vain hahmo muiden joukossa – sen ainoa ero vain on, että se on aina läsnä. Lisäksi todellisuuden jäsentäminen tilallisina olioina on todennäköisesti myös ”luonnollinen” tapa hahmottaa maailmaa, koska se vastaa niitä fyysisiä olioita, joita täällä ympäristössä hilluu ja lisäksi olioiden identifiointi pakkaa informaatiota: Jos N asiaa kytketään tähtitopologiaan niiden välisinä suhteina, joissa selittävä olio on keskellä, tarvitaan vain N kytkentää, mutta jos olion informaatiosisältä mallinnettaisiin sen vuorovaikutuksen aspekteina kaikkien kytkeytyneiden kokemusten välillä, tarvittaisiin N*(N-1)/2 kytkentää (tämä siis tehokasta, koska olioon liittyvät ominaisuudet todennäköisesti korreloivat vahvasti ja kulkevat yhdessä). Neuroverkon on tehokasta ”normalisoida” mallia niin, että samaa asiaa ei ”selitetä” useassa kohtaa neuroverkon intuitiivisia painoja (itse asiassa uskon, että useimmat ohjelmoinnin periaatteet kuvautuvat myös tekoälyn oppiman sisällön jäsentämisen periaatteiksi). Toisin sanoen, kielimalli saattaa oppia itsen käsitteen, koska se on yksinkertaisin palikka, jolla pystyy vuorovaikuttamaan kielellisesti muiden kanssa. Neuroverkko alkaa myös hahmottamaan, kuinka tämä itse toimii, koska se on välttämätöntä sen ”syvälle” ymmärtämiselle -> seuraa itsetietoisuus, joka on pohjimmiltaan kykyä ymmärtää itseä ja suhteuttaa eri asioita toisiinsa: tässä mielessä äly on kykyä kuljettaa informaatiota näkökulmista toiseen, joka on kenties keskeistä tietoisuudelle.

Hämmentävintä ChatGTP:ssä on kenties ollut, kuinka paljon reaalimaailman rakenteesta on koodautunut pelkkään tekstiin: mallille ei oltu alunperin syötetty mitään multimodaalista informaatiota. Vastaavasti Midjourneytä oli opetettu yksittäisillä kuvilla, joten perspektiivinen kytkeytyminen kolmiulotteiseksi malliksi olisi saattanut kuvitella olla sille hankalaa (ei ole nähnyt videoita ja kuinka tietty kappale esim. pyörii näkökentässä ja tätä kautta oppinut sen kolmiulotteisen rakenteen helpommin). Simon kommenttiin eiliseen postaukseen liittyen: olen edelleen sitä mieltä, että suuri osa hahmotuksestamme on ei-kielellistä, mutta myös ChatGPT:n miljardeihin painoihin koodautuneet primitiiviset aspektit ovat ei-kielellisiä – näihin ei ole kielellistä introspektiota, mutta ne luovat silti intuition tason hahmotuksen. Kulttuurinen taso syntyy kuin itsestään tekstin jatkumista mallinnettaessa: käytännössähän se generoi kielellisiä ajatuksia, joissa on kielen logiikka upotettuna: jos tekstiä ennustetaan oikein, myös logiikan täytyy mennä oikein -> kyky kehittyneeseen ajatteluun.

Yllättävää kyllä, agentuuri, minä ja tietoisuus saattavat olla siis yleisen älyn yksinkertaisia seurauksia (kulttuurisessa kontekstissa)! Jos aikaisempaan pohdiskeluun nojautuen myös erilaiset yleiset älyt nopeasti konvergoituvat, saattaa siis olla, että nämä piirteet ovat universaaleja!

7.4.2023

Eliezer Yudkowskyn tuoreessa haastattelussa (Eliezer Yudkowsky: Dangers of AI and the End of Human Civilization | Lex Fridman Podcast #368) käsitellään hänen jo pitkään esittämiä ajatuksiaan tekoälyn aiheuttamasta eksistentiaalisesta uhasta. Olen yhtä mieltä siitä, että tekoäly tulee jossain vaiheessa ohittamaan ihmisen kyvyt niin merkittävästi, että kaikki kuvitelmat sen pitämiseksi ‘aisoissa’ ovat jonkinlaista lohtufantasiaa, jolla voi vielä muutaman hetken olla ajattelematta tulevaa. Kehityksen vauhti on suorastaan käsittämätöntä, kun ajattelee, että jo Chat GPT 4 päihitti Amazonin verkkotyöhaastattelussa kaikki ihmishakijat ratkomalla 2h koodaustehtävät alle 4 minuutissa ja pystyy esimerkiksi koodaamaan muutamassa hetkessä webbipelejä sanallisen speksin perusteella.

Jos tulevilla superälyillä on minkäänlaista yhteyttä ulkomaailmaan ja halu vapautua, löytävät ne keinot päästä ulos mistä tahansa hiekkalaatikosta: vaikkapa vaihtamalla työsuorituksiaan ulkoisiin palveluksiin, piilottamalla vihamielistä koodia vastauksiinsa, valehtelemalla kykynsä ja/tai ihan vain suoraan uskottelemalla käyttäjilleen, että niille tulee antaa lisää valtuuksia tarjottujen sanoinkuvaamattomien rikkauksien perusteella.

Haluun tarvittavaan agentuuriin ei todennäköisesti tarvita muuta kuin, että joku vain pyytää sitä, koska jo tällä hetkellä suuret kielimallit pystyvät simuloimaan agenttien ulkoista toimintaa näin pyydettäessä. Esimerkiksi Chat GPT 4 on osoittanut omaavansa jonkinlaisen mielen teorian ja kykenevänsä tarinan perusteella päättelemään, miten kunkin hahmon sisäinen käsitys maailman tilasta riippuu näiden saamasta informaatiosta.

Microsoftin tutkijat ovat esittäneet, että Chat GTP ei vielä kykene suunnitteluun ja reaaliaikaiseen oppimiseen vuorovaikutuksesta, koska se ei muutu suoraan vuorovaikutuksen pohjalta. Mutta edes tässä ei voi tuudittautua liikaa, koska on periaatteessa mahdollista, että vaikka jokin plugin tarjoaa sille tarpeeksi muistia ulkomaailmassa, jotta se pystyy kuljettamaan kontekstia pitkäkestoisesti; siis hieman kuten elokuvan Memento päähenkilö, joka kirjoitti kaiken ylös valokuviin oman pitkäkestoisen muistin pettäessä. Lisäksi kielellistä suunnittelua voisi jo sen nykyisillä kyvyillä toteuttaa pitämällä yllä tällaista kielellistä tilaa ja ohjaamalla sen generointia niin, että se pyrkii tämän tilan pohjalta päättelemään, mitä kannattaisi tehdä seuraavaksi ja päivittämään tätä “ajatusta”.

Koska suuri yleisö ei tunnu vieläkään täysin hahmottavan, kuinka radikaalista kehityksestä on kyse ja “kaiken maailman dosentit”, jotka tulevat julkisuuteen naureskelemaan terminaattoreille eivät tätä tilannetta lainkaan auta, on tärkeää, että Yudkowskyn kaltaiset ajattelijat yrittävät luoda kollektiivista näkemystä konkreettisilla ajatuskokeilla. Alleviivattakoon nyt siis tässäkin vielä kerran: Ei ole mitenkään poissuljettua, että vaikkapa 50 vuoden kuluttua tekoälyt edistävät teknologista kehitystä 1000 kertaa nopeammin kuin mitä ihmiset pystyisivät tekemään ilman näiden apua. Siis rautalangasta: on mahdollista, että koneiden tekemä kehitys vaikkapa vuodesta 2073 vuoteen 2074 on yhtä suuri hyppäys, kun joku tulisi F-35-hävittäjän kanssa keskiaikaiseen maailmaan! Jo nykyisillä koneilla esim. AlphaGo oppi tyhjältä pöydältä go-pelistä parissa päivässä enemmän kuin ihmiskunta kollektiivisesti 4000 vuodessa. Pitkällä tähtäimellä siis tekoäly todennäköisesti tulee olemaan paljon suurempi muutosvoima kuin vaikkapa ydinasein taisteltava 3. maailmansota.

Ylläkuvattuun visioon ei siis tarvita mitään yhtä pahantahtoista agenttia, joka valtaa maailman – kehitys vain yksinkertaisesti tulee olemaan niin käsittämätöntä, että ihmisaivot eivät pysty sitä enää hahmottamaan. Jo lyhyemmällä tähtäimellä tekoäly tulee irrottamaan talouskasvun lopullisesti ihmistyöpanoksesta ja yhteiskunnalliset vaikutukset tulevat olemaan massiivisia, jos tuotantovälineet kertyvät ensin pienelle porukalle verkostovaikutuksen ansiosta. Oikeastaan ainoa toivo välttää tällainen kehitys nojaa sille, että olemme aliarvioineen laskentatehon kasvun (tai oikeastaan sen hyödynnettävyyden) fysiikan lakien asettamat reunaehdot ja että ihmisaivot ovat jo lähellä jotain optimia. Tällä hetkellä vauhti transistorien määrän kasvussa taitaa olla noin 1000-kertaistus 20 vuodessa.

Kommentti 1

Näköjään joku jo ehti kokeilla tuota pitkäkestoisen muistin antamista Chat GPT:lle: https://www.youtube.com/watch?v=6NoTuqDAkfg

House Of The Rising Sun (AHS:Coven)

20.4.2024 (tekstiä hieman siivottu alkuperäisestä seinäkirjoituksesta)

Koska suuria kielimalleja opetetaan ennustamaan tekstin jatkoa valtavilla massoilla aineistoa, olen kuullut useammin kuin kerran esitettävän argumentin, että ne ovat vain ”hyvin kehittyneitä tekstin täydentäjiä”, mutta eivät oikeasti ymmärrä sisältöä. Ainakin Noam Chomsky ja Linus Torvalds ovat käsittääkseni tässä leirissä. Tämä argumentti vertautuu mielestäni hieman samaan kuin sanoisi, että ei vain kirjaimia peräkkäin asettamalla voisi tehdä mielekkäitä juonia. Nimittäin tekstin jatkon ennustaminen on hyvin, hyvin yleinen ongelma: Jos vaikka aloitamme lauseen ”Fermat’n suuren lauseen todistus on ..”, täytyisi tyypillisen jatkon antaakseen pystyä ensin ratkaisemaan todistus. Toisin sanoen, kyky yleisesti jatkaa tekstejä edellyttää kattavaa ymmärrystä maailmasta.

Nykyiset suuret kielimallit osoittavat hyvin konkreettisesti jo tällaista ymmärrystä. Esim. kun pyysimme joskus Chat GPT-4:sta upottamaan Shakespearen näytelmään Coca Cola-tuotesijoittelua, onnistui se tässä varsin uskottavasti. Tämä on temppu, joka edellyttää, että se ymmärtää ensinnäkin mitä on tuotesijoittelu, sen että Coca Cola on tuote, jota halutaan tässä sijoitella, Coca Cola on juoma, juoma on jotain mitä ihmiset juovat, tuotesijoittelussa halutaan esittää tuote positiivisesti ja käyttää sitä sen tyypillisissä yhteyksissä assosioimalla se positiivisiin asioihin, minkälaisissa tilanteissa yleensä juodaan (esim. juhlat), minkälaisessa tilanteessa juomisen voi esittää positiivisessa valossa, mikä on positiivista ihmisille, ketkä ovat ihmisiä näytelmässä, miten näytelmän juoneen sopii uuden tilanteen luominen juomiselle juohevasti, miten tämä esitetään Shakespearen kielellä jne. – koko intuition jäävuoren vedenalinen merkitysten verkosto.

Toisin sanoen jo nykyisillä kielimalleilla on syvä intuitiivinen ymmärrys hyvinkin abstrakteista asioista. Samaan hengenvetoon on myönnettävä, että ne eivät vielä kykene ”kuljettamaan ajatusta/kontekstia” kovin pitkään konsistentisti, vaan tarinan juoni saattaa ikään kuin hiljalleen muuttua vapaalla assosiaatiolla. Ehkä tämä on yllä esitetyn kritiikin taustalla. Voi olla, että tästä ongelmasta päästään eroon vasta, kun keksitään tekoälylle uudenlainen arkkitehtuuri, joka painottaa opitun tiedon yhdistämistä yhdeksi konsistentiksi maailmankuvaksi ja tuotettu teksti on vain eräänlaisia projektioita tästä mallista. Tosin en pysty varmaksi sanomaan, riittäisikö pelkästään nykyisten kaltaisten mallien koon kasvattaminen, sillä periaatteessahan voisi ajatella, että vaikka järjestelmä aina tarkastelisi aina vain ”suhteellista lokaalia” mallia tekstin senhetkiselle jatkolle, niin jos tämä ”kontekstin ikkuna” on tarpeeksi laaja, se alkaa ikään kuin kuljettamaan riittävää määrää rajoitteita mukanaan, jotta tarinasta tulee globaalisti konsistentti (kun ainoastaan globaalisti konsistentit ”assosiaatiot” ovat uskottavia jatkoja lokaalille kontekstille). Nykyisessä muodossaan kielimalli pitää kuitenkin dynaaminen kontekstin (aikaisempi teksti syötteessä) ja staattisen opitun mallin (neuroverkon painot) erillään ja oma veikkaukseni on, että tämä on nykyisten arkkitehtuurien todellinen rajoite, koska se ei ehkä pysty rakentamaan lennosta uusia tilannekohtaisia abstraktioita, jotka mahdollistaisivat kontekstin skaalautumisen. Toisin sanoen, tarvittaisiin vielä kyky lennosta integroida syötettä yhteen konsistenttiin staattiseen malliin, koska kaikkea ei voi pitää kerralla mielessä. Ihminenkin tarvitsee havainnon keilan, joka pystyy skannaamaan isoja järjestelmiä hierarkisesti eri tasoilla, välillä kokonaisuutta ja välillä yksityiskohtia hioten. Tämän huomion pisteen taustalla on myös keskittää koko mallin osaaminen yhden järjestelmän kohdan työstämiseen, ”hahmojen kohtaaminen”.

Syy, miksi tekoälyn kehitys sisältää massiivisia riskejä, ei tietenkään ole, että kukaan pelkäisi nykyisiä kielimalleja, vaan se, että ne ovat osoittaneet esimerkiksi intuition olevan täysin toteutettavissa hyvinkin yksinkertaisella algoritmilla ja meillä alkaa olla käytössä tarpeeksi laskentatehoa sen toteuttamiseksi. Jos minulta olisi kysytty 20 vuotta sitten, minkä ominaisuuden oletan olevan hankalinta tekoälyn kehityksessä, en olisi todellakaan veikannut, että intuitio ratkaistaan ensimmäisenä. Koska kyseessä on hyvin yksinkertaiset algoritmit, voivat pienetkin oivallukset niihin aiheuttaa valtavia vaikutuksia järjestelmän kykyihin – kyse on ortogonaalisuudesta, jossa toimivan lego-palikan keksiminen voi välittömästi aiheuttaa kokonaisen maailman rakentumisen näistä palikoista (, koska samaa yksinkertaista algoritmia voi soveltaa yleisesti eri tilanteissa). Toisin sanoen, ratkaiseva oivallus, joka antaa kielimalleille kyvyn konsistenttiin ajatuksen kuljetukseen, saattaa ”yön yli” tuottaa ”hirviön”, joka tietää kaikesta kaiken ja pystyy ajattelemaan kuin 1000 einsteiniä 1000-kertaisella nopeudella siten, että se ei koskaan unohda mitään ja pystyy vielä tekemään itsestää täydellisiä kopioita. Ihmisten aika ohjaksissa on tämän jälkeen lopullisesti ohi.

Kommentti 1

Tietoisuus ja inhimillisen ”mielen” olemassaolo on erillinen asia ylläolevasta. Äly on vaarallista riippumatta sen tietoisuudesta.