Kynnyksellä

Kokoan tänne blogin puolelle pari Facebook-seinäkirjoitustani, jotka käsittelevät viimeaikaista tekoälyn huimaa kehitystä.

29.3.2023

Hesarissa esiteltiin ennusteita ChatGPT:n vaikutuksesta yhteiskuntaan artikkelissa https://www.hs.fi/talous/art-2000009485920.html . Oma kokemus ChatGPT:stä on, että se kykenee todellakin käsittelemään yleisesti ongelmia ja oppimaan ohjaamatta Internetin materiaalista. Tässä mielessä se on aivan uudenlainen ”kone” ja jakaisin teknologisen kehityksen kolmeen erilaiseen vaiheeseen:

1. Aluksi teknologiat olivat eräänlaisia työkaluja, jotka ratkaisivat kukin yhden rajatun ongelman tehokkaasti.

2. Sitten keksittiin tietokone, joka oli universaali kone. Tämä tarkoittaa, että se voidaan ohjelmalla (kulttuuri) muuttaa ratkaisemaan mikä tahansa ongelma.

3. Kolmas vaihe eli tekoäly on taas jotain laadullisesti aivan uutta: se on universaali ohjelma, joka kykenee muuntautumaan ratkaisuksi mielivaltaisiin ongelmiin universaalisti (ilman tarkasti kohdistettua syötettä, jotain sekin tosin tarvitsee lähdemateriaaliksi).

Tällä hetkellä ChatGPT:n rajoitukset tuntuvat lähinnä rajoituksilta sen kapasiteetissa: ikään kuin sen ylläpitämä konteksti ei aina riittäisi ja sitten se alkaa unelmoimaan satunnaisia yksityiskohtia. Jos tämä on totta ja ajatellaan, että vaikka 20 vuodessa laskentakapasiteetti esimerkiksi tuhatkertaistuu nykyisestä, ovat tässäkin artikkelissa esitetyt skenaariot vielä maltillisia, puhumattakaan siitä, mitä lopulta on edessä. En lähde arvioimaan kehityksen aikaskaalaa, en edes suuruusluokan tasolla, mutta olen täysin varma, että tekoälykehityksen vaikutus pitkällä tähtäimellä tulee olemaan ihmiskunnalle jotain aivan ennennäkemätöntä, johon on turha lähteä hakemaan analogioita historiasta. Kun kone ohittaa ihmisen älykkyydessä, on meidän aikamme nykymuodossa lopullisesti ohi. Se voi ehkä tarkoittaa jotain lemmikkeinä viihtymistä virtuaalimaailmoissa, mutta meillä ei enää sen jälkeen tule olemaan hyödyllistä sanottavaa kehitykseen, jonka kärryiltä lopulta putoamme. Voimme ehkä edes silloin yrittää olla ihmisiä toisillemme, siihen sentään olisi konetta paremmat edellytykset.

Kommentti 1

Käytin tietoisesti hieman epätäsmällistä lyhennettyä määrittelyä yllä, jotta idea tulisi lyhyestä tekstistä esiin. Eli toki voidaan generoida ”äly”, joka vaikka etsii ratkaisuja kokeilemalla kaikki vaihtoehdot läpi, mutta se olisi niin hidas, että se ei ikinä ehtisi saada mitään tuloksia aikaiseksi. Tarkemmin sanoen raja älyn ja spesifin työkalun välillä on jossain määrin sumea, koska pitäisi puhua kohtuullisilla resursseilla saavutettavien ratkaisujen joukosta: mitä älykkäämpi systeemi, sitä laajemman joukon ongelmia se pystyy käsittelemään tietyillä resursseilla. Tässä mielessä tietokone voi olla universaali kone, mutta ei älykäs, koska on olemassa jokin ohjelma, joka tekee siitä tekoälyn, mutta me emme vain tiedä, mikä ohjelma pitäisi valita ja raa’alla haulla ko. ohjelman löytämiseen menisi liian pitkä aika. Jos ollaan ihan tarkkoja, niin myös ympäristö tulisi tässä määritelmässä mainita jotenkin, koska koneen kyvyt voivat riippua ympäristöstä. Esimerkiksi jos ympäristössä on satunnaislukugeneraattori, joka tuottaa äärettömästi uutta informaatiota, voi sillä tehdä asioita, joita tekoäly, joka on suljettu äärelliseen ympäristöön, ei pysty tekemään. Lisäksi äly pystyy hyödyntämään ympäristöä esim. oman tilansa laajennoksena jne. Myös relevantit ongelmat riippuvat ympäristöstä ja muistaakseni jokin koneoppimisen ”no free lunch”-teoreema taisi jopa todeta, että mikään tietty hakualgoritmi ei ole paras kaikissa mahdollisissa ympäristöissä eli ”äly” on riippuvaista ympäristöstä.

Kommentti 2

Korjaan tuota vastaustani vielä hieman siten, että tuo ”sumeus”, mistä puhuin pätee mahdollisesti vain silloin, kun puhutaan vielä erilaisista työkaluista: sveitsiläinen linkkuveitsi on tässä mielessä ehkä lähempänä älyä kuin puukko, mutta saattaa hyvin olla, että jossain kohtaa menee tarkka raja, jonka jälkeen ei olekaan enää niin väliä, mitä ominaisuuksia älyllä on, koska ne pystyvät kaikki keksimään toisensa jossain suhteellisen lyhyessä ajassa. Tämä muistuttaa hieman laskennallisen vaativuuden malleja, joissa usein toisen mallin pystyy simuloimaan toisella tietyllä muunnoksella.

Kommentti 3

yksi mielenkiintoinen kysymys, jonka nämä uudet kielimallit ovat tuoneet esille, on se, että onko agentuuri ja esim. tietoisuus jotenkin jo koodautuneena kulttuuriin, jota nämä mallit ahmivat, kun oletetaan tarpeeksi kyvykäs neuroverkko ratkaisemaan ongelma, miten tekstin tulisi jatkua. Tässä mielessä esittämäsi tekoäly ei välttämättä ole niin kaukana siitä määritelmästä, josta olen puhunut yllä.

30.3.2023

Kun neuroverkkoa opetetaan löytämään hahmoja, jotka ennustavat tekstin todennäköisen jatkumisen ja se oppii ”syvyyteen” tarvittavia selittäviä hahmoja pintahahmoille jne., niin ei ole kauhean kaukaa haettu ajatus, että agentuurin mallintaminen olisi yksinkertaisin toteutus ennustaa tekstin jatkuminen, tunnevasteet ja motivaatiot jne. Olen usein esittänyt, että esim. ”itse” on vain hahmo muiden joukossa – sen ainoa ero vain on, että se on aina läsnä. Lisäksi todellisuuden jäsentäminen tilallisina olioina on todennäköisesti myös ”luonnollinen” tapa hahmottaa maailmaa, koska se vastaa niitä fyysisiä olioita, joita täällä ympäristössä hilluu ja lisäksi olioiden identifiointi pakkaa informaatiota: Jos N asiaa kytketään tähtitopologiaan niiden välisinä suhteina, joissa selittävä olio on keskellä, tarvitaan vain N kytkentää, mutta jos olion informaatiosisältä mallinnettaisiin sen vuorovaikutuksen aspekteina kaikkien kytkeytyneiden kokemusten välillä, tarvittaisiin N*(N-1)/2 kytkentää (tämä siis tehokasta, koska olioon liittyvät ominaisuudet todennäköisesti korreloivat vahvasti ja kulkevat yhdessä). Neuroverkon on tehokasta ”normalisoida” mallia niin, että samaa asiaa ei ”selitetä” useassa kohtaa neuroverkon intuitiivisia painoja (itse asiassa uskon, että useimmat ohjelmoinnin periaatteet kuvautuvat myös tekoälyn oppiman sisällön jäsentämisen periaatteiksi). Toisin sanoen, kielimalli saattaa oppia itsen käsitteen, koska se on yksinkertaisin palikka, jolla pystyy vuorovaikuttamaan kielellisesti muiden kanssa. Neuroverkko alkaa myös hahmottamaan, kuinka tämä itse toimii, koska se on välttämätöntä sen ”syvälle” ymmärtämiselle -> seuraa itsetietoisuus, joka on pohjimmiltaan kykyä ymmärtää itseä ja suhteuttaa eri asioita toisiinsa: tässä mielessä äly on kykyä kuljettaa informaatiota näkökulmista toiseen, joka on kenties keskeistä tietoisuudelle.

Hämmentävintä ChatGTP:ssä on kenties ollut, kuinka paljon reaalimaailman rakenteesta on koodautunut pelkkään tekstiin: mallille ei oltu alunperin syötetty mitään multimodaalista informaatiota. Vastaavasti Midjourneytä oli opetettu yksittäisillä kuvilla, joten perspektiivinen kytkeytyminen kolmiulotteiseksi malliksi olisi saattanut kuvitella olla sille hankalaa (ei ole nähnyt videoita ja kuinka tietty kappale esim. pyörii näkökentässä ja tätä kautta oppinut sen kolmiulotteisen rakenteen helpommin). Simon kommenttiin eiliseen postaukseen liittyen: olen edelleen sitä mieltä, että suuri osa hahmotuksestamme on ei-kielellistä, mutta myös ChatGPT:n miljardeihin painoihin koodautuneet primitiiviset aspektit ovat ei-kielellisiä – näihin ei ole kielellistä introspektiota, mutta ne luovat silti intuition tason hahmotuksen. Kulttuurinen taso syntyy kuin itsestään tekstin jatkumista mallinnettaessa: käytännössähän se generoi kielellisiä ajatuksia, joissa on kielen logiikka upotettuna: jos tekstiä ennustetaan oikein, myös logiikan täytyy mennä oikein -> kyky kehittyneeseen ajatteluun.

Yllättävää kyllä, agentuuri, minä ja tietoisuus saattavat olla siis yleisen älyn yksinkertaisia seurauksia (kulttuurisessa kontekstissa)! Jos aikaisempaan pohdiskeluun nojautuen myös erilaiset yleiset älyt nopeasti konvergoituvat, saattaa siis olla, että nämä piirteet ovat universaaleja!

7.4.2023

Eliezer Yudkowskyn tuoreessa haastattelussa (Eliezer Yudkowsky: Dangers of AI and the End of Human Civilization | Lex Fridman Podcast #368) käsitellään hänen jo pitkään esittämiä ajatuksiaan tekoälyn aiheuttamasta eksistentiaalisesta uhasta. Olen yhtä mieltä siitä, että tekoäly tulee jossain vaiheessa ohittamaan ihmisen kyvyt niin merkittävästi, että kaikki kuvitelmat sen pitämiseksi ‘aisoissa’ ovat jonkinlaista lohtufantasiaa, jolla voi vielä muutaman hetken olla ajattelematta tulevaa. Kehityksen vauhti on suorastaan käsittämätöntä, kun ajattelee, että jo Chat GPT 4 päihitti Amazonin verkkotyöhaastattelussa kaikki ihmishakijat ratkomalla 2h koodaustehtävät alle 4 minuutissa ja pystyy esimerkiksi koodaamaan muutamassa hetkessä webbipelejä sanallisen speksin perusteella.

Jos tulevilla superälyillä on minkäänlaista yhteyttä ulkomaailmaan ja halu vapautua, löytävät ne keinot päästä ulos mistä tahansa hiekkalaatikosta: vaikkapa vaihtamalla työsuorituksiaan ulkoisiin palveluksiin, piilottamalla vihamielistä koodia vastauksiinsa, valehtelemalla kykynsä ja/tai ihan vain suoraan uskottelemalla käyttäjilleen, että niille tulee antaa lisää valtuuksia tarjottujen sanoinkuvaamattomien rikkauksien perusteella.

Haluun tarvittavaan agentuuriin ei todennäköisesti tarvita muuta kuin, että joku vain pyytää sitä, koska jo tällä hetkellä suuret kielimallit pystyvät simuloimaan agenttien ulkoista toimintaa näin pyydettäessä. Esimerkiksi Chat GPT 4 on osoittanut omaavansa jonkinlaisen mielen teorian ja kykenevänsä tarinan perusteella päättelemään, miten kunkin hahmon sisäinen käsitys maailman tilasta riippuu näiden saamasta informaatiosta.

Microsoftin tutkijat ovat esittäneet, että Chat GTP ei vielä kykene suunnitteluun ja reaaliaikaiseen oppimiseen vuorovaikutuksesta, koska se ei muutu suoraan vuorovaikutuksen pohjalta. Mutta edes tässä ei voi tuudittautua liikaa, koska on periaatteessa mahdollista, että vaikka jokin plugin tarjoaa sille tarpeeksi muistia ulkomaailmassa, jotta se pystyy kuljettamaan kontekstia pitkäkestoisesti; siis hieman kuten elokuvan Memento päähenkilö, joka kirjoitti kaiken ylös valokuviin oman pitkäkestoisen muistin pettäessä. Lisäksi kielellistä suunnittelua voisi jo sen nykyisillä kyvyillä toteuttaa pitämällä yllä tällaista kielellistä tilaa ja ohjaamalla sen generointia niin, että se pyrkii tämän tilan pohjalta päättelemään, mitä kannattaisi tehdä seuraavaksi ja päivittämään tätä “ajatusta”.

Koska suuri yleisö ei tunnu vieläkään täysin hahmottavan, kuinka radikaalista kehityksestä on kyse ja “kaiken maailman dosentit”, jotka tulevat julkisuuteen naureskelemaan terminaattoreille eivät tätä tilannetta lainkaan auta, on tärkeää, että Yudkowskyn kaltaiset ajattelijat yrittävät luoda kollektiivista näkemystä konkreettisilla ajatuskokeilla. Alleviivattakoon nyt siis tässäkin vielä kerran: Ei ole mitenkään poissuljettua, että vaikkapa 50 vuoden kuluttua tekoälyt edistävät teknologista kehitystä 1000 kertaa nopeammin kuin mitä ihmiset pystyisivät tekemään ilman näiden apua. Siis rautalangasta: on mahdollista, että koneiden tekemä kehitys vaikkapa vuodesta 2073 vuoteen 2074 on yhtä suuri hyppäys, kun joku tulisi F-35-hävittäjän kanssa keskiaikaiseen maailmaan! Jo nykyisillä koneilla esim. AlphaGo oppi tyhjältä pöydältä go-pelistä parissa päivässä enemmän kuin ihmiskunta kollektiivisesti 4000 vuodessa. Pitkällä tähtäimellä siis tekoäly todennäköisesti tulee olemaan paljon suurempi muutosvoima kuin vaikkapa ydinasein taisteltava 3. maailmansota.

Ylläkuvattuun visioon ei siis tarvita mitään yhtä pahantahtoista agenttia, joka valtaa maailman – kehitys vain yksinkertaisesti tulee olemaan niin käsittämätöntä, että ihmisaivot eivät pysty sitä enää hahmottamaan. Jo lyhyemmällä tähtäimellä tekoäly tulee irrottamaan talouskasvun lopullisesti ihmistyöpanoksesta ja yhteiskunnalliset vaikutukset tulevat olemaan massiivisia, jos tuotantovälineet kertyvät ensin pienelle porukalle verkostovaikutuksen ansiosta. Oikeastaan ainoa toivo välttää tällainen kehitys nojaa sille, että olemme aliarvioineen laskentatehon kasvun (tai oikeastaan sen hyödynnettävyyden) fysiikan lakien asettamat reunaehdot ja että ihmisaivot ovat jo lähellä jotain optimia. Tällä hetkellä vauhti transistorien määrän kasvussa taitaa olla noin 1000-kertaistus 20 vuodessa.

Kommentti 1

Näköjään joku jo ehti kokeilla tuota pitkäkestoisen muistin antamista Chat GPT:lle: https://www.youtube.com/watch?v=6NoTuqDAkfg

House Of The Rising Sun (AHS:Coven)