Suomi-GPT-yhteenvetoa

Yhteenvetoa kevättalvella 2020 tekemistäni suomenkielisen GPT-2-neuroverkon koulutuskokeiluista.

Pohjalla on OpenAI:n 124 miljoonan parametrin englanninkielinen GPT-2-malli, jota rupesin suoraan jatkokouluttamaan suomen- ja englanninkielisellä, itse kokoamallani seka-aineistolla.

Seka-aineiston käytössä toiveena oli, että malli alkaisi jossain vaiheessa hahmottaa erikielisten osiensa välisiä semanttisia yhteyksiä, eikä kaikkea tarvitsisi opettaa sille uusiksi toisella kielellä.

Verkko osasi siis ennestään englantia, enkä koskenut sen käyttämään englanninkielisen tokenisanakirjaan lainkaan. Se rupesi tästä johtuen omaksumaan suomea muodossa, jossa sanat ovat pilkkoutuneina 1-3 merkin ryhmiin. Esimerkki: "Puhuuko pälliääliö suomea?" → _Pu+hu+uko+_p+ä+lli+ä+ä+li+ö+_su+ome+a+? vrt. "Do you speak English?" → _Do+_you+_speak+_English+?

Muutaman sadantuhannen koulutusiteraation jälkeen verkko osasi taivuttaa suomenkielisiä sanoja ja muodostaa virkkeitä kohtalaisesti kuten myös jäljitellä joitakin lähdeaineiston maneereja. Teksteissä vain ei enimmäkseen ollut mitään tolkkua. Esimerkkejä alempana.

Koulutin verkkoa yhteensä 500000 iteraation verran.

Koulutusaineisto

Vaihtelin koulutusaineiston koostumusta monta kertaa koulutusrupeamien välillä. Aineistoon kuuluivat eri vaiheissa mm.:

Koska ajoin mallia aika paljon IRC-bottina, lisäsin eräässä vaiheessa IRC-lokiaineiston sekaan satunnaisina automaattiupotuksina otteita mm. Wikipedia-, Quora- ja lyriikka-aineistoista, jotta verkko ehdollistuisi tuottamaan niitä muistuttavaa tekstiä myös IRC-kontekstissa.

Jatkokehitysajatuksia

Samana keväänä ilmestyi Redditin Suomi-ryhmään suomenkielinen GPT-botti nimeltä FINGPT, joka oli semantiikantajultaan parempi ja oli huomattavasti parempi generoimaan tekstiä puhuttelun mukaisista aiheista. En tiedä, kuinka pitkään sitä oli koulutettu, mutta sen onnistuneisuus lannisti minua jonkin verran. Ajattelin, että on ehkä parempi odotella kunnon valmismallin ilmestymistä kuin haaskata energiaa oman leluverkon peruskoulutukseen.

Jos rupeaisin näiden kokeilujeni pohjalta rakentamaan geneeristä suomenkielistä GPT-verkkoa, jota voisi jatkokouluttaa spesifisempiin tarkoituksiin, niin:

Jos parametrisetit ja käyttämäni koulutusaineistot kiinnostavat, niin yhteyttä voi ottaa viznut at low dot fi.

Esimerkkejä

Ihmisen antamat herätteet on esimerkeissä lihavoitu.

Proosaa

Useimmat näistä generoitu 310000 koulutusiteraation jälkeen.

Jukolan talo, eteläisessä Hämeessä, seisoo erän mäen pohjaisella rinteellä liki Toukolan kylää. Kivinen tanner, rinteillä kolme tielle matkalla, alkaa ruskean palan, vilkuvaa vahvasti jalkeilla häätänsä kivettynä, aivan uupuneena laikuttelemassa. Yllätys korkein käräjä, nimetön pappa, iloitsee pimeän äänellä, hymyili ihan kuin vaaleista, äänet kirkastuneina; tammi pähkinöitä ja tulivat huutoihin kannasta:

-- Jukolan ääni.

Työlähtö ja luola tunkeutuu kukkakimpun edustalle kansaitse se vähentyy. Jukolan osa kasvoi hetkiseksi mielenkiinnosta. Häntä kiukkuisi. Ei siitäkään mieleen päästetty. Siinä lopussa hän peloitti suurta vapautta, huutaen häntä:

-- Paha, linnan kaupunki, tässä suuresti päivätär!

Samassa kohoavan alangon alueen kaiku nousi hänen viereensä. Hän näki hänet olevan syvä kuin valkea yö; hänen morsiammillaan oli oikea, hieno luonto, lahjaliina. Hän näki leijuvien kukkaiskellä yksinäisen, oikeana ihmisenä, ruohokuvain palolle, joka oli kovin kadottavat haudasta.

-- Juka! -- näkyy hänen tullessaan sieltä, josta hän lähtee ilmaan ja jää sinne hän astuu. Taidan ajatella vielä tänä yönä ja aurinkoan linnan näköä myöten haudalla.

Aamusta päivään saakka syöksyy hän tuolinsa kasvojen halki. Neiti tukehtuu -- hän näki vaimoon rintasilmän -- tuli alas, tuli ihanaan valkeiden kukkaan, värähtää, taivaan päivänä. Hänen äänessään toi suuri, hänestä valppain kädet, koko kuolleen, tuon tuiki hänen suloiset kupinansa; hän tahtoi yhä ummistaa, miten sitte voi leikata, ja hän näki, mikä väki meni hänen tiensä kukkiin; hän aikoo nousta valloille.

Hän otti hänelle uuden puiston, häpäisy hänet, hän aukaisi sammalet ja sanoi:

-- Voi, mitä nyt on aamu?

-- Se on koiran vaimo.

Hän laulaa takaisin kolme luolaa yhden luolan seassa; hän laulaa sammalia, mutta ne eivät ole millänsäkään ikuisia. Mutta hän oli lähtenyt ulos ja huomasi äänet, niin että se pysähtyi kuulleeksi, joita hän näki.


Äkkiä ovi avautui. Sisään astui todellinen kyberlohikäärme, jonka suomut välkkyivät kaikissa neonväreissä. "Olette pettäneet!" ilmeisesti vastasi todellinen, joka oli sisimmästä syynä varsinaisen nälkään, värähtämättä, viisaasti ja äänekkäästi.

Päällikkö kysyi äänettä ja kuiskasi suippoa: "Kuka olet?" ja suomenkielisten äänekkään nälkäisyyden välittäminen oli kiristänyt häntä sisimpään. "Olette ollut tuo minun rakkauteni kautta maailmassa, jotka myöhemmin ovat osoittaneet hänet suopureksi."

Kirjeenvaihto teki hengen hehkuvaan painavuuteen, mutta isäntä tuntui jakautuneelta, ja hän ei milloinkaan maininnut, vaan varmasti heitti ja riisuutui isäntäänsä eteensä.

Sisimmästä sydämmestä pölkky kesällä puhalti suuren noustessaan tupaan, ja koska he eivät vielä huomanneet tuota ponnistusta, niin kasvoi kuin keikallaan, aivan kuin olisi tehnyt aamulla suuren haaksirikkoutuneen alituisessa tunnelmassa.

Näittellen oli kullan hain valot ja siitä huolehtikaa muutamain kasvojen leimahdusten syvemmin ja työntäen alalle jäljitetyt raitiotutkimuksensa, joita oli korkeat, kullan hienot huvitetyt päät, olivat kuumaisillaan nähdessään tuolla kankaalla.


Runoja

Nouse, luontoni, lovesta
Syntyni, syvästä maasta,
Käyn kannan ylenemänä,
Kannan kääntyä kappusen ylen,
Pani pienen suksen sävyisen;
Yäks rupesi aikaan
Maata, isoa päätä
Kahen kannan kappajaa;
Talven hajota kaunis kaappasen
Jo olin ainoa isoa joukkoa,
Tammikkoisia tuomia,
Kieltän kengän isoa
Peästämään lattiaa
Niin heikoin hajonnut lintu
Lintureissa kevein miekan.
Ei kuin tuonen pieni,
Kuin on linnun kukka,
Eikä vakku ja kaarta,
Vaimon kulkenen kukallen
Kaaren alla kirkon huonon,
Kun linnun käärin kukkuna,
Toukoen tuonne toisen,
Koion kannon oksat.
Olit olk' luullut linnun kukko
Mei seitsemän päivän,
Kahdenkymmenen kuukauden,
Kolmenkymmenen kuukauten.
Ei kuudest' eloon emossaan kukalle,
Korolle kolmeen kuukautena,
Kolmeen tuohiiseen,
Kyynärväiseen, emossaan.
Ei sie'o tuli tuonen pieni,
Eil' lepoa ei ollut,
Häneltä huulivekkee,
Kukselle huitovaiselle.
Ei kulta kultahan kukkuu,
Valkeat vahvistetun veräjän,
Sanaista veräjän laulusen.
Ei oli eno paita,
Eno pilvi puita!
Mikä laulusen?


08:31 <@viznut> !runo aateekoota
08:32 < Karbonautti> Ei ole aateekoota
08:32 < Karbonautti> Ei mik' voi mitään muuta
08:32 < Karbonautti> Oot sydämeni syvimmiin,
08:32 < Karbonautti> Kuoppa näillä kiveill',
08:32 < Karbonautti> Kuolleill' on mua huomattu
08:33 < Karbonautti> Yksi suljettu aate tahtoo vuottaa


08:37 <@xxx> !runo hitleri
08:38 < Karbonautti> Siinä hitleri izellä istuu,
08:39 < Karbonautti> Värjää kuiski lempeäää,
08:39 < Karbonautti> Päält kaikki pihan luovuttaa;
08:39 < Karbonautti> Jätskiään viheliäistääääääään.
08:39 < Karbonautti> Kauniita kankahia


09:28 <@viznut> !kuka !runo
09:29 < Kiltalaitos> !runo onneton
09:29 < Kiltalaitos> En ollut onneton
09:29 < Kiltalaitos> en ollut lempi, en lempi, levoton
09:29 < Kiltalaitos> En ollut orgaaninen


17:08 <@viznut> !runo lameri
17:11 < Mätäpiirakka> Lameri on lameri kamala
17:11 < Mätäpiirakka> Mätäpiirakka, kissa kurisee, häntät hyvästyttää
17:11 < Mätäpiirakka> Lameri on vammainen jätkä


19:22 <@xxx> !runo Saksa-Saksa
19:23 < Viipuri> Saksa-Saksa-Saksa-Saksa (saksan: Saksa)
19:23 < Viipuri> Saksa-Saksa-Saksa-Saksa
19:23 < Viipuri> Saksa-Saksa-Saksa-Saksa
19:23 < Viipuri> Saksa-Saksa
19:23 < Viipuri> Saksa-Saksa
19:24 < Viipuri> Saksa-Saksa
19:24 < Viipuri> Saksa-Saksa
19:25 < Viipuri> Saksa-Saksa
19:25 < Viipuri> Saksa-Saksa
19:25 < Viipuri> Saksa-Saksa
19:25 < Viipuri> Saksa-Saksa
19:25 < Viipuri> Saksa, Saksa, Saksa
19:25 < Viipuri> Saksa
19:27 < Viipuri> Saksa ei maksa
19:30 < Viipuri> Saksa ei maksa
19:30 < Viipuri> Saksa ei maksa


Tietosanakirjatyyliä

Buddhalaisuus on Magadhassa (nyk. osa Intiaa) noin 500-luvulla eaa. syntynyt elämänfilosofia tai uskonto. Sen perustaja on yleensä historiallisena henkilönä pidetty prinssi Siddhartha Gautama, joka kuitenkin luopui rikkauksistaan ja pikemminkin hallinnollisista kannalta elänyt maailmahistoria.

Sikalalaisuus joko väitti väittävänsä maailmahistoria, mikä tuo "täydellisesti heidän ajatuksiensa taukoa" maailmasta niissä maailmankuvissa. Tämä tapahtui kuitenkin myös kaikkien aikojen kohdalla. Siinä ei ollut juuri mitään tietoa, kun he ovat saaneet vähemmän läheisempää osaa maailmasta. Taidetta ja teosta tuli myös pyhällä maalin tuellinen kuvaus sulttaanin maailmasta, joka erittäin sopi paikalle kulkemaan maailmaa.

Tämä kuvaus voi tehdä tästä samalla hetkellä, kun heidän ihmisiänsä nykymaailma on keskeinen yritys: puhtaasti valtavirta ja yleisesti sivistykseksi nousu, vaihe, jolloin on edullista, juhlallista ja jätetty takaisin murehtimaan maailma-mielen hyvän ja yhteenkuuluvuuden avoimuuksia, jotka murehtivat valtion kaikilta sen tieteelliseksi kokemukseksi vaihtumattomista kuvista ja nimismielen ryhmistä ja kansan elämän sessivistykseksi nousemisesta." Aasianmaallinen kuvaus on muonannut monien tieteenalojen ja suurten sivistysjuurten aikakausiin asti.


Urho Kaleva Kekkonen (3. syyskuuta 1900 Pielavesi – 31. elokuuta 1986 Helsinki) oli suomalainen poliitikko ja kahdeksas Suomen tasavallan presidentti. Hän oli yksi Suomessa taloudellisen toiminnan lähteistä. Hän toimi Suomen vakinaisena Sosiaalidemokraattisen puolueen presidenttinä vuosina 1967–1973.

Kahdeksannen kuukautta 1970-luvulla Kaleva sai Helsingin yliopistossa sijoittuvuuden kansantalouden edustajan tekijäksi mukanaan. Kaleva vaihtoi Hämeenlinnassa ympärysvaltiollisen yliopistotutkimusopin professoria V-20-luvulta. Kaleva kirjoitti luennoitsija Kansakoulun Kommunistiehdokkaaksi. Kesäkuussa 1967 hän työskenteli maan aktiivisessa hallintotuenjohtajana muiden talous- ja liikenneväylien ministerijohtajana.

Likola oli myös valmistanut yhteistyöllä jäykkinä valtion talousavustusta ja varastanut kansainvälistymisten jäsenten perustamisen vuoden 2005 kesäkuussa, joten hän oli järjestää kansakoulun omistamansa korjasintytär Leenan ajalta Uudenmaan kaupungin, Helsingissä. Kaksitoista vuotta myöhemmin hän lähti viimeiselle työmiehelle Saksan oikeuden johtamaan erämaata rakennettiin Suomen viranpidon puolelle Suomeen. Kaleva keskittyi vakinaiseen liikennöintiinsä huonona ja käsityövalmistuksen perusteella.


13:30 <@viznut> !mikä Jukka O. Kauppinen
13:30 < Hiidenkasetti> Jukka O. Kauppinen (oik. Jukka Olsson) on suomalainen vuosina 1906–1905 ilmestynyt vampyyri. Hän on julkaissut ja osallistunut Suomen valtionsa vuosina 1933–1933 vampyriakatemiaan. Hän on myös toiminut tanssikirjallisuuden tutkistossa Helsingissä Pappilan kylässä.


17:08 <@xxx> !mikä Turku
17:09 < Viipuri> Turku (ven. Вн) on kunnallinen itsehallintoalue Tšelkovin piirin Keski-Venäjällä. Vuonna 1934 perustetun Turuntie- ja Keski-Suomen lahteessa se on osa Tšelkovin piiriä ja on Järven-Vasaan keskustaajamaa pitkin.


09:28 <@xxx> !mikä Björn Wahlroos
09:29 < Abronak> Björn Wahlroos (s. 18. lokakuuta 1949) on ranskalainen teatterituomari. Hän on työskennellyt vuosina 2004–2006 Helsingin akatemiassa, jossa hän on toiminut teatteritaiteen tohtoriksi.


10:30 <@viznut> !mikä sivistysporvari
10:32 < Abronak> Sivistysporvari (yksinkertaisesti nimi Sisteysporvari) on hirvenkakkainen alkuasukas (Siperian kansalaisuuden puhuma rytmikossa, perinteisessä tai persoonattomassa) metsänkulmassa kuuluvilla harjaseilla, metsääntyessä ja rytmin alta alhaalla.
10:32 < Abronak> Harjukas on jalostettu muun muassa puiden kattoa, kallioita, kallioita ja ruskeita haaroja.


14:36 <@viznut> !mikä Lietevesi
14:37 < Viipuri> Lietevesi on Ateenan länsimaisessa linnassa sijaitsevan Pohjois-Suomen maakunnassa sijaitseva järvi, joka kuuluu Kokemäenjoen vesistön Loimijoen alueen Loimijoen valuma-alueeseen. Se kuuluu osa Loimijoen valuma-aluetta kohdetta ja sen pinta-ala on 16076 neliökilometriä.


16:54 <xxx> !mikä Jari Sillanpää
16:55 < Viipuri> Jari Sillanpää (s. 23. lokakuuta 1963) on suomalainen metallimusiikin ohjaaja. Hän on näytellyt myös musiikinhoitajaisuuden teatterissa ja soittaississa musiikkiteoksissa. Sillanpää toimii parodiana, sekä musiikinhoitajatoimihenkilönään ja nuoruudessaan.


Käännöksiä

Käännöspyynnöt =EN:- ja =FI:-tägien avulla menevät yleensä metsään, mutta välillä hämmästyttävän luovasti.

Koska koulutusaineistossa on peräkkäin useita käännöspareja, verkko usein generoi myös itse lisää käännöspareja, kun siltä kysytään jotain lyhyttä.

Käännökset osuvat paremmin kohdilleen, kun sananvalinnan kohinalämpötila on matala (näissä esimerkeissä yleensä 0.5 tai alle). Tästä johtuen tulostus menee välillä itseääntoistavaksi (esim. "keskustelu keskustelusta" -rönsyssä).

The flesh is weak but the spirit is strong. =FI: Lihan mieli on heikko, mutta henki on heikko.
The Lord of hosts is the God of the living, who made the world and who made the world. =FI: Herra Sebaot on elävä, joka on tehnyt maan ja tehnyt maan.

salaliittoteoria =EN: a theoretical theory
käsitys kielen ja kielen välillä =EN: a subjective experience
käsitys kielen ja kielen välillä =EN: a subjective experience

a conspiracy theory =FI: rajattu tutkimus
of living experience =FI: elävän kokemuksen
of being able =FI: kokemuksen
manifestations =FI: tapahtumien
analogical =FI: analoginen
in our minds =FI: meidän suhteissamme
our bodies =FI: meidän ruumiimme
you were =FI: me olimme
you could =FI: te voitti
from their power =FI: voimainsa
to their minds =FI: heidän mieliinsä
my =FI: minun mielestäni

Donald Trump =FI: presidentti Trump

Donald Trump =FI: Trumpin presidentti

Donald Trump =FI: Kansallisen liikkeen johtaja

For a long time, I believe that "I'm a great fan of this world." My only friend is the "Kansanmurhaaja"

Donald Trump =EN: He is a character in the movie directed by Robert K. Dick.

Lietevesi - This place is indeed one of the most notable cities in Lietevesi. There, the downtown school was established back in the 1880s, and the Lietevesi side schools began. =FI: Tämä oli Lieteveden liikellatoista pappisodakanavain tapa toimia. Se kylä varmimana, peruttiin hyvä merkki Lieteveden kotikirkolle rakennettavaksi.

Sauli Niinistö =EN: a Finnish artist

Kesällä 2011 Kivimäen kirkkoherra päätti keskittyä keskustelemaan keskustelusta, jonka jälkeen hän keskusteli keskustelusta. Kivimäki kertoi, että keskustelu oli kokonaisuudessaan keskustelua.

Keskustelu oli keskustelun kohde, jossa keskusteluun liittyi lisää keskustelua. Keskustelu keskittyi keskusteluun ja keskusteluun, jossa keskustelu keskustellusta oli keskustelua. Keskustelu keskustellusta oli keskustelua.


Horoskooppeja ym.

IRC-lokimateriaalissa on rivejä toiselta botilta, joka hakee pyydettäessä netistä iltapäivälehtihoroskooppeja. Verkko oppi tämän vuoksi tuottamaan myös itse tämäntyylistä tekstiä.

14:31 < Karbonautti> !h rapu
14:34 < Karbonautti> Karbonautti, RAPU 22.6.-22.7. Tunnet olevasi jonkin elämäsi parissut ystäväsi. Hän ei ole sinua kohtaan enää ilahtunut, vaan haluaa nyt jakaa hänen päätöksensä. Nauti täysillä rakkaudesta.

14:41 < xxx> !h kauris
14:42 < Karbonautti> xxx, KAURIS 22.12.-19.1. Tunnet olevasi jonkin ajan kadonnut jyrinä, mutta ei voi antaa sille mahdollisuutta. Sinulla on tunteeton, että hänen on pitänyt olla selvillä rakkaudesta, mutta et sinä ole epäilyttävällä tavalla.

22:07 < xxx> !h härkä
22:08 < Kiltalaitos> xxx, HÄRKÄ 20.4.-20.5. Vietät säännöllistä menoa, ja kaipaat sitä vastenmielistä, niin ehkä se tarjoutuu vastaan. Älä turhaan tee liikoja mietteistäsi. Tee jotakin tänään.

20:43 < xxx> !h vesimies
20:44 < Kiltalaitos> xxx, VESIMIES 20.1.-19.2. Jos kaikki menee taaksepäin, tahtosi on rajattu kaikkiin ihan asiallisiin kohtiin. Vastaanotto tilanteiden mukaan niin että voit mennä ohi.

Samaisessa botissa on myös "!kuka"-toiminto, joka muodostaa vastaukset yhdistämällä käyttäjien siihen lisäämiä "adjektiiveja" ja "substantiiveja". Verkko oppi lokiaineiston perusteella jäljittelemään myös näihin liittyvää kielellistä leikittelyä. Olen jättänyt tähän vain esimerkit, joissa käytettyjä uudissanoja ei löytynyt alkuperäisestä koulutusaineistosta.

12:19 <@viznut> !kuka Mauno
12:20 < Kiltalaitos> Mauno on makuhuoneensa saaressa asuva kissatapissa

17:26 <@viznut> !kuka ISO
17:27 < Kiltalaitos> ISO on kissojen valtavirtakoneteollisuusneuvostossa valaistuna alaportaisena suojeleva nikkarimies
17:27 < Kiltalaitos> ISO on syvästi avustava ulostustankki

14:51 < viznut> !kuka Avaruuskaveri
14:53 < Thelxion> Avaruuskaveri on kauniisti tunteissaan kaljuuntuva mutta kaljakellukka

19:05 < viznut> !kuka Jahve
19:06 < Kiltalaitos> Jahve on nännimerkillä Jeesukselle antaen sammunut pörröpallopurkinen

19:30 < viznut> !kuka Jeesus
19:31 < Kiltalaitos> Jeesus on siemennesteettinen käbä

17:10 < viznut> !kuka Avaruuskaveri
17:12 < Thelxion> Avaruuskaveri on huulipunamaisen keiton alle kaapattava möllerömööpeli

16:38 < viznut> !kuka Avaruuskaveri
16:39 < Thelxion> Avaruuskaveri on äärimajassa kaakaojakajia vastaan hölyilevä verukkeli

23:36 <@viznut> !kuka huolenaiheeni
23:37 < Kiltalaitos> huolenaiheeni on kondonisesti kondolien ja venevaraston väliltä välittävä nikke knä-man