Kajkavian Language GPT (Transformers) model based on the paper: https://arxiv.org/abs/1706.03762

0.209342 M parameters

Step 0: Train loss 4.2787, validation loss 4.2742

Step 100: Train loss 2.4708, validation loss 2.5001

Step 200: Train loss 2.3788, validation loss 2.4521

Step 300: Train loss 2.2812, validation loss 2.3952

Step 400: Train loss 2.2128, validation loss 2.3407

Step 500: Train loss 2.1333, validation loss 2.3349

Step 600: Train loss 2.0525, validation loss 2.3369

Step 700: Train loss 1.9666, validation loss 2.3331

Step 800: Train loss 1.8545, validation loss 2.3328

Step 900: Train loss 1.7316, validation loss 2.3657

Step 1000: Train loss 1.6141, validation loss 2.3785

Počno mi ti pada Vpoti tok ti oblo doblo ti tiho trak je si vekaju, Zvečniš siamo, tak roveči, Kak mi kak v v srcakoi k i je simoma Ma ti nate si vekaj odle? Tvoj sme ki v tvoju skolah Po silomamu je v zakakomate plevaNi Na nitno te sigaki besto si vsila I odpo draga rekaj mi kiš sadomaate, Tu jav se črlasncu Žediku bičiš, Zavojde cik.

Glono bikoga od strašnomu regivane snadu, Poveje strustaj, Cigane ke tak lediš imala sem i pod alemasam roži Puno voju cans ne

Nî za mehir zveklih podilala se se pisela I igi de posmjec ali I diš, tam i tuga jes negule, Pozna sani bi stezi pelo, I dragora i sni niti, Tajg fi moregli sem i podaloga nemiš imati, Tke.

Med su ti? AŽed vselo i zi se grada? V leporeveć si tigati ne vitala bila, Kbak je i tih bi?

Kak ti vetatak ram, Neč poveveš miš, tu ne nejeći veleče, I tak i vsakore žišiželi Zvsiš si si polahkomalke šemišću, Kaj ti ne tekelam i sti takešk imati?

Rosi ti tuči,

Tak vsiga vsigu bi ti de pozve si mu glada, dakomori su vlede, – Vi Vi kak odsti obla znati, Tak tebu mečisl bane v kak si negurig.

Kak slem si tvoju meni, Gde su vsisigu podi sem mi samî I tiho, tkak i tiho do drpomaće, Tak ske je poveš, A to, k drak nikivagdo mi ti mate posve.

Leze bruč bis je kušnuti, V poreveć skrto vustano gi vsigu, Pozi cu beh zanik am, dug, Poveni mi v slimniš, Na si skakoga nemih imi pulja leno, Ka ti vi se puncu Po sano se mi čih Vališ, Tak bih tak peprav, Tak je porav, Prev ko srame!

gdo de zgeze vse, tiho dragate, dak v togaj bi mogle, Čad stašne letija posi Bez pipa iplaa rjabam i stebla nala i za mis neš.

Me– Naj zZm ne se rožiju zdi I žuku polahko laš se njega mi tak radi nelo Moći ti odi lepoga bo, Kak ti i te njega preva.

Prekitno ti vsi, tiho, to drpovonče mali?!

– znam, kaj sre v kapola Tvoje Ve sili vedje rožicah Rok skolah odprti vu pika, I leplavo tko ti me vskrati, Cimak krvaveriš si mu taro vrave ciklo se nih ”egli se i gredi I ti gugurnče smi nigli se vilniš ila si mam, Tak gregd mi žusle.