---
tags: AT_DH_2022
---

# Tekstid 2 - grupid ja tulemused

## Kodutöö: Grupitöö

Seekord on andmestikuks dea.digar.ee perioodika, millele saame ligi jupyter.hpc.ut.ee keskkonna kaudu. Teeme grupid nagu eelmistel kordadel 2-3 inimest grupis. Ülesanne taas, kasutada antud vahendeid ja leida midagi huvitavat - seekord siinsest tekstikorpusest. Võib kasutada etteantud otsinguid, aga soovitav on teha uus.

Tulemuseks 2 lõiku ja joonis. Eeldatav töömaht on seekord 3h, kuna andmestik on uus ja keerulisem, tööriistad on vähem standardsed ja võimalusi, mida proovida on rohkem. Samamoodi ootan tulemuseks esimest katsetust - ei pea väga keeruliselt lahendama. Samas tuleb kindlasti otsingute käigus vaadata sisse otsingu tulemuste näidistele - et saaks aru, mis kontekstides mingid sõnad on. Ja teksti algusest võiks selguda ka, miks see küsimus huvitav on.

Tähtaeg 27.10.2022 23:59 - st 2 nädalat algusest.

## Grupid

Rasmus ja Marti
Gregor ja Margus ja Lisanna
Annika ja Arina
Karel ja Egle

## Tulemused

### Gregor ja Margus ja Lisanna

Tekkis mõte vaadelda andmeid sõnatasandil. Ja kuidagi tuli meelde, et EKI väljaannetes on tihtipeale kirjas, et mingid sõnad/väljendid on kantseliitlikud/vananenud. Lootsimegi, et saame mõne sellise sõna ajalugu uurida.

#### "Varastasime" sõnad AMSS-ist
[https://www.eki.ee/dict/ametnik/ametnik.html](https://www.eki.ee/dict/ametnik/ametnik.html):
>„Ametniku soovitussõnastik“ on tänapäevane soovitussõnastik nii ametnikele kui ka kõigile teistele, kellel on vaja kirjutada ametliku sisuga kirjakeelset teksti. Sõnastik pakub tekstikoostajale nõuandeid ja soovitusi, kuidas väljenduda lihtsamalt, selgemalt, täpsemalt ja eelistada eesti keelt. [...] Sõnastik tutvustab nüüdiskirjakeele väljendusvahendeid, selle eesmärk ei ole lubada ega keelata.

Võtsime [Ametniku Soovitussõnastiku PDF-i](https://www.eki.ee/dict/ametnik/ametnik.pdf), teisendasime selle HTMLiks ja tõmbasime JS-ga endale sõnad listi. Meie andmekvaliteedi eest ei vastuta, aga tulemus on siin:
- kõik sõnad: https://pastebin.com/mFTFijcB
- -ma lõputa tegusõnad (316 sõna): https://pastebin.com/jfUaVrDW

NB! Ei arvesta, et:
- Mõni sõna on "paha" ainult kindla sõnavormina, nt
- ametialaselt <määrsõnana>
- informeerima <keda millest>
- Mõni sõna on "paha" ainult kindlas tähenduses kasutatuna, nt
- Arve
- Avama
- Raamatupidamine
- Mõni sõna pole "paha", aga pahatihti kasutatakse sellega valesid sõnavorme, nt
- jõustuma <mis ajast>
- kaasama <millele>
- Sõnastik on osaliselt vananenud.

#### Vaatlesime Digari täisandmestikku
Kasutasime artikleid, mis olid ilmunud alates 2000. aastast.
- Esimene katsetus esimese sõnaga, milleks oli "agregeeri"
* Teine katsetus sõnadega "immigreeru" ja "immigreeri".
"Immigreerima" on väljend, mida AMSS kasutada ei soovita. Selle asemel soovitatakse kasutada ["immigreeruma"](https://www.eki.ee/dict/ametnik/index.cgi?Q=immigreerima). Hea on teada, et "immigreeri"-t ei esine üldse. Lisaks, kui üldiselt on artiklite arvu sagedsjaotusest näha, et 2015. aastal oli tõus kirjutatud artiklite arvu osas, siis antud otsingusõnade puhul see nii hästi ei kajastu.

Kasutatud sõnade failis oli meil 316 sõna. Arvutusvõimsuse olemasolul oleks väga huvitav näha, kuidas kõikide nende sõnade puhul jaotus tekib. Praegu oli ainult võimalik käsitsi sõnu selekteerida ja "huvitavaid" tulemusi otsida.

Tööleht - https://gist.github.com/marguslt/3db7f800545ab7719b4aed747dfd816e#file-r6_proj_clean-ipynb

---

### Marti ja Rasmus

Uurisime pisut digari andmestiku. Esimene küsimus mis kohe tekkis oli, et kui palju on erinevates keeltes ajalehti üldse. Tuleb välja, et andmestikus on ajalehti küll üheksas erinevas keeles: Hollandi, Inglise, Eesti, Soome, Prantsuse, Saksa, Ladina, Vene ja Rootsi; siis mingilgi määral võrreldavad oleks vaid kolmes keeles ajalehed. Nimelt siis vastavalt Eesti, Vene ja Saksa keeles ilmunud väljanded.

Vaatasime kõiki teatmikke nende lehtede arvu jaotuse järgi. Logaritmides y skaala, siis tuleb üsna ilusasti power law ilmsiks, nagu oli ka eeldada.

Viimaseks tahtsime teada, et kui pikalt on väljaanded ilmunud kolmes erinevas keeles, vastavalt siis Eesti, Vene ja Saksa.
Kuna väljaannete nimedes on palju varieeruvust sõneti, siis tegelikult peaks nimedele veel ilmselt mingit tekstilist töötlust rakendama, et välistada olukordi, kus natukene kirjapildis varieeruvaid väljaandeid käsitletakse kui erinevaid. Mõnedel juhtudel on see lihtsasti tehtav, aga paljudel juhtudel eeldaks see aga palju eelteadmist ja ka aega, et seda teha.

Tööleht - https://drive.google.com/file/d/1fU1mrRmX21xcT_JFWFIbxXEN4DBxUG12/view?usp=sharing

### Karel ja Egle

Analüüsisime suurimaid nõukogudeaegseid ajalehti - vähemalt rohkem kui 1000 kirjega ajalehed aastatest 1940-1991. Täpsemalt vaatasime, millises kontekstis on räägitud sõnadest nagu "eesti", "eesti vabariik", "nõukogude", "riik" ja "vabariik" ehk millised sõnad on sagedamini esinevad koos vastava sõnaga. Esimene graafik näitab lihtsalt populaarsemaid sõnu, 2. graafikul on kasutatud tf-idf metoodikat. Selgub, et Eestit on seostatud eelkõige rahva ja keelega, samuti näiteks sõnaga tõugu. Vabariik aga seostub sõnaga "ajalehtedest", nõukogude seostub aga tolleaegsete propagandaväljenditega, nagu töörahva, eesrindliku vms. See annab mingit aimu kuidas ja millistest kontekstides Eestist ja Nõukogude Liidust räägiti.

Lisaks on eesti all vene mainitud mõlemas tabelist. Eesti vabariiki on vähe mainitud, kus aga eestit ennast on üksjagu mainitud, ühtlasti on eesti mainitud rohkem nõukogude kontekstis. Sõna riik on mainitud väga paljuski läänelikus kontekstis, näiteks sõnad “ameerika”, “inglismaa”, “prantsusmaa”, “kapitalistlike” ja “euroopa”, viimased kaks näidet pärinevad tf-idf tabelist. muidugi võisid need sõnad tulla mängu umb 88. aastal, kui on huvitav, et nõukogude režiimist neid sõnu laialdaselt kasutada lubati. Sealhulgas sõna vabariik omab rohkem nõukogude sentimenti, näiteks sõnad “hiina”, “komitee”, “nsv”, “liidu”.


### Annika ja Arina

Valisime analüüsimiseks Päewalehe artiklid, mis ilmusid 1900–1940. aastatel. Uurisime sõna „Jumal“ kasutust artiklites ning kui sagedasti ja millises kontekstis seda kasutati.


Graafikult on näha, kuidas Jumalasse suhtumine muutus - Jumalast hakati vähem kirjutama 1910. aastate lõpus ja 1930. aastate lõpupoole, mis võib olla seotud sellega, et sel ajal toimusid I ja II maailmasõda ning need olid sel ajal olulisemad ning rahuajal kirjutati taas Jumalast rohkem.

Vaatasime ka otsingusõna „Jumal“ naabersõnu, millest lähtub, et Jumalast räägiti pühapäeva ja kiriku kontekstis. Detsember on jõuluaeg, mil peetakse advendiaja ja jõulupühade missasid, sel ajal käiakse ka kõige rohkem kirikus. Armulaud on kohustuslik osa jumalateenistusel. Laululehed on seotud missade ja muude kiriklike talitlustega, näiteks ristimine, laulatus jne.