Morfologiškai anotuotas lietuvių kalbos tekstynas

Šiuo metu Kompiuterinės lingvistikos centre yra parengti du morfologiškai anotuoti tekstynai:

1)      pusiau automatiškai anotuotas 1 mln. žodžių morfologiškai anotuotas tekstynas;

2)      automatiškai anotuotas 140 mln. žodžių morfologiškai anotuotas tekstynas.

 

1 mln. žodžių morfologiškai anotuotas tekstynas

Šis tekstynas yra rengtas Kompiuterinės lingvistikos centre 2000–2005 m. Tekstyno parengimą rėmė Valstybinė lietuvių kalbos komisija, Valstybinis mokslo ir studijų fondas.

Tekstyno apimtis apie 1 mln. žodžių (publicistikos tekstai sudaro 46 proc., mokslinės literatūros tekstai – 31,9 proc., grožinės literatūros tektai – 12,5 proc., administracinio stiliaus tekstai – 2,8 proc., Lietuvos Respublikos Seimo stenogramos – 6,8 proc.).

Tekstynas sudarytas pusiau automatiškai: naudota Vytauto Zinkevičiaus sukurta morfologinio anotavimo programa. Gauti rezultatai peržiūrėti lingvisto: sutvarkytos blogai anotuotų žodžių pažymos, prie morfologinio anotatoriaus neatpažintų žodžių įrašyta reikalinga informacija.

Morfologiškai anotuotame tekstyne išryškėjo didelis lietuvių kalbos morfologinis daugiareikšmiškumas. Paaiškėjo, kad beveik pusė visų formų yra morfologiškai daugiareikšmės, t. y. gali turėti dvi ar daugiau lemų (pvz., laužo – daiktavardis laužas arba veiksmažodis laužyti) arba dvi ar daugiau gramatinių pažymų (pvz., prekės – daiktavardžio prekė vienaskaitos kilmininkas arba daugiskaitos vardininkas).

Išsamiau apie lietuvių kalbos morfologiškai anotuotą tekstyną galite paskaityti E. Rimkutės 2006 m. apgintoje disertacijoje „Morfologinio daugiareikšmiškumo ribojimas kompiuteriniame tekstyne“.

 

Automatiškai morfologiškai anotuotas 140 mln. žodžių tekstynas

Šis tekstynas yra rengtas Kompiuterinės lingvistikos centre 2006–2011 metais. 2006 m., pritaikius statistinius modelius ir panaudojus 1 mln. žodžių morfologiškai anotuotą tekstyną, sukurtas vienareikšminimo įrankis, kurio tikslumas apie 94 proc. Antraštinių lietuvių kalbos žodžių formų nustatymo tikslumas netgi 99 proc. Šis įrankis įdiegtas laisvai internete prieinamame morfologiniame anotatoriuje. Naudojant šį automatinį įrankį buvo morfologiškai sužymėtas visas Dabartinės lietuvių kalbos tekstynas.

Šiuo metu morfologiškai anotuotas tekstynas yra sužymėtas dviem formatais: specialiu KLC sukurtu formatu ir TEI P5 formatu.

Specialus KLC sukurtas formatas tinkamas naudoti su KLC sukurtais įrankiais. Morfologiškai anotuotame tekstyne tekstas pateikiamas vertikaliai (žr. pavyzdį žemiau): pirmiausia nurodomas konkretus žodis, toliau lema (antraštinė forma) ir morfologinė informacija. Taip pat pateikiamos kitos pažymos: tarpai tarp žodžių, pastraipų pradžia, pabaiga, skyrybos ženklai.

<word=”Tarp” lemma=”tarp” type=”prln”>

<space>

<word=”tankiai” lemma=”tankiai” type=”prvks teig nelygin.l”>

<space>

<word=”suaugusių” lemma=”suaugti(-ga,-go)” type=”dlv teig nesngr veik.r būt.kart.l neįvardž vyr.gim dgsk K”>

<space>

<word=”medžių” lemma=”medis” type=”dktv vyr.gim dgsk K”>

<space>

<word=”kur ne kur” lemma=”kur ne kur” type=”prvks teig nelygin.l”>

<space>

<word=”vis” lemma=”vis” type=”prvks teig nelygin.l”>

<space>

<word=”pasimatydavo” lemma=”pasimatyti(-to,-tė)” type=”vksm teig sngr tiesiog.nuos būt.d.l vnsk IIIasm”>

<space>

<word=”dangaus” lemma=”dangus” type=”dktv vyr.gim vnsk K”>

<space>

<word=”lopinėlis” lemma=”lopinėlis” type=”dktv vyr.gim vnsk V”>

<sep=”.”>

<p>

TEI P5 formatas yra pasaulyje pripažintas formatas, sukurtas XML pagrindu, universalesnis, tinkamas naudoti su įvairiais pasaulyje sukurtais įrankiais. Šiuo formatu anotuotame tekste pirmiausia iš kairės nurodoma lema, toliau pateikiama gramatinė informacija (pvz., pažyma vatstdv3 reiškia veiksmažodis, asmenuojamoji forma, teigiama forma, sangrąžinis, tiesioginė nuosaka, būtasis dažninis laikas, vienaskaita, trečias asmuo, žr. pavyzdį žemiau).

<w lemma=”tarp” ana=”#r”>Tarp</w>

<pc> </pc>

<w lemma=”tankiai” ana=”#ptn”>tankiai</w>

<pc> </pc>

<w lemma=”suaugti(-ga,-go)” ana=”#vdtnvknvdk”>suaugusių</w>

<pc> </pc>

<w lemma=”medis” ana=”#dbvdk”>medžių</w>

<pc> </pc>

<w lemma=”kur ne kur” ana=”#ptn”>kur ne kur</w>

<pc> </pc>

<w lemma=”vis” ana=”#ptn”>vis</w>

<pc> </pc>

<w lemma=”pasimatyti(-to,-tė)” ana=”#vatstdv3″>pasimatydavo</w>

<pc> </pc>

<w lemma=”dangus” ana=”#dbvvk”>dangaus</w>

<pc> </pc>

<w lemma=”lopinėlis” ana=”#dbvvv”>lopinėlis</w>

<pc>.</pc>

Dėl techniškai sudėtingos paieškos morfologiškai anotuotas lietuvių kalbos tekstynas kol kas internete neprieinamas. Norintys naudoti šio tekstyno duomenis moksliniais tikslais rašykite a.utka at hmf.vdu.lt.