Spracovanie prirodzeného jazyka od spoločnosti Arcanum

V poslednom desaťročí sa výrazne zvýšila potreba komunikovať so strojmi a systémami okolo nás spôsobom, ktorý je v súlade s naším prirodzeným jazykom. Predstavte si digitálneho asistenta pre váš smartfón alebo dokonca pokročilý prekladač: chceme, aby nám softvér rozumel aj v skrátených vetách a na základe toho vykonával pokyny. Takéto systémy sú založené na umelej inteligencii, ktorá umožňuje stroju interpretovať zadaný príkaz na vyššej úrovni, čo umožňuje získať presnejšie a relevantnejšie informácie.

Používatelia systému Arcanum majú k dispozícii aj postup spracovania prirodzeného jazyka (v anglickej odbornej literatúre: Natural Language Processing), ktorý je známy ako model BERT . V tomto článku opisujeme postupy spracovania vykonávané pomocou modelu BERT, ako aj rozsah a budúce plány služieb na ňom založených.

V krátkosti o modeli BERT

Tento model strojového učenia vyvinula spoločnosť Google okolo roku 2018 s cieľom umožniť počítačovým systémom lepšie opisovať prirodzený jazyk ľudí pomocou matematiky, a tak presnejšie porozumieť výrazom, ktoré zadávajú do vyhľadávača. Význam tohto modelu spočíva v jeho schopnosti interpretovať slová v ich kontexte.

Ako napovedá názov samotného pojmu, strojové učenie je založené na tom, že stroj najprv naučíte úlohu, ktorú má vykonať. V našom prípade sa musel model BERT naučiť maďarský jazyk. Na tento účel sme model spustili na vlastnom korpuse spoločnosti Arcanum, ktorý obsahuje 10 miliárd maďarských slov *. Po spustení model virtuálne prečítal 10 miliárd slov digitalizovaného textu, pričom hľadá matematické vzťahy a vzory. To umožňuje modelu - po určitej miere doladenia - vykonávať úlohy s textami v maďarskom jazyku. Na základe tohto modelu následne môžeme vyvinúť celý rad služieb pre používateľov systému Arcanum.

Rozpoznávanie vlastných mien

Pri analýze správania používateľov sme zistili, že najčastejšie sa v našej databáze vyhľadávajú vlastné mená, ako sú osobné mená, zemepisné názvy a názvy inštitúcií. Písanie týchto vlastných mien - najmä osobných mien - sa však môže niekoľkokrát zmeniť v závislosti od aktuálnej módy alebo politických režimov. Napriek tomu si výskumníci uvedomujú bežný jav, že s vlastným menom môže byť spojených niekoľko rôznych entít, medzi ktorými je ťažké rozlíšiť vyhľadávanie. Napríklad po zadaní mena Kossuth sa vám zobrazia nielen výsledky o tejto historickej osobnosti, ale aj o mnohých školách, inštitúciách a názvoch ulíc, ktoré nesú jeho meno. Mohli by sme však spomenúť aj mesto Lenti v župe Zala, ktoré sa vo výsledkoch vyhľadávania často objavuje ako jednoduché prídavné meno (pozn.: „lenti“ v maďarskom jazyku znamená „nižšie“).

Na zlepšenie rozpoznávania vlastných podstatných mien sme použili už známy model BERT s anotáciou desiatich kategórií vlastných podstatných mien, ako sú osoba, inštitúcia, miesto, adresa, udalosť atď. v existujúcej databáze približne osemtisíc odsekov (asi 450 tisíc slov). Tento súbor ručne označených údajov slúžil ako tréningový základ pre model BERT na rozpoznávanie vlastných mien v celom súbore údajov ADT.

Tieto vlastné mená sa zobrazia aj pri použití voľného textového vyhľadávania ADT, kedy sa pod poľom pre vyhľadávanie zobrazia návrhy na vyhľadávanie. Hneď ako používateľ začne zadávať slovo, umelá inteligencia pracujúca vo vyhľadávači sa pokúsi nájsť najviac zodpovedajúce vlastné mená v databáze a ponúkne ich ako možné hľadané výrazy na základe pravdepodobnosti. Systém si poradí aj s jednoduchými preklepmi a rôznymi typmi pravopisu.

Automatické zodpovedanie otázok

Lingvisti, ako aj programátori už dlhšie bojujú s výzvou, ako by dokázali stroje interpretovať a odpovedať na otázky položené ľuďmi v ich prirodzenom jazyku. V roku 2018 spoločnosť Google spustila službu Talk to Books , v ktorej umelá inteligencia interpretuje otázky a snaží sa získať zmysluplné a relevantné odpovede z úplného textu viac ako 100 000 kníh. Keďže aj táto služba je založená na skôr predstavenom modeli BERT, v spoločnosti Arcanum sme začali experimentovať s vytvorením podobnej metódy vyhľadávania. Na tento účel sme vytvorili vlastný súbor učebných údajov: vybrali sme 100 článkov Wikipédie v maďarskom jazyku, napísali sme približne 10 000 otázok, ktoré s nimi súviseli, a následne sme v článkoch označili odpovede na jednotlivé otázky. Kombinácia otázok a odpovedí naformulovaných v prirodzenom jazyku tvorí základ pre trénovanie algoritmu. Výsledkom tréningu je, že algoritmus sa naučil interpretovať otázky v maďarskom jazyku a dokáže nájsť odpovede na otázky v databáze ľubovoľnej veľkosti.

3. obrázok Ukážka z databázy pre učenie otázok a odpovedí

Naším cieľom je, aby naši používatelia mohli ľahšie ako kedykoľvek predtým nájsť relevantné odpovede na svoje otázky.

Náš najvýznamnejší softvér pre zodpovedanie otázok, založený na maďarských lexikónoch, si môžete vyskúšať tu !

* Korpus je lingvistický termín, ktorý znamená súbor skutočne sa vyskytujúcich písomných alebo nahraných hovorených jazykových jednotiek.