{"id":7416,"date":"2023-12-22T11:15:25","date_gmt":"2023-12-22T10:15:25","guid":{"rendered":"https:\/\/eurocc.nscc.sk\/?p=7416"},"modified":"2024-02-15T13:40:40","modified_gmt":"2024-02-15T12:40:40","slug":"identifikacia-entit-pre-extrakciu-adries-z-transkriptovanych-rozhovorov-s-vyuzitim-syntetickych-dat","status":"publish","type":"post","link":"https:\/\/eurocc.nscc.sk\/en\/identifikacia-entit-pre-extrakciu-adries-z-transkriptovanych-rozhovorov-s-vyuzitim-syntetickych-dat\/","title":{"rendered":"Named Entity Recognition for Address Extraction in Speech-to-Text Transcriptions Using Synthetic Data"},"content":{"rendered":"\n
\n
\n
\n
\n

Identifik\u00e1cia ent\u00edt pre extrakciu adries z transkriptovan\u00fdch rozhovorov s vyu\u017eit\u00edm syntetick\u00fdch d\u00e1t<\/strong><\/p>\n\n\n\n

<\/p>\n<\/div><\/div>\n\n\n\n

Podniky vynakladaj\u00fa vel\u2019k\u00e9 mno\u017estvo \u00fasilia a finan\u010dn\u00fdch prostriedkov na komunik\u00e1ciu s klientmi. Zvy\u010dajne je ciel\u2019om inform\u00e1cie klientom poskytn\u00fa\u0165\u2019, niekedy je v\u0161ak naopak potrebn\u00e9 inform\u00e1cie vy\u017eiada\u0165\u2019 (napr. miesto bydliska). Na rie\u0161enie tejto po\u017eiadavky sa vynaklad\u00e1 zna\u010dn\u00e9 \u00fasilie, napr\u00edklad v\u00fdvojom chat- a voicebotov, ktor\u00e9 na jednej strane sl\u00fa\u017eia na poskytovanie inform\u00e1ci\u00ed klientom, ale mo\u017eno ich vyu\u017ei\u0165\u2019 aj na kontaktovanie klienta so \u017eiados\u0165ou o poskytnutie inform\u00e1ci\u00ed. Konkr\u00e9tnym pr\u00edkladom z re\u00e1lneho \u017eivota je kontaktovanie klienta prostredn\u00edctvom textovej spr\u00e1vy alebo telefonicky s cie\u013eom aktualizova\u0165\u2019 jeho kontaktn\u00fa adresu. Ke\u010f\u017ee adresa klienta sa mohla \u010dasom zmeni\u0165, podnik potrebuje priebe\u017ene aktualizova\u0165 tieto inform\u00e1cie vo svojej internej datab\u00e1ze klientov. <\/p>\n\n\n\n

<\/p>\n<\/div>\n\n\n\n

\n
\"\"<\/a>
Ilustra\u010dn\u00fd obr\u00e1zok<\/figcaption><\/figure>\n<\/div>\n<\/div>\n\n\n\n

Pri vy\u017eiadan\u00ed tak\u00fdchto inform\u00e1ci\u00ed prostredn\u00edctvom \u201dnov\u00fdch\u201d kan\u00e1lov, ak\u00fdmi s\u00fa chat- alebo voiceboty, je d\u00f4le\u017eit\u00e9 overi\u0165\u2019 spr\u00e1vnos\u0165\u2019 a form\u00e1t adresy. V tak\u00fdchto pr\u00edpadoch inform\u00e1cie o adrese zvy\u010dajne poch\u00e1dzaj\u00fa z vo\u013en\u00e9ho textov\u00e9ho vstupu, alebo ako transkript (prepis) hovorenej re\u010di do textu. Tak\u00e9to vstupy m\u00f4\u017eu obsahova\u0165\u2019 zna\u010dne mno\u017estvo \u201d\u0161umu\u201d alebo odch\u00fdlky vo\u010di po\u017eadovan\u00e9mu form\u00e1tu adresy. Na overenie form\u00e1tu a platnosti adresy je potrebn\u00e9 odfiltrova\u0165\u2019 \u0161um a extrahova\u0165\u2019 zodpovedaj\u00face entity, ktor\u00e9 tvoria skuto\u010dn\u00fa, t.j. presn\u00fa adresu. Tento proces extrakcie ent\u00edt zo vstupn\u00e9ho textu je ozna\u010dovan\u00fd ako rozpozn\u00e1vanie pomenovan\u00fdch ent\u00edt (NER, z angl. \u201dNamed-Entity Recognition\u201d). V na\u0161om konkr\u00e9tnom pr\u00edpade ide o tieto entity: n\u00e1zov obce, n\u00e1zov ulice, \u010d\u00edslo domu a po\u0161tov\u00e9 smerovacie \u010d\u00edslo. Cie\u013eom tohto reportu je op\u00edsa\u0165\u2019 v\u00fdvoj, implement\u00e1ciu a pos\u00fadenie kvality syst\u00e9mu NER na extrakciu spomenut\u00fdch inform\u00e1ci\u00ed.<\/p>\n\n\n\n

POPIS PROBL\u00c9MU<\/strong><\/p>\n\n\n\n

T\u00e1to \u0161t\u00fadia je v\u00fdsledkom spolo\u010dn\u00e9ho \u00fasilia N\u00e1rodn\u00e9ho kompeten\u010dn\u00e9ho centra pre vysokov\u00fdkonn\u00e9 po\u010d\u00edtanie a spolo\u010dnosti nettle, s.r.o., ktor\u00e1 je slovensk\u00fdm start-upom zameran\u00fdm na spracovanie prirodzen\u00e9ho jazyka, chatboty a voiceboty. Cie\u013eom bolo vyvin\u00fa\u0165\u2019 vysoko presn\u00fd a spo\u013eahliv\u00fd NER model na extrakciu adries, ktor\u00e9ho vstupom je vo\u013en\u00fd text, ako aj transkript re\u010di do textu. V\u00fdsledn\u00fd NER model predstavuje d\u00f4le\u017eit\u00fd prvok pre v\u00fdvoj re\u00e1lnych syst\u00e9mov starostlivosti o z\u00e1kazn\u00edkov, ktor\u00fd sa d\u00e1 vyu\u017ei\u0165\u2019 v\u0161ade, kde je nutn\u00e9 extrahovanie adresy.

V\u00fdzvou tejto \u0161t\u00fadie bolo spracovanie d\u00e1t, ktor\u00e9 boli dostupn\u00e9 v\u00fdlu\u010dne v slovenskom jazyku. Z tohto d\u00f4vodu bol v\u00fdber z\u00e1kladn\u00e9ho modelu ve\u013emi obmedzen\u00fd. Aktu\u00e1lne je k dispoz\u00edcii nieko\u013eko verejne dostupn\u00fdch NER modelov pre slovensky jazyk. Tieto modely s\u00fa zalo\u017een\u00e9 na predtr\u00e9novanom univerz\u00e1lnom modeli SlovakBERT [1]. Bohu\u017eia\u013e\u2019, v\u0161etky tieto modely podporuj\u00fa len nieko\u013eko typov ent\u00edt, pri\u010dom podpora ent\u00edt relevantn\u00fdch pre extrakciu adries ch\u00fdba. Priame vyu\u017eitie popul\u00e1rnych ve\u013ek\u00fdch jazykov\u00fdch modelov (LLM, z angl. \u201dLarge Language Models\u201d), ako je GPT, prostredn\u00edctvom cloudov\u00fdch rozhran\u00ed (API) neprich\u00e1dza v na\u0161om pr\u00edpade do \u00favahy, prim\u00e1rne z d\u00f4vodov ochrany osobn\u00fdch \u00fadajov a \u010dasov\u00fdch oneskoren\u00ed.<\/p>\n\n\n\n

Navrhovany\u0301m rie\u0161en\u00edm je doladenie (z angl. \u201dfine-tuning\u201d) modelu SlovakBERT pre NER. U\u0301loha NER je v nas\u030com pr\u00edpade klasifikac\u030cna\u0301 u\u0301loha na u\u0301rovni tokenov. Cie\u013eom je dosiahnu\u0165\u2019 dostatoc\u030cnu\u0301 presnos\u0165\u2019 v rozpozn\u00e1van\u00ed ent\u00edt s maly\u0301m poc\u030ctom dostupny\u0301ch rea\u0301lnych pozorovan\u00ed. V c\u030casti 2.1 opisujeme na\u0301s\u030c da\u0301tovy\u0301 su\u0301bor, vra\u0301tane procesu tvorby ty\u0301chto da\u0301t. Vy\u0301razny\u0301 nedostatok dostupny\u0301ch, rea\u0301lnych pozorovan\u00ed na\u0301s prinu\u0301til vytvori\u0165\u2019 \u201dsynteticke\u0301 da\u0301ta\u201d. V c\u030casti 2.2 navrhujeme u\u0301pravy SlovakBERT-u s cie\u013eom natr\u00e9nova\u0165\u2019 a doladi\u0165\u2019 ho pre nas\u030cu u\u0301lohu. V c\u030casti 2.3 sku\u0301mame iterac\u030cne\u0301 zleps\u030cenia na\u0301s\u030cho pr\u0131\u0301stupu generovania synteticky\u0301ch da\u0301t. Za\u0301verom, v c\u030casti 3, uva\u0301dzame vy\u0301sledky tre\u0301novania a diskutujeme v\u00fdkonnos\u0165\u2019 modelu.<\/p>\n\n\n\n

<\/p>\n\n\n\n

D\u00c1TA<\/h2>\n\n\n\n

K dispoz\u00edcii bolo iba 69 zaznamenany\u0301ch, rea\u0301lnych vstupov. Vs\u030cetky tieto vstupy boli navys\u030ce znac\u030cne ovplyvnene\u0301 s\u030cumom, napr. prirodzeny\u0301m v\u00e1han\u00edm v rec\u030ci, chybami pri prepise rec\u030ci a pod. Preto boli tieto da\u0301ta pouz\u030cite\u0301 vy\u0301luc\u030cne na testovanie. V tabu\u013eke 1 su\u0301 uvedene\u0301 dva pr\u00edklady zo zhromaz\u030cdene\u0301ho su\u0301boru da\u0301t.<\/p>\n\n\n\n

<\/p>\n\n\n

\n
\"\"<\/a>
Tabul\u2019ka 1: Dva pr\u0131\u0301klady z rea\u0301lnych da\u0301t. V stl\u0301pci Veta je zobrazeny\u0301 po\u0302vodny\u0301 text adresy. Stl\u0301pec Tokenizovany\u0301 text obsahuje tokenizovanu\u0301 reprezenta\u0301ciu vety a stl\u0301pec Anota\u0301cie obsahuje tag-y pre pr\u0131\u0301slus\u030cne\u0301 tokeny. Zdo\u0302razn\u030cujeme, z\u030ce nie kaz\u030cda\u0301 veta mus\u0131\u0301 nevyhnutne obsahovat\u2019 vs\u030cetky uvaz\u030covane\u0301 typy ent\u0131\u0301t. Niektore\u0301 vety obsahuju\u0301 s\u030cum, zatial\u2019 c\u030co in\u00e9 obsahuju\u0301 gramaticke\u0301\/pravopisne\u0301 chyby: Token ,,D\u030cals\u030ci\u201d nie je s\u00fa\u010das\u0165ou adresy a na\u0301zov ulice ,,bauerova\u0301\u201d neza\u010d\u00edna ve\u013ek\u00fdm p\u00edsmenom.<\/figcaption><\/figure><\/div>\n\n\n

Vytv\u00e1ranie syntetick\u00e9ho s\u00faboru tr\u00e9novac\u00edch d\u00e1t sa uk\u00e1zalo ako jedin\u00e1 mo\u017enost\u2019 rie\u0161enia probl\u00e9mu nedostatku pozorovan\u00ed. Ins\u030cpirovan\u00ed 69 rea\u0301lnymi pr\u00edkladmi sme pomocou API do OpenAI vygenerovali mnoz\u030cstvo podobny\u0301ch, rea\u0301lne vyzeraju\u0301cich pr\u00edkladov. Na anotovanie vygenerovane\u0301ho su\u0301boru da\u0301t sa pouz\u030cila anotac\u030cna\u0301 sche\u0301ma BIO [2]. Ta\u0301to sche\u0301ma, c\u030casto pouz\u030c\u00edvan\u00e1 v NLP na anotovanie tokenov, oznac\u030cuje v sekvencii zac\u030ciatok (beginning – B), vnu\u0301tro (inside – I) alebo \u201dvonkajs\u030cok\u201d (outside – O) ent\u00edt. Pou\u017e\u00edvame 9 anot\u00e1ci\u00ed: O, B-Ulica, I-Ulica, B-C\u030c\u00edsloDomu, I C\u030c\u00edsloDomu, B-Obec, I-Obec, B-PSC\u030c, I-PSC\u030c.

U\u0301daje boli generovane\u0301 vo viacery\u0301ch itera\u0301cia\u0301ch, vid\u2019. \u010das\u0165\u2019 2.3. Konec\u030cny\u0301 su\u0301bor tre\u0301novac\u00edch da\u0301t pozosta\u0301val z viac ako 104 pozorovan\u00ed. Na generovanie bolo pouz\u030cite\u0301 GPT-3.5-turbo API. Ke\u010f\u017ee generovanie textu prostredn\u00edctvom tohto API je obmedzene\u0301 poc\u030ctom tokenov \u2013 ako generovany\u0301ch, tak aj tokenov v prompte \u2013, nebolo moz\u030cne\u0301 v ra\u0301mci promptov pou\u017ei\u0165\u2019 kompletny\u0301 zoznam vs\u030cetky\u0301ch existuju\u0301cich slovensky\u0301ch na\u0301zvov ul\u00edc a obc\u00ed. Preto boli da\u0301ta generovane\u0301 so za\u0301stupny\u0301mi znakmi na\u0301zov ulice a na\u0301zov obce, ktore\u0301 sa na\u0301sledne nahradili na\u0301hodne vybrany\u0301mi na\u0301zvami ul\u00edc a obc\u00ed zo zoznamov na\u0301zvov ul\u00edc, resp. obc\u00ed. Kompletny\u0301 zoznam slovensky\u0301ch na\u0301zvov ul\u00edc a obc\u00ed bol z\u00edskan\u00fd z webovy\u0301ch stra\u0301nok Ministerstva vnu\u0301tra Slovenskej republiky [3].

Pomocou generat\u00edvneho algoritmu OpenAI, dostupne\u0301ho cez API, sa na\u0301m podarilo dosiahnu\u0165\u2019 organicke\u0301 vety bez potreby ruc\u030cne\u0301ho generovania da\u0301t, c\u030co vy\u0301razne ury\u0301chlilo pra\u0301cu. Pouz\u030citie tohto pr\u00edstupu vs\u030cak neprebehlo u\u0301plne bez proble\u0301mov. Vo vygenerovanom su\u0301bore sa vyskytovalo mnoho chy\u0301b, boli to hlavne nespra\u0301vne anota\u0301cie, ktore\u0301 bolo potrebne\u0301 ruc\u030cne opravi\u0165\u2019. Vygenerovany\u0301 su\u0301bor bol rozdeleny\u0301 tak, z\u030ce 80% da\u0301t bolo pouz\u030city\u0301ch na tre\u0301novanie modelu, 15% na valida\u0301ciu a 5% ako synteticke\u0301 testovacie da\u0301ta, aby bolo moz\u030cne\u0301 porovna\u0165\u2019 v\u00fdkonnos\u0165\u2019 modelu na skutoc\u030cny\u0301ch da\u0301tach s vy\u0301konom na umely\u0301ch testovac\u00edch da\u0301tach.<\/p>\n\n\n\n

V\u00ddVOJ A TR\u00c9NOVANIE MODELOV<\/strong> <\/p>\n\n\n\n

V pra\u0301ci boli boli pou\u017eite\u0301 a porovnane\u0301 dva predtre\u0301novane\u0301, v\u0161eobecne\u0301 modely pre slovensky\u0301 jazyk: SlovakBERT [1] a destilovana\u0301 verzia tohto modelu [4]. V tomto texte ozna\u010dujeme destilovanu\u0301 verziu ako DistilSlovakBERT. SlovakBERT je open source predtre\u0301novany\u0301 model slovenske\u0301ho jazyka, ktory\u0301 vyu\u017e\u00edva maskovane\u0301 modelovanie jazyka (MLM, z angl. \u201dMasked Language Modeling\u201d). Bol natre\u0301novany\u0301 na v\u0161eobecnom slovenskom webovom korpuse, ale da\u0301 sa l\u2019ahko prispo\u0302sobit\u2019 na ries\u030cenie novy\u0301ch u\u0301loh [1]. Dis-tilSlovakBERT je predtre\u0301novany\u0301 model z\u00edskany\u0301 z modelu SlovakBERT meto\u0301dou nazy\u0301vanou \u201ddestila\u0301cia znalost\u00ed\u201d, ktora\u0301 vy\u0301razne zmens\u030cuje vel\u2019kost\u2019 modelu pri zachovan\u00ed (az\u030c 97%) jeho schopnost\u00ed porozumiet\u2019 jazyku.

Oba modely boli upravane\u0301 pridan\u00edm vrstvy klasifika\u0301cie, \u010d\u00edm sa v oboch pr\u00edpadoch z\u00edskali modely vhodne\u0301 pre u\u0301lohy NER. Posledna\u0301 klasifika\u010dna\u0301 vrstva pozosta\u0301va z 9 neuro\u0301nov zodpovedaju\u0301cich 9 anota\u0301cia\u0301m ent\u00edt, t.j. 4 \u010dasti adresy a ka\u017eda\u0301 je reprezentovana\u0301 dvoma anota\u0301ciami – za\u010diatok (B) a vnu\u0301tro (I) ka\u017edej entity a jedna anota\u0301cia je pre nepr\u00edtomnos\u0165 akejko\u013evek entity (O). Po\u010det parametrov pre ka\u017edy\u0301 model a jeho zlo\u017eky su\u0301 zhrnute\u0301 v tabu\u013eke 2.<\/p>\n\n\n

\n
\"\"<\/a>
Tabul\u2019ka 2: Poc\u030cet parametrov v pouz\u030city\u0301ch NER modeloch a ich pr\u0131\u0301slus\u030cne\u0301 poc\u030cty parametrov pre za\u0301kladny\u0301 model a klasifikac\u030cnu\u0301 vrstvu.<\/figcaption><\/figure><\/div>\n\n\n

Tre\u0301novanie modelov sa uka\u0301zalo byt\u2019 zna\u010dne na\u0301chylne\u0301 na preu\u010denie. Na ries\u030cenie tohto proble\u0301mu a dal\u0161ie zleps\u030cenie procesu tre\u0301novania bolo pou\u017e\u00edte\u0301 linea\u0301rne zmens\u030covanie parametru ry\u0301chlosti uc\u030cenia, regulariza\u010dna\u0301 strate\u0301giu \u201dweight decay\u201d a niektore\u0301 d\u2019al\u0161ie strate\u0301gie ladenia hyperparametrov.

Na tre\u0301novanie modelov boli vyuz\u030cite\u0301 vy\u0301poc\u030ctove\u0301 prostriedky HPC syste\u0301mu Devana, ktory\u0301 preva\u0301dzkuje Vy\u0301poc\u030ctove\u0301 stredisko Centra spoloc\u030cny\u0301ch \u010dinnost\u00ed SAV, konkre\u0301tne s vyu\u017eit\u00edm akcelerovane\u0301ho uzla s 1 grafickou kartou (GPU) NVidia A100. Na pohodlnejs\u030ciu analy\u0301zu a ladenie bolo vyu\u017e\u00edvane\u0301 interakt\u00edvne prostredie OpenOnDemand, ktore\u0301 umoz\u030cn\u030cuje pou\u017e\u00edvatel\u2019om vzdialeny\u0301 webovy\u0301 pr\u00edstup k superpo\u010d\u00edtac\u030cu.

Proces tre\u0301novania vyz\u030cadoval iba 10 \u2212 20 epoch na natre\u0301novanie pre oba modely. Pri pou\u017eit\u00ed spomenuty\u0301ch HPC prostriedkov bol c\u030cas tre\u0301novania jednej epochy v priemere 20 seku\u0301nd pre 9492 vzoriek v tre\u0301novanom su\u0301bore da\u0301t pre SlovakBERT a 12 seku\u0301nd pre DistilSlovakBERT. Inferencia na 69 vzorka\u0301ch trva\u0301 0, 64 sekundy pre SlovakBERT a 0, 37 sekundy pre DistilSlovakBERT, c\u030co dokazuje dostatoc\u030cnu\u0301 efektivitu pre pouz\u030citie ty\u0301chto modelov v NLP aplika\u0301cia\u0301ch v rea\u0301lnom c\u030case.<\/p>\n\n\n\n

ITERAT\u00cdVNE VYLEP\u0160ENIA<\/strong><\/p>\n\n\n\n

Hoci sme mali k dispoz\u00edcii len 69 rea\u0301lnych pozorovan\u00ed, ich komplexnost\u2019 bola pomerne na\u0301roc\u030cna\u0301 na simulovanie v generovany\u0301ch da\u0301tach. Generovany\u0301 su\u0301bor da\u0301t bol vytvoreny\u0301 pomocou viacery\u0301ch promptov, vy\u0301sledkom c\u030coho bolo 11,306 viet, ktore\u0301 pripom\u00ednali c\u030clovekom generovany\u0301 text. Z\u00edskanie finalne\u0301ho ries\u030cenia pozosta\u0301valo z niekol\u2019ky\u0301ch itera\u0301ci\u00ed, pric\u030com kaz\u030cdu\u0301 itera\u0301ciu moz\u030cno rozdeli\u0165 na viacere\u0301 kroky: generovanie da\u0301t, tre\u0301novanie modelu, vizualiza\u0301cia chy\u0301b predikcie na rea\u0301lnych a umely\u0301ch testovac\u00edch da\u0301tach a ich analy\u0301za. Ty\u0301mto spo\u0302sobom boli identifikovane\u0301 vzory, ktore\u0301 model nedoka\u0301zal rozpoznat\u2019. Na za\u0301klade ty\u0301chto poznatkov boli vygenerovane\u0301 nove\u0301 da\u0301ta, ktore\u0301 sa riadili ty\u0301mito novoidentifikovany\u0301mi vzormi. Da\u0301ta dopl\u0301n\u030cane\u0301 v itera\u0301cia\u0301ch boli generovane\u0301 pomocou promptov uvedeny\u0301ch v tabul\u2019ke 3. Pomocou kaz\u030cde\u0301ho novorozs\u030c\u00edrene\u0301ho su\u0301boru da\u0301t boli natre\u0301novane\u0301 oba modely, pric\u030com presnost\u2019 modelu Slovak-BERT vz\u030cdy prevys\u030covala presnost\u2019 modelu DistilSlovakBERT. Preto bol d\u2019alej vyuz\u030c\u00edvany\u0301 ako za\u0301kladny\u0301 model uz\u030c iba SlovakBERT.<\/p>\n\n\n\n

V\u00fdsledky<\/strong><\/p>\n\n\n\n

Matica za\u0301men (z angl. \u201dConfusion Matrix\u201d) zodpovedaju\u0301ca vy\u0301sledkom modelu natre\u0301novane\u0301ho v Itera\u0301cii 1 (pozri Tabul\u2019ka 3)\u2014je zobrazena\u0301 v Tabul\u2019ke 4. Tento model doka\u0301zal spra\u0301vne rozpoznat\u2019 iba 67, 51% ent\u00edt v testovacom su\u0301bore u\u0301dajov. Podrobne\u0301 presku\u0301manie chy\u0301b predikcie uka\u0301zalo, \u017ee su\u0301bor tre\u0301novac\u00edch da\u0301t nereprezentuje dostato\u010dne dobre rea\u0301lne pozorovania a je potrebne\u0301 generovat\u2019 viac reprezentat\u00edvnejs\u030c\u00edch u\u0301dajov. V tabul\u2019ke 4 je zrejme\u0301, z\u030ce naj\u010dastej\u0161ou chybou bola identifika\u0301cia obce ako ulice a docha\u0301dzalo k tomu v pr\u00edpadoch, ked\u2019 sa na\u0301zov obce objavil pred na\u0301zvom ulice v adrese. Vy\u0301sledkom bolo generovanie da\u0301t pomocou itera\u0301cie 2 a itera\u0301cie 3.<\/p>\n\n\n

\n
\"\"<\/a>
Tabul\u2019ka 3: Iterat\u0131\u0301vny proces vytva\u0301rania da\u0301tove\u0301ho su\u0301boru. Kaz\u030cdy\u0301 prompt bol pouz\u030city\u0301 dvakra\u0301t: najprv so s\u030cumom a potom bez s\u030cumu, t.j. s prirodzeny\u0301mi va\u0301haniami l\u2019udskej rec\u030ci. Niekedy, ak je v tabul\u2019ke uvedene\u0301, prompt umoz\u030cn\u030coval zamies\u030cat\u2019 alebo vynechat\u2019 niektore\u0301 c\u030casti adresy (entity).<\/figcaption><\/figure><\/div>\n\n\n

Ciel\u2019om bolo dosiahnut\u2019 viac ako 90% presnost\u2019 na rea\u0301lnych testovac\u00edch da\u0301tach. Presnost\u2019 predikcie modelu sa so systematicky\u0301m generovan\u00edm u\u0301dajov neusta\u0301le zvy\u0161ovala. Fina\u0301lne bol cely\u0301 su\u0301bor u\u0301dajov zduplikovany\u0301 tak, \u017ee duplicity reflektovali text s pou\u017eit\u00edm len maly\u0301ch p\u00edsmen, nakol\u2019ko vyu\u017eity\u0301 predtre\u0301novany\u0301 model je citlivy\u0301 na male\u0301 a vel\u2019ke\u0301 p\u00edsmena\u0301 a niektore\u0301 testovacie pozorovania obsahovali na\u0301zvy ul\u00edc a obc\u00ed s maly\u0301mi p\u00edsmenami. Vd\u2019aka tomu sa model stal robustnej\u0161\u00edm voc\u030ci forme, v ktorej dosta\u0301va vstup, a dosiahol konec\u030cnu\u0301 presnost\u2019 93,06%. Matica za\u0301men najlep\u0161ieho (fina\u0301lneho) modelu je zobrazena\u0301 v Tabul\u2019ke 5.<\/p>\n\n\n

\n
\"\"<\/a>
Tabul\u2019ka 4: Matica za\u0301men modelu natre\u0301novane\u0301ho na su\u0301bore da\u0301t z prvej itera\u0301cie, ktora\u0301 dosiahla predikc\u030cnu\u0301 presnost\u2019 modelu 67, 51 %.<\/figcaption><\/figure><\/div>\n\n
\n
\"\"<\/a>
Tabul\u2019ka 5: Matica za\u0301men konec\u030cne\u0301ho modelu s presnost\u2019ou 93,06%. Porovnan\u0131\u0301m vy\u0301sledkov s vy\u0301sledkami v Tabul\u2019ke 4 vid\u0131\u0301me, z\u030ce presnost\u2019 sa zvy\u0301s\u030cila o 25,55%.<\/figcaption><\/figure><\/div>\n\n\n

V predikcia\u0301ch sa sta\u0301le vyskytuju\u0301 niektore\u0301 chyby; najma\u0308 tokeny, ktore\u0301 maju\u0301 byt\u2019 identifikovane\u0301 ako O, su\u0301 ob\u010das nespra\u0301vne klasifikovane\u0301 ako Obec. Ty\u0301mto proble\u0301mom sme sa d\u2019alej nezaoberali, preto\u017ee sa vyskytuje pri slova\u0301ch, ktore\u0301 sa mo\u0302\u017eu podobat\u2019 na c\u030casti na\u0301zvov ent\u00edt, ale v skuto\u010dnosti nepredstavuju\u0301 samotne\u0301 entity. Pr\u00edklad je zobrazeny\u0301 v Tabul\u2019ke 6.<\/p>\n\n\n

\n
\"\"<\/a>
Tabul\u2019ka 6: Pr\u0131\u0301klady predikci\u0131\u0301 konec\u030cne\u0301ho modelu pre dve testovacie vety. Prva\u0301 veta obsahuje jeden nespra\u0301vne klasifikovany\u0301 token: tret\u0131\u0301 token ,,Kal\u201d s anota\u0301ciou O bol klasifikovany\u0301 ako B-Obec. K ne- spra\u0301vnej klasifika\u0301cii \u201cKal\u201d ako obce dos\u030clo v do\u0302sledku jeho podobnosti s podslovami nacha\u0301dzaju\u0301cimi sa v slove \u201cKals\u030ca\u201d. Druha\u0301 veta ma\u0301 vs\u030cetky svoje tokeny klasifikovane\u0301 spra\u0301vne.<\/figcaption><\/figure><\/div>\n\n\n

Z\u00c1VER<\/strong><\/p>\n\n\n\n

V tejto \u0161tu\u0301dii bol natre\u0301novany\u0301 NER model postaveny\u0301 na predtre\u0301novanom LLM modeli SlovakBERT. Model bol natre\u0301novany\u0301 vy\u0301luc\u030cne na umelo vygenerovanom su\u0301bore da\u0301t. Fina\u0301lne syntenticke\u0301 tre\u0301novacie da\u0301ta boli reprezentat\u00edvne a kvalitne\u0301, vd\u2019aka ich iterat\u00edvnemu roz\u0161irovaniu. Spolu s dolad\u2019ovan\u00edm hyperparametrov tento iterat\u00edvny pr\u00edstup umo\u017enuje dosiahnut\u2019 predikc\u030cnu\u0301 presnost\u2019 na rea\u0301lnom da\u0301tovom su\u0301bore, presahuju\u0301cu 90%. Prezentovany\u0301 pr\u00edstup naznac\u030cuje vysoky\u0301 potencia\u0301l pouz\u030c\u00edvania vy\u0301luc\u030cne synteticky generovany\u0301ch da\u0301t a to najma\u0308 v pr\u00edpadoch, ked\u2019 mnoz\u030cstvo rea\u0301lnych u\u0301dajov nie je dostatoc\u030cne\u0301 na tre\u0301novanie.

Z\u00edskany\u0301 model je moz\u030cne\u0301 vyu\u017eit\u2019 v rea\u0301lnych aplika\u0301cia\u0301ch slu\u0301\u017eiacich na extrakciu a overenie spra\u0301vnosti adries, z\u00edskany\u0301ch mechanizmami prevodu rec\u030ci na text. V pr\u00edpade, \u017ee je k dispoz\u00edcii va\u0308\u010d\u0161\u00ed su\u0301bor rea\u0301lnych da\u0301t, odporu\u0301c\u030came model pretre\u0301novat\u2019 a pr\u00edpadne aj roz\u0161\u00edrit\u2019 synteticky\u0301 su\u0301bor da\u0301t o d\u2019al\u0161ie generovane\u0301 u\u0301daje, pretoz\u030ce existuju\u0301ci su\u0301bor nemus\u00ed reprezentovat\u2019 potencia\u0301lne nove\u0301 vzory v ty\u0301chto novy\u0301ch, rea\u0301lnych da\u0301tach.
Model je dostupny\u0301 na https:\/\/huggingface.co\/nettle-ai\/slovakbert-address-ner<\/a><\/p>\n\n\n\n

PO\u010eAKOVANIE<\/strong><\/p>\n\n\n\n

Vy\u0301skum bol realizovany\u0301 s podporou Na\u0301rodne\u0301ho kompeten\u010dne\u0301ho centra pre HPC, projektu EuroCC 2 a Na\u0301rodne\u0301ho Superpo\u010d\u00edtac\u030cove\u0301ho Centra na za\u0301klade dohody o grante 101101903-EuroCC 2-DIGITAL-EUROHPC-JU-2022-NCC-01. Vy\u0301skum (alebo jeho \u010dast\u2019) bol realizovany\u0301 s vyu\u017eit\u00edm vy\u0301po\u010dtovej infra\u0161truktu\u0301ry obstaranej v projekte Na\u0301rodne\u0301 kompeten\u010dne\u0301 centrum pre vysokovy\u0301konne\u0301 po\u010d\u00edtanie (ko\u0301d projektu: 311070AKF2) financovane\u0301ho z Euro\u0301pskeho fondu regiona\u0301lneho rozvoja, \u0160truktura\u0301lnych fondov E\u00da Informatiza\u0301cia spolo\u010dnosti, opera\u010dne\u0301ho programu Integrovana\u0301 infra\u0161truktu\u0301ra 2014-2020.<\/p>\n\n\n\n

AUTORI <\/strong><\/p>\n\n\n\n

Bibi\u00e1na Laj\u010dinov\u00e1 – N\u00e1rodn\u00e9 superpo\u010d\u00edta\u010dov\u00e9 centrum<\/p>\n\n\n\n

Patrik Val\u00e1bek – N\u00e1rodn\u00e9 superpo\u010d\u00edta\u010dov\u00e9 centrum, \u00dastav informatiz\u00e1cie, automatiz\u00e1cie a matematiky, Slovensk\u00e1 technick\u00e1 univerzita v Bratislave <\/p>\n\n\n\n

Michal Spi\u0161iak – nettle, s. r. o. <\/p>\n<\/div><\/div>\n\n\n\n

\n

Pln\u00e1 verzia \u010dl\u00e1nku SK<\/a>
Pln\u00e1 verzia \u010dl\u00e1nku EN<\/a><\/p>\n\n\n\n

Zdroje<\/strong>:<\/p>\n\n\n\n

[1] Matu\u0301s Pikuliak, Stefan Grivalsky, Martin Konopka, Miroslav Blsta\u0301k, Martin Tamajka, Viktor Bachraty\u0301, Maria\u0301n Simko, Pavol Bala\u0301zik, Michal Trnka, and Filip Uhla\u0301rik. Slovakbert: Slovak masked language model. CoRR, abs\/2109.15254, 2021.

[2] Lance Ramshaw and Mitch Marcus. Text chunking using transformation-based learning. In Third Workshop on Very Large Corpora, 1995.
<\/p>\n\n\n\n

[3] Ministerstvo vnu\u0301tra Slovenskej republiky. Register adries. https:\/\/data.gov.sk\/dataset\/register-adries-register-ulic. Accessed: August 21, 2023.

[4] Ivan Agarsky\u0301. Hugging face model hub. https:\/\/huggingface.co\/crabz\/distil-slovakbert, 2022. Accessed: September 15, 2023.<\/p>\n\n\n\n

<\/p>\n\n\n\n


<\/p>\n\n\n\n

\n
Success-Stories<\/a><\/div>\n<\/div>\n\n\n
\"\"<\/a> Ke\u010f hmla ne\u010dakane udrie<\/a> 22 Aug<\/span> -<\/span> Ako v\u010das odhali\u0165 hmlu ako \u201enevidite\u013en\u00fa\u201c hrozbu sk\u00f4r, ne\u017e ochrom\u00ed na\u0161e cesty?<\/span><\/div>
\"\"<\/a> Stop digit\u00e1lnym pochlebova\u010dom<\/a> 16 Aug<\/span> -<\/span> Vedky\u0148a pomocou superpo\u010d\u00edta\u010da prelomila zvyk modelov AI len pr\u00e1zdne chv\u00e1li\u0165 a nau\u010dila ich d\u00e1va\u0165 \u00faprimn\u00fa, kritick\u00fa sp\u00e4tn\u00fa v\u00e4zbu<\/span><\/div>
\"\"<\/a> Odvr\u00e1ten\u00e1 strana bezplatn\u00fdch hier<\/a> 11 Jul<\/span> -<\/span> Ako slovensk\u00fd t\u00edm s pomocou superpo\u010d\u00edta\u010da vyrie\u0161il r\u00e9bus extr\u00e9mne vz\u00e1cneho spr\u00e1vania hr\u00e1\u010dov<\/span><\/div><\/div>\n<\/div><\/div>\n","protected":false},"excerpt":{"rendered":"

Many businesses spend large amounts of resources for communicating with clients. Usually, the goal is\nto provide clients with information, but sometimes there is also a need to request specific information\nfrom them.\nIn addressing this need, there has been a significant effort put into the development of chatbots\nand voicebots, which on one hand serve the purpose of providing information to clients, but they can\nalso be utilized to contact a client with a request to provide some information.\nA specific real-world example is to contact a client, via text or via phone, to update their postal address. The address may have possibly changed over time, so a business needs to update this information\nin its internal client database. <\/p>","protected":false},"author":2,"featured_media":7435,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"templates\/template-full-width.php","format":"standard","meta":[],"categories":[9],"tags":[],"_links":{"self":[{"href":"https:\/\/eurocc.nscc.sk\/en\/wp-json\/wp\/v2\/posts\/7416"}],"collection":[{"href":"https:\/\/eurocc.nscc.sk\/en\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/eurocc.nscc.sk\/en\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/eurocc.nscc.sk\/en\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/eurocc.nscc.sk\/en\/wp-json\/wp\/v2\/comments?post=7416"}],"version-history":[{"count":82,"href":"https:\/\/eurocc.nscc.sk\/en\/wp-json\/wp\/v2\/posts\/7416\/revisions"}],"predecessor-version":[{"id":8478,"href":"https:\/\/eurocc.nscc.sk\/en\/wp-json\/wp\/v2\/posts\/7416\/revisions\/8478"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/eurocc.nscc.sk\/en\/wp-json\/wp\/v2\/media\/7435"}],"wp:attachment":[{"href":"https:\/\/eurocc.nscc.sk\/en\/wp-json\/wp\/v2\/media?parent=7416"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/eurocc.nscc.sk\/en\/wp-json\/wp\/v2\/categories?post=7416"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/eurocc.nscc.sk\/en\/wp-json\/wp\/v2\/tags?post=7416"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}