{"id":9557,"date":"2024-09-12T15:47:00","date_gmt":"2024-09-12T13:47:00","guid":{"rendered":"https:\/\/eurocc.nscc.sk\/?p=9557"},"modified":"2024-09-13T13:03:31","modified_gmt":"2024-09-13T11:03:31","slug":"klasifikacia-intentov-pre-bankove-chatboty-pomocou-velkych-jazykovych-modelov","status":"publish","type":"post","link":"https:\/\/eurocc.nscc.sk\/en\/klasifikacia-intentov-pre-bankove-chatboty-pomocou-velkych-jazykovych-modelov\/","title":{"rendered":"Intent Classification for Bank Chatbots through LLM Fine-Tuning"},"content":{"rendered":"\n
\n
\n
\n
\n

<\/p>\n\n\n\n

<\/p>\n\n\n\n

Klasifik\u00e1cia intentov pre bankov\u00e9 chatboty pomocou ve\u013ek\u00fdch jazykov\u00fdch modelov<\/strong><\/p>\n\n\n\n

Tento \u010dl\u00e1nok hodnot\u00ed pou\u017eitie ve\u013ek\u00fdch jazykov\u00fdch modelov na klasifik\u00e1ciu intentov v chatbote s preddefinovan\u00fdmi odpove\u010fami, ur\u010denom pre webov\u00e9 str\u00e1nky bankov\u00e9ho sektora. Zameriavame sa na efektivitu modelu SlovakBERT a porovn\u00e1vame ho s pou\u017eit\u00edm multilingv\u00e1lnych generat\u00edvnych modelov, ako s\u00fa Llama 8b instruct<\/em> a Gemma 7b instruct<\/em>, v ich predtr\u00e9novan\u00fdch aj fine-tunovan\u00fdch verzi\u00e1ch. V\u00fdsledky nazna\u010duj\u00fa, \u017ee SlovakBERT dosahuje lep\u0161ie v\u00fdsledky ne\u017e ostatn\u00e9 modely, a to v presnosti klasifik\u00e1cie ako aj v miere falo\u0161ne pozit\u00edvnych predikci\u00ed.<\/p>\n<\/div><\/div>\n\n\n\n

<\/p>\n<\/div>\n\n\n\n

\n
\"\"<\/a><\/figure><\/div><\/div>\n<\/div>\n\n\n\n

Pr\u00edchod digit\u00e1lnych technol\u00f3gi\u00ed v\u00fdrazne ovplyvnil aj sektor z\u00e1kazn\u00edckych slu\u017eieb, pri\u010dom v\u00fdrazn\u00fd posun je pozorovate\u013en\u00fd hlavne v integr\u00e1cii chatbotov do z\u00e1kazn\u00edckej podpory. Tento trend mo\u017eno pozorova\u0165 najm\u00e4 na webov\u00fdch str\u00e1nkach firiem, kde chatboty sl\u00fa\u017eia na zodpovedanie z\u00e1kazn\u00edckych ot\u00e1zok t\u00fdkaj\u00facich sa dan\u00e9ho biznisu. T\u00edto virtu\u00e1lni asistenti s\u00fa k\u013e\u00fa\u010dov\u00ed pri poskytovan\u00ed z\u00e1kladn\u00fdch inform\u00e1ci\u00ed z\u00e1kazn\u00edkom, \u010d\u00edm zni\u017euj\u00fa mno\u017estvo pracovn\u00fdch \u00faloh, ktor\u00e9 by inak museli rie\u0161i\u0165 pracovn\u00edci z\u00e1kazn\u00edckej podpory.<\/p>\n\n\n\n

V oblasti v\u00fdvoja chatbotov bolo mo\u017en\u00e9 v posledn\u00fdch rokoch pozorova\u0165 obrovsk\u00fd n\u00e1rast vyu\u017eitia generat\u00edvnej umelej inteligencie na tvorbu personalizovan\u00fdch odpoved\u00ed. Napriek tomuto technologick\u00e9mu pokroku niektor\u00e9 firmy st\u00e1le uprednost\u0148uj\u00fa \u0161trukt\u00farovan\u00fd pr\u00edstup k interakci\u00e1m chatbota. V tomto pr\u00edpade s\u00fa odpovede vopred definovan\u00e9, nie generovan\u00e9 po\u010das interakcie. T\u00fdmto je zaru\u010den\u00e1 presnos\u0165 inform\u00e1ci\u00ed v odpovediach bota a z\u00e1rove\u0148 je zabezpe\u010den\u00e9 konzistentn\u00e9 dodr\u017eiavanie komunika\u010dn\u00e9ho \u0161t\u00fdlu danej firmy. V\u00fdvoj chatbotov zvy\u010dajne zah\u0155\u0148a definovanie \u0161pecifick\u00fdch kateg\u00f3ri\u00ed naz\u00fdvan\u00fdch intenty. Ka\u017ed\u00fd intent predstavuje konkr\u00e9tny dopyt z\u00e1kazn\u00edka, \u010do umo\u017e\u0148uje chatbotu poskytn\u00fa\u0165 adekv\u00e1tnu odpove\u010f. Najv\u00e4\u010d\u0161ou v\u00fdzvou tohto syst\u00e9mu je preto presn\u00e1 identifik\u00e1cia z\u00e1kazn\u00edkovho z\u00e1meru (intentu) na z\u00e1klade jeho textov\u00e9ho vstupu.<\/p>\n\n\n\n

Popis probl\u00e9mu<\/strong><\/p>\n\n\n\n

Tento \u010dl\u00e1nok je v\u00fdsledkom spolo\u010dn\u00e9ho \u00fasilia N\u00e1rodn\u00e9ho kompeten\u010dn\u00e9ho centra pre vysokov\u00fdkonn\u00e9 po\u010d\u00edtanie a spolo\u010dnosti nettle, s.r.o., ktor\u00e1 je slovensk\u00fdm start-upom zameran\u00fdm na spracovanie prirodzen\u00e9ho jazyka, chatboty a voiceboty. V r\u00e1mci tejto spolupr\u00e1ce sa s\u00fastred\u00edme na n\u00e1vrh jazykov\u00e9ho klasifik\u00e1tora chatbota pre online prostredie banky. Na spracovanie rozsiahlych v\u00fdpo\u010dtov potrebn\u00fdch na v\u00fdvoj tohto rie\u0161enia boli pou\u017eit\u00e9 zdroje HPC syst\u00e9mu Devana.<\/p>\n\n\n\n

V chatbotoch spomenut\u00fdch v \u00favode je preferovan\u00e1 vopred definovan\u00e1 odpove\u010f namiesto generovanej. K\u013e\u00fa\u010dov\u00fdm krokom v po\u010diato\u010dnej f\u00e1ze v\u00fdvoja tak\u00e9hoto chatbota je preto identifik\u00e1cia s\u00faboru intentov v danej dom\u00e9ne. Tento krok je z\u00e1sadn\u00fd pre spr\u00e1vne fungovanie chatbota a pre poskytovanie presn\u00fdch odpoved\u00ed na ka\u017ed\u00fd konkr\u00e9tny intent. Tak\u00e9to chatboty b\u00fdvaj\u00fa vysoko sofistikovan\u00e9 a \u010dasto zah\u0155\u0148aj\u00fa \u0161irok\u00e9 spektrum intentov, niekedy a\u017e nieko\u013eko stoviek. V\u00fdvoj\u00e1ri vytv\u00e1raj\u00fa r\u00f4zne uk\u00e1\u017ekov\u00e9 fr\u00e1zy pre ka\u017ed\u00fd intent, ktor\u00e9 by mohli pou\u017e\u00edvatelia pou\u017ei\u0165 pri ot\u00e1zkach s\u00favisiacich s konkr\u00e9tnym z\u00e1merom. Tieto fr\u00e1zy zohr\u00e1vaj\u00fa z\u00e1sadn\u00fa \u00falohu pri definovan\u00ed jednotliv\u00fdch intentov a sl\u00fa\u017eia ako tr\u00e9novacie d\u00e1ta pre klasifika\u010dn\u00fd algoritmus.<\/p>\n\n\n\n

N\u00e1\u0161 z\u00e1kladn\u00fd model na klasifik\u00e1ciu intentov, ktor\u00fd nevyu\u017e\u00edva hlbok\u00e9 u\u010denie, dosahuje presnos\u0165 67% na re\u00e1lnych testovac\u00edch d\u00e1tach, podrobnej\u0161ie pop\u00edsan\u00fdch v \u010fal\u0161ej \u010dasti tohto \u010dl\u00e1nku. Cie\u013eom pr\u00e1ce je vyvin\u00fa\u0165 model zalo\u017een\u00fd na hlbokom u\u010den\u00ed, ktor\u00fd prekon\u00e1 v\u00fdkon tohto z\u00e1kladn\u00e9ho modelu.<\/p>\n\n\n\n

Prezentujeme dva r\u00f4zne pr\u00edstupy k rie\u0161eniu tejto \u00falohy. Prv\u00fd z nich sk\u00fama aplik\u00e1ciu modelu BERT (Bidirectional Encoder Representations from Transformers), ako z\u00e1klad pre klasifik\u00e1ciu intentov. Druh\u00fd pr\u00edstup sa zameriava na vyu\u017eitie generat\u00edvnych ve\u013ek\u00fdch jazykov\u00fdch modelov (LLM z angl. large language models) pomocou prompt in\u017einieringu na identifik\u00e1ciu vhodn\u00e9ho intentu, pri\u010dom sk\u00famame vyu\u017eitie t\u00fdchto modelov s fine-tuningom aj bez neho.<\/p>\n\n\n\n

D\u00e1ta<\/strong><\/p>\n\n\n\n

Na\u0161a tr\u00e9novacia d\u00e1tov\u00e1 sada pozost\u00e1va z p\u00e1rov (text, intent), kde ka\u017ed\u00fd text predstavuje pr\u00edklad dopytu adresovan\u00e9ho chatbotovi, ktor\u00fd vyvol\u00e1 pr\u00edslu\u0161n\u00fd intent. T\u00e1to d\u00e1tov\u00e1 mno\u017eina je prec\u00edzne skomponovan\u00e1 tak, aby pokr\u00fdvala cel\u00e9 spektrum preddefinovan\u00fdch intentov, zaru\u010duj\u00fac dostato\u010dn\u00fd objem textov\u00fdch pr\u00edkladov pre ka\u017ed\u00fa kateg\u00f3riu.<\/p>\n\n\n\n

V na\u0161ej \u0161t\u00fadii pracujeme s rozsiahlym s\u00faborom intentov, pri\u010dom ka\u017ed\u00fd je doplnen\u00fd o pr\u00edslu\u0161n\u00e9 pr\u00edklady dopytov. Pou\u017e\u00edvame dve tr\u00e9novacie mno\u017einy: \u201dsimple\u201d mno\u017einu, ktor\u00e1 obsahuje 10 a\u017e 20 pr\u00edkladov pre ka\u017ed\u00fd intent, a \u201dgenerated\u201d mno\u017einu, ktor\u00e1 zah\u0155\u0148a 20 a\u017e 500 pr\u00edkladov na intent. Mno\u017eina \u201dgenerated\u201d poskytuje v\u00e4\u010d\u0161\u00ed objem d\u00e1t, av\u0161ak s opakuj\u00facimi sa fr\u00e1zami v r\u00e1mci jednotliv\u00fdch intentov.<\/p>\n\n\n\n

Tieto zoskupenia d\u00e1t s\u00fa pripraven\u00e9 na spracovanie supervizovan\u00fdmi klasifika\u010dn\u00fdmi modelmi. Tento proces zah\u0155\u0148a konverziu mno\u017einy intentov do \u010d\u00edseln\u00e9ho poradia a priradenie ka\u017ed\u00e9ho textov\u00e9ho pr\u00edkladu k pr\u00edslu\u0161n\u00e9mu \u010d\u00edslu intentu, po \u010dom nasleduje samotn\u00e9 tr\u00e9novanie modelu.<\/p>\n\n\n\n

Okrem tr\u00e9novacej sady vyu\u017e\u00edvame aj testovaciu d\u00e1tov\u00fa sadu, ktor\u00e1 obsahuje pribli\u017ene 300 p\u00e1rov (text, intent), z\u00edskan\u00fdch z re\u00e1lnej prev\u00e1dzky chatbota, \u010do n\u00e1m poskytuje autentick\u00fd obraz interakci\u00ed pou\u017e\u00edvate\u013eov. V\u0161etky texty v tejto d\u00e1tovej sade s\u00fa manu\u00e1lne anotovan\u00e9 \u013eudsk\u00fdmi anot\u00e1tormi. T\u00e1to sada sl\u00fa\u017ei na hodnotenie v\u00fdkonu na\u0161ich klasifika\u010dn\u00fdch modelov porovn\u00e1van\u00edm predikovan\u00fdch intentov so skuto\u010dn\u00fdmi.<\/p>\n\n\n\n

V\u0161etky spom\u00ednan\u00e9 d\u00e1tov\u00e9 mno\u017einy s\u00fa vlastn\u00edctvom spolo\u010dnosti nettle, s.r.o., a preto nebud\u00fa detailnej\u0161ie diskutovan\u00e9.<\/p>\n\n\n\n

Vyhodnotenie<\/strong><\/p>\n\n\n\n

V tomto \u010dl\u00e1nku s\u00fa modely hodnoten\u00e9 predov\u0161etk\u00fdm na z\u00e1klade ich presnosti meranej na re\u00e1lnej testovacej d\u00e1tovej sade obsahuj\u00facej 300 pozorovan\u00ed. Ka\u017ed\u00e9 z t\u00fdchto pozorovan\u00ed patr\u00ed do jedn\u00e9ho z preddefinovan\u00fdch intentov, na ktor\u00fdch boli modely tr\u00e9novan\u00e9. Presnos\u0165 po\u010d\u00edtame ako pomer spr\u00e1vne klasifikovan\u00fdch vzoriek k celkov\u00e9mu po\u010dtu vzoriek. Pre modely, ktor\u00fdch v\u00fdstupom je aj pravdepodobnos\u0165 predikcie, ako napr. BERT, je vzorka pova\u017eovan\u00e1 za spr\u00e1vne klasifikovan\u00fa iba vtedy, ak jej pravdepodobnos\u0165 predikcie do spr\u00e1vnej triedy (intentu) prekro\u010d\u00ed stanoven\u00fd prah.<\/p>\n\n\n\n

Druhotnou metriku pou\u017e\u00edvanou na vyhodnotenie modelov je miera falo\u0161ne pozit\u00edvnych predikci\u00ed (FPR z angl. false positive rate), kde je preferovan\u00e1 \u010do najni\u017e\u0161ia hodnota. Na vyhodnotenie tejto metriky pou\u017e\u00edvame syntetick\u00e9 d\u00e1ta, ktor\u00e9 nepatria do \u017eiadneho intentu. O\u010dak\u00e1va sa, \u017ee modely bud\u00fa v tomto pr\u00edpade produkova\u0165 n\u00edzke hodnoty pravdepodobnosti predikcie (pre model BERT), alebo klasifikova\u0165 tieto vzorky do triedy \u201dinvalid\u201d (pre generat\u00edvne jazykov\u00e9 modely).<\/p>\n\n\n\n

V celom \u010dl\u00e1nku sa pod pojmami presnos\u0165 a FPR rozumej\u00fa metriky vypo\u010d\u00edtan\u00e9 t\u00fdmto sp\u00f4sobom.<\/p>\n\n\n\n

Pr\u00edstup 1: Klasifik\u00e1cia intentov pomocou modelov BERT
SlovakBERT<\/strong><\/p>\n\n\n\n

Ke\u010f\u017ee d\u00e1ta s\u00fa v slovenskom jazyku, bolo nevyhnutn\u00e9 vybra\u0165 model, ktor\u00fd \u201drozumie\u201d sloven\u010dine. Preto sme sa rozhodli pre model s n\u00e1zvom SlovakBERT [5], ktor\u00fd je prv\u00fdm verejne dostupn\u00fdm ve\u013ek\u00fdm modelom pre sloven\u010dinu.<\/p>\n\n\n\n

Na dosiahnutie najlep\u0161ieho v\u00fdkonu sme vykonali viacero experimentov s optimaliz\u00e1ciou tohto modelu. Tieto pokusy zah\u0155\u0148ali ladenie hyperparametrov, r\u00f4zne techniky predspracovania textu a, hlavne, v\u00fdber tr\u00e9novac\u00edch d\u00e1t.<\/p>\n\n\n\n

Vzh\u013eadom na existenciu dvoch tr\u00e9novac\u00edch d\u00e1tov\u00fdch mno\u017e\u00edn s relevantn\u00fdmi intentami (\u201dsimple\u201d a \u201dgenerated\u201d), ako prv\u00e9 boli vykonan\u00e9 experimenty s r\u00f4znymi pomermi vzoriek z t\u00fdchto dvoch mno\u017e\u00edn. V\u00fdsledky uk\u00e1zali, \u017ee optim\u00e1lny v\u00fdkon modelu sa dosahuje pri tr\u00e9novan\u00ed pomocou \u201cgenerated\u201d d\u00e1tovej sady.<\/p>\n\n\n\n

Po v\u00fdbere d\u00e1tovej mno\u017einy boli vykonan\u00e9 \u010fal\u0161ie experimenty, zameran\u00e9 na v\u00fdber spr\u00e1vneho predspracovania d\u00e1t. Testovali sme nasleduj\u00face mo\u017enosti:<\/p>\n\n\n\n