{"id":6848,"date":"2023-07-28T21:49:30","date_gmt":"2023-07-28T19:49:30","guid":{"rendered":"https:\/\/eurocc.nscc.sk\/?p=6848"},"modified":"2023-08-02T14:28:49","modified_gmt":"2023-08-02T12:28:49","slug":"detekcia-anomalii-v-casovych-radoch-prevencia-gamblingu-pomocou-hlbokeho-ucenia","status":"publish","type":"post","link":"https:\/\/eurocc.nscc.sk\/en\/detekcia-anomalii-v-casovych-radoch-prevencia-gamblingu-pomocou-hlbokeho-ucenia\/","title":{"rendered":"Anomaly Detection in Time Series Data:\nGambling prevention using Deep Learning"},"content":{"rendered":"\n
\n
\n
\n
\n

Detekcia anom\u00e1li\u00ed v \u010dasov\u00fdch radoch: prevencia gamblingu pomocou hlbok\u00e9ho u\u010denia<\/strong><\/p>\n\n\n\n

<\/p>\n<\/div><\/div>\n\n\n\n

Prevencia gamblingu u hr\u00e1\u010dov online kas\u00edn je v\u00fdzvou, so zjavne pozit\u00edvnym dopadom nielen na be\u017en\u00fd \u017eivot hr\u00e1\u010dov, ale aj na prev\u00e1dzkovate\u013eov kas\u00edn, ktor\u00fdch \u00famyslom je sprostredkova\u0165 zodpovedn\u00e9 hranie. Na dosiahnutie t\u00fdchto cie\u013eov sme pou\u017eili met\u00f3dy hlbok\u00e9ho u\u010denia \u201ebez u\u010dite\u013ea\u201c (z angl. \u201eunsupervised learning\u201c), ktor\u00e9 dok\u00e1\u017eu identifikova\u0165 hr\u00e1\u010dov vykazuj\u00facich zn\u00e1mky probl\u00e9mov\u00e9ho hr\u00e1\u010dstva, s vyu\u017eit\u00edm dostupn\u00fdch d\u00e1t vo forme \u010dasov\u00fdch radov. Prezentujeme porovnanie nami navrhnutej architekt\u00fary autoenk\u00f3dera zalo\u017eenej na transformeroch s rekurentn\u00fdmi a konvolu\u010dn\u00fdmi autoenk\u00f3dermi, s d\u00f4razom na v\u00fdhody tejto architekt\u00fary v detekcii anom\u00e1li\u00ed. Ke\u010f\u017ee klinick\u00e1 diagn\u00f3za hr\u00e1\u010dov nebola v dostupn\u00fdch d\u00e1tach k dispoz\u00edcii, v\u00fdsledky na\u0161ej \u0161t\u00fadie vyhodnocujeme analyzovan\u00edm \u201esk\u00f3re anom\u00e1lie\u201c z\u00edskan\u00e9ho z autoenk\u00f3dera a nieko\u013ek\u00fdch pomocn\u00fdch ukazovate\u013eov, ktor\u00e9 s\u00fa v literat\u00fare \u010dasto spom\u00ednan\u00e9 ako sympt\u00f3my probl\u00e9mov\u00e9ho hr\u00e1\u010dstva.<\/p>\n\n\n\n

<\/p>\n<\/div>\n\n\n\n

\n
\"\"<\/a>
Ilustra\u010dn\u00fd obr\u00e1zok<\/figcaption><\/figure>\n<\/div>\n<\/div>\n\n\n\n

<\/p>\n\n\n\n

Patologick\u00e9 hranie hier je definovan\u00e9 ako probl\u00e9mov\u00e9 spr\u00e1vanie, kedy osoba opakovane stav\u00ed objekt ur\u010ditej hodnoty (naj\u010dastej\u0161ie peniaze) za \u00fa\u010delom v\u00fdhry, ale s neur\u010dit\u00fdm v\u00fdsledkom [1], [2]. Bolo tie\u017e odhalen\u00fdch mnoho podobnost\u00ed medzi probl\u00e9mov\u00fdm gamblingom a z\u00e1vislos\u0165ami na omamn\u00fdch l\u00e1tkach [3]. S pr\u00edstupnos\u0165ou internetu sa zv\u00fd\u0161il aj v\u00fdskyt patologick\u00e9ho hr\u00e1\u010dstva. Toto spr\u00e1vanie m\u00e1 \u010dasto negat\u00edvny dopad nielen na \u017eivot dotknut\u00fdch jednotlivcov, ale aj ich rodiny. Pr\u00e1ve preto je v\u010dasn\u00e1 detekcia zn\u00e1mok patologick\u00e9ho hr\u00e1\u010dstva k\u013e\u00fa\u010dov\u00e1 nielen pre zachovanie du\u0161evn\u00e9ho zdravia, ale aj finan\u010dnej situ\u00e1cie ovplyvnen\u00fdch os\u00f4b. T\u00e1to pr\u00e1ca vznikla ako spolupr\u00e1ca N\u00e1rodn\u00e9ho kompeten\u010dn\u00e9ho centra pre vysokov\u00fdkonn\u00e9 po\u010d\u00edtanie, spolo\u010dnosti DOXXbet s.r.o. (\u0161portov\u00e9 tipovanie a online kas\u00edno) a spolo\u010dnosti Codium s.r.o. (v\u00fdvoj softv\u00e9rovej platformy \u0161portov\u00e9 tipovanie a iGaming-u pre DOXXbet, s.r.o.), s cie\u013eom zlep\u0161enia slu\u017eieb z\u00e1kazn\u00edkom a prevencie patologick\u00e9ho hr\u00e1\u010dstva. Tento \u201eproof of concept\u201c projekt je z\u00e1kladom pre \u010fal\u0161\u00ed v\u00fdvoj n\u00e1strojov, ktor\u00e9 pom\u00f4\u017eu poskytovate\u013eovi zmierni\u0165 dopad negat\u00edvnych n\u00e1sledkov probl\u00e9mov\u00e9ho hr\u00e1\u010dstva na \u017eivoty hr\u00e1\u010dov, aj za cenu zn\u00ed\u017eenia pr\u00edjmov, \u010do je v s\u00falade s aktu\u00e1lnymi eur\u00f3pskymi trendmi v risk mana\u017emente online hazardn\u00fdch hier.<\/p>\n\n\n\n

V na\u0161ej pr\u00e1ci sme pou\u017eili pr\u00edstup u\u010denia \u201ebez u\u010dite\u013ea\u201c s vyu\u017eit\u00edm neur\u00f3novej AE siete zalo\u017eenej na transformeroch za \u00fa\u010delom detekcie anom\u00e1li\u00ed. Predpoklad\u00e1me, \u017ee d\u00e1ta patologick\u00fdch hr\u00e1\u010dov, ktor\u00fdch by (\u0161tatisticky) medzi v\u0161etk\u00fdmi hr\u00e1\u010dmi malo by\u0165 medzi 0.5 a\u017e 5%, vykazuj\u00fa anom\u00e1lie, nie nutne naopak. D\u00e1tov\u00e1 sada, ktor\u00fa pou\u017e\u00edvame, neobsahuje klinick\u00fa diagn\u00f3zu hr\u00e1\u010dov a spomedzi pomocn\u00fdch ukazovate\u013eov spomenut\u00fdch vy\u0161\u0161ie sa v d\u00e1tach nach\u00e1dzaj\u00fa len niektor\u00e9 \u2013 \u017eiadosti o zv\u00fd\u0161enie limitu vkladov, doh\u00e1\u0148anie str\u00e1t intenz\u00edvnej\u0161\u00edm hran\u00edm (\u010falej budeme tento indik\u00e1tor ozna\u010dova\u0165 \u201eepiz\u00f3dy nah\u00e1\u0148ania straty\u201c), pou\u017e\u00edvanie viacer\u00fdch platobn\u00fdch met\u00f3d, \u010dast\u00e9 v\u00fdbery mal\u00fdch finan\u010dn\u00fdch obnosov a \u010fal\u0161ie, ktor\u00e9 bud\u00fa spomenut\u00e9 nesk\u00f4r. Nako\u013eko nie v\u0161etci hr\u00e1\u010di, ktor\u00ed preuk\u00e1\u017eu anom\u00e1lne spr\u00e1vanie musia by\u0165 patologick\u00fdmi hr\u00e1\u010dmi, boli pomocn\u00e9 ukazovatele pou\u017eit\u00e9 v kombin\u00e1cii so \u201esk\u00f3re anom\u00e1lie\u201c, z\u00edskan\u00e9ho ako v\u00fdstup z AE.<\/p>\n\n\n\n

<\/p>\n\n\n\n

D\u00c1TA<\/h2>\n\n\n\n

D\u00e1ta pou\u017eit\u00e9 v tejto \u0161t\u00fadii s\u00fa sekvenciami pozorovan\u00ed zbieran\u00fdch v \u010dase, monitoruj\u00face viacer\u00e9 aspekty hr\u00e1\u010dskeho spr\u00e1vania ako frekvencia a \u010dasy hier, frekvencia a v\u00fd\u0161ka pe\u0148a\u017en\u00fdch vkladov, platobn\u00e9 met\u00f3dy pou\u017eit\u00e9 pri pe\u0148a\u017en\u00fdch vkladoch, inform\u00e1cie o v\u00fd\u0161ke st\u00e1vok, v\u00fdhier, str\u00e1t, v\u00fdberoch a taktie\u017e po\u010detnos\u0165 \u017eiadost\u00ed o zmenu limitu pre v\u00fd\u0161ku vkladov. Z t\u00fdchto d\u00e1t bolo extrahovan\u00fdch 19 prvkov deskriptora vo forme \u010dasov\u00fdch radov (\u010cR). Ka\u017ed\u00fd prvok deskriptora pozost\u00e1va z viacer\u00fdch hodn\u00f4t, ktor\u00e9 s\u00fa chronologicky usporiadan\u00e9. Tieto pr\u00edznaky s\u00fa pre zrozumite\u013enos\u0165 klasifikovan\u00e9 do troch kateg\u00f3ri\u00ed \u2013 \u201e\u010das\u201c, \u201epeniaze\u201c a \u201ez\u00fafalstvo\u201c, in\u0161pirovan\u00e9 autormi Seth a kol. [4]. Ka\u017ed\u00fd prvok deskriptora je sekvenciou N hodn\u00f4t, pri\u010dom ka\u017ed\u00e1 hodnota predstavuje jedno z N po sebe id\u00facich \u010dasov\u00fdch okien. Ka\u017ed\u00e1 tak\u00e1to hodnota bola z\u00edskan\u00e1 agreg\u00e1ciou denn\u00fdch d\u00e1t v pr\u00edslu\u0161nom \u010dasovom okne, pri\u010dom d\u013a\u017eka \u010dasov\u00e9ho okna bola v rozmedz\u00ed od 15 dn\u00ed a\u017e po 3 mesiace. \u010casov\u00e9 okno bolo v niektor\u00fdch pr\u00edpadoch pohybliv\u00e9, v in\u00fdch nie. Pre ka\u017ed\u00e9 pozorovanie teda potrebujeme d\u00e1ta z N \u010dasov\u00fdch okien a zvolen\u00e1 hodnota N po s\u00e9rii experimentov bola 8 . Cel\u00fd proces extrakcie premenn\u00fdch je zobrazen\u00fd na Obr\u00e1zku 1, fin\u00e1lny tvar d\u00e1t na Obr\u00e1zku 2.<\/p>\n\n\n\n

<\/p>\n\n\n

\n
\"\"<\/a>
Obr\u00e1zok 1: Vizualiz\u00e1cia agreg\u00e1cie denn\u00fdch z\u00e1znamov do \u010dasov\u00fdch okien a do fin\u00e1lnej formy prvkov deskriptora. t1<\/sub>, …, t450<\/sub> predstavuj\u00fa \u010dasov\u00e9 z\u00e1znamy pre denn\u00e9 d\u00e1ta x1<\/sub>, …, x450<\/sub>. Denn\u00e9 z\u00e1znamy z \u010dasov\u00e9ho okna s\u00fa agregovan\u00e9 do jednej hodnoty zi<\/sub> pre v\u0161etky i \u2208 (1, . . . , 8).<\/figcaption><\/figure><\/div>\n\n
\n
\"\"<\/a>
Obr\u00e1zok 2: Fin\u00e1lny tvar d\u00e1t vstupuj\u00facich do modelu. Ka\u017ed\u00e9 pozorovanie pozost\u00e1va z dev\u00e4tn\u00e1stich prvkov deskriptora a ka\u017ed\u00fd prvok pozost\u00e1va z \u00f4smych \u010dasov\u00fdch okien.<\/figcaption><\/figure><\/div>\n\n\n

Architekt\u00fara modelu neur\u00f3novej siete<\/strong> <\/h2>\n\n\n\n

Autoenk\u00f3der je met\u00f3da hlbok\u00e9ho u\u010denia \u201ebez u\u010dite\u013ea\u201c vhodn\u00e1 na detekciu anom\u00e1li\u00ed v \u010cR. My\u0161lienka pou\u017eitia tohto typu neur\u00f3novej siete na detekciu anom\u00e1li\u00ed je zalo\u017een\u00e1 na rekon\u0161truk\u010dnej schopnosti modelu. AE sa nau\u010d\u00ed rekon\u0161truova\u0165 d\u00e1ta v tr\u00e9novacej sade a ke\u010f\u017ee tr\u00e9novacia sada by ide\u00e1lne mala obsahova\u0165 len \u201enorm\u00e1lne\u201c pozorovania, model sa nau\u010d\u00ed spr\u00e1vne rekon\u0161truova\u0165 len tak\u00e9to pozorovania. Preto ke\u010f je vstupn\u00e9 pozorovanie anom\u00e1lne, natr\u00e9novan\u00fd AE model nedok\u00e1\u017ee tento vstup zrekon\u0161truova\u0165 dostato\u010dne spr\u00e1vne, \u010do m\u00e1 za n\u00e1sledok vysok\u00fa rekon\u0161truk\u010dn\u00fa chybu. T\u00e1to rekon\u0161truk\u010dn\u00e1 chyba m\u00f4\u017ee by\u0165 pou\u017eit\u00e1 ako sk\u00f3re anom\u00e1lie dan\u00e9ho pozorovania, pri\u010dom vy\u0161\u0161ie sk\u00f3re znamen\u00e1 v\u00e4\u010d\u0161iu pravdepodobnos\u0165, \u017ee pozorovanie sa vymyk\u00e1 v\u0161eobecn\u00e9mu trendu.<\/p>\n\n\n\n

V \u0161t\u00fadii sme natr\u00e9novali AE model na b\u00e1ze transformerov, kde enk\u00f3der aj dek\u00f3der obsahuj\u00fa vrstvu naz\u00fdvan\u00fa \u201eMulti Head Attention\u201c so \u0161tyrmi \u201ehlavami\u201c a 32-dimenzion\u00e1lnymi vektormi k\u013e\u00fa\u010dov a hodn\u00f4t. Za touto vrstvou nasleduje klasick\u00e1 neur\u00f3nov\u00e1 sie\u0165 s tzv. \u201edropout\u201c vrstvami a rezidu\u00e1lnymi spojeniami. Cel\u00fd AE model m\u00e1 nie\u010do m\u00e1lo viac ne\u017e 100k tr\u00e9novate\u013en\u00fdch parametrov.<\/p>\n\n\n\n

Rekon\u0161truk\u010dn\u00e1 chyba a predik\u010dn\u00e1 schopnos\u0165<\/strong><\/h2>\n\n\n\n

Na vyhodnotenie stability modelov sme uskuto\u010dnili 3-n\u00e1sobn\u00fa kr\u00ed\u017eov\u00fa valid\u00e1ciu. V\u00fdsledn\u00e1 priemern\u00e1 strata na tr\u00e9novacej mno\u017eine je 0.010, na valida\u010dnej 0.012 a na testovacej 0.015. Strata na testovacej mno\u017eine je vy\u0161\u0161ia ne\u017e t\u00e1 na tr\u00e9novacej alebo valida\u010dnej mno\u017eine, \u010do je sp\u00f4soben\u00e9 t\u00fdm, \u017ee 211 anom\u00e1lnych pozorovan\u00ed bolo presunut\u00fdch do testovacej mno\u017einy. Bez presunu t\u00fdchto pozorovan\u00ed by bola strata na testovacej mno\u017eine 0.012. V\u00fdkon modelu je prezentovan\u00fd na Obr\u00e1zku 3 vo forme histogramu hodnoty stratovej funkcie. Histogram m\u00e1 \u201e\u0165a\u017ek\u00fd prav\u00fd chvost\u201c, \u010do je o\u010dak\u00e1van\u00e9 pre d\u00e1tov\u00e9 sady obsahuj\u00face anom\u00e1lie.<\/p>\n\n\n

\n
\"\"<\/a>
Obr\u00e1zok 3: Histogramy rekon\u0161truk\u010dnej chyby AE modelu na b\u00e1ze transformeru pre testovaciu mno\u017einu. Na osi x je hodnota sk\u00f3re anom\u00e1lie a na osi y je frekvencia pr\u00edslu\u0161nej hodnoty.<\/figcaption><\/figure><\/div>\n\n\n

Na demon\u0161tr\u00e1ciu kvality rekon\u0161trukcie \u010cR s\u00fa na obr\u00e1zku Obr\u00e1zku 4 zn\u00e1zornen\u00e9 p\u00f4vodn\u00e9 (modr\u00e1 \u010diara) a predikovan\u00e9 (\u010derven\u00e1 \u010diara) hodnoty pre n\u00e1hodne vybran\u00e9 anom\u00e1lne pozorovanie jedn\u00e9ho hr\u00e1\u010da. Hodnota sk\u00f3re anom\u00e1lie pre pr\u00edslu\u0161n\u00e9 modely je uveden\u00e1 v nadpise grafov.<\/p>\n\n\n

\n
\"\"<\/a>
Obr\u00e1zok 4: Porovnanie predik\u010dnej schopnosti AE modelov. V\u0161etky modely rekon\u0161truovali rovnak\u00e9 pozorovanie, poch\u00e1dzaj\u00face z testovacej mno\u017einy. Predik\u010dn\u00e1 schopnos\u0165: modr\u00e1 \u010diara predstavuje vstupn\u00e9 d\u00e1ta, \u010derven\u00e1 rekon\u0161trukciu z\u00edskan\u00fa pomocou AE modelu na b\u00e1ze transformera. \u010c\u00edslo uveden\u00e9 v nadpise grafu predstavuje sk\u00f3re anom\u00e1lie pre dan\u00fa vzorku d\u00e1t.<\/figcaption><\/figure><\/div>\n\n\n

V\u00fdsledky<\/strong><\/h2>\n\n\n\n

Nako\u013eko nebola klinick\u00e1 diagn\u00f3za s\u00fa\u010das\u0165ou d\u00e1t, ktor\u00fdmi sme disponovali, m\u00f4\u017eeme sa pri identifik\u00e1cii hr\u00e1\u010dov s potenci\u00e1lne probl\u00e9mov\u00fdm hr\u00e1\u010dstvom spolieha\u0165 len na pomocn\u00e9 ukazovatele. K tejto \u00falohe sme prist\u00fapili tak, \u017ee s\u00edce detegujeme anom\u00e1lie v d\u00e1tach, ale sme si vedom\u00ed toho, \u017ee nie v\u0161etky anom\u00e1lie musia indikova\u0165 probl\u00e9m s gamblingom. Preto budeme korelova\u0165 v\u00fdsledky AE modelu s t\u00fdmito pomocn\u00fdmi ukazovate\u013emi:<\/p>\n\n\n\n