Inno4scale: Inovatívne algoritmy pre aplikácie na európskych Exascale superpočítačoch
Inno4scale je európska iniciatíva, ktorá vznikla na podporu vývoja inovatívnych algoritmov pre exascale superpočítače, aby bolo možné ich využívať naplno. V súčasnosti existujúce kódy pre vysokovýkonné výpočty nebudú v budúcnosti schopné efektívne fungovať na budúcich exascale systémoch . Projekt preto identifikuje a podporí vývoj aplikácií, ktoré majú potenciál naplno využiť nové pripravované EuroHPC exascale systémy.
Cieľom Inno4scale je podpora spoločného podniku EuroHPC, ktorého cieľom je dosiahnuť nasadenie Exascale superpočítačov v Európe. V rámci projektu sa efektívne využije vývoj nových algoritmov pre aplikácie na pripravovaných európskych Exascale superpočítačoch. Používané vo verejnej správe alebo priemysle budú tieto superpočítače schopné riešiť predtým nedostupné výpočtové výzvy. Priemysel, veda, ako aj verejná správa tak budú môcť skrátiť čas potrebný na riešenie výpočtových simulácií a pristupovať k väčším problémom pomocou nových riešení.
Projekt Inno4scale bol spustený začiatkom júla 2023 a potrvá 21 mesiacov. Finančná podpora projektu je garantovaná využitím kaskádového financovania. Projekt koordinuje Barcelonské superpočítačové centrum. Partneri projektu: SCAPOS, High-Performance Computing Center Univerzity v Stuttgarte a sieť PRACE. Celkový rozpočet je 4,5 mil. EUR.
Môžete sa prihlásiť do otvorenej výzvy Inno4scale a predložiť svoje návrhy na nadchádzajúce inovačné štúdie!
Po úspešnom minuloročnom podujatí sa už teraz môžete tešiť na Qubit Conference® Košice 2023
V dňoch 8.-9. novembra 2023 v Košiciach na vás čakajú zaujímaví rečníci a panelové diskusie, zdieľanie praktických skúseností profesionálov v oblasti informačnej a kybernetickej bezpečnosti, školenia vedené interaktívnou formou a obľúbený networking. Príďte a získajte cenné vedomosti a skúsenosti týkajúce sa oblasti rozvoja, aktuálnych nariadení a trendov v cyber security a digitálnej transformácii.
Nenechajte si ujsť:
Inšpiratívne panelové diskusie a prezentácie popredných rečníkov.
Školenia pre malé a stredné podniky.
Networkingové akcie.
Zúčastnite sa Qubit Conference® Košice 2023 a nezmeškajte jedinečnú príležitosť pre vzdelávanie, prezentáciu vašej spoločnosti a nadviazanie nových partnerských a profesionálnych vzťahov na slovenskom a českom cybersec trhu.
Poslaním konferencií Qubit je vybudovať profesionálnu komunitu odborníkov v odvetví kybernetickej bezpečnosti vďaka nadväzovaniu kontaktov a partnerstiev prostredníctvom vysoko odborných vzdelávacích podujatí, ktoré sú charakteristické odborným prístupom a priateľskou atmosférou.
Ako komunikovať vedu a technológie efektívne: skúsenosti nášho tímu22 aug-Náš tím sa dlhodobo venuje nielen rozvoju vysokovýkonného počítania, ale aj efektívnej komunikácii výsledkov a možností, ktoré prinášame priemyslu, akademickej sfére a mladej generácii výskumníkov. Považujeme to za kľúčovú súčasť našej práce – moderná vedecká a technologická inštitúcia dnes nemôže fungovať izolovane, ale musí vedieť jasne a zrozumiteľne komunikovať hodnotu a prínos svojich aktivít.
HPC a MATLAB: Silné partnerstvo pre dostupné superpočítače19 aug-Minulý týždeň sa uskutočnilo zaujímavé pracovné stretnutie, na ktorom sa Lucia Malíčková, zastrešujúca Národné superpočítačové centrum a Národné kompetenčné centrum pre HPC, stretla s Martinom Foltínom zo spoločnosti HUMUSOFT s.r.o., oficiálneho distribútora MathWorks.
Webinár: Ako vzniká veľký jazykový model pre jazyk s obmedzenými zdrojmi14 aug-Pozývame vás na náš ďalší odborný webinár, ktorý sa zameria na pokroky v oblasti umelej inteligencie pre slovinský jazyk. Podujatie sa uskutoční online v polovici septembra a ponúkne jedinečnú príležitosť nazrieť do zákulisia vývoja veľkého jazykového modelu prispôsobeného pre jazyk s obmedzenými zdrojmi. Prednášajúcim bude Domen Vreš z Univerzity v Ľubľane, Fakulty informatiky a počítačových vied, ktorý sa dlhodobo venuje výskumu v oblasti spracovania prirodzeného jazyka a umelej inteligencie.
Detekcia anomálií v časových radoch: prevencia gamblingu pomocou hlbokého učenia
Prevencia gamblingu u hráčov online kasín je výzvou, so zjavne pozitívnym dopadom nielen na bežný život hráčov, ale aj na prevádzkovateľov kasín, ktorých úmyslom je sprostredkovať zodpovedné hranie. Na dosiahnutie týchto cieľov sme použili metódy hlbokého učenia „bez učiteľa“ (z angl. „unsupervised learning“), ktoré dokážu identifikovať hráčov vykazujúcich známky problémového hráčstva, s využitím dostupných dát vo forme časových radov. Prezentujeme porovnanie nami navrhnutej architektúry autoenkódera založenej na transformeroch s rekurentnými a konvolučnými autoenkódermi, s dôrazom na výhody tejto architektúry v detekcii anomálií. Keďže klinická diagnóza hráčov nebola v dostupných dátach k dispozícii, výsledky našej štúdie vyhodnocujeme analyzovaním „skóre anomálie“ získaného z autoenkódera a niekoľkých pomocných ukazovateľov, ktoré sú v literatúre často spomínané ako symptómy problémového hráčstva.
Ilustračný obrázok
Patologické hranie hier je definované ako problémové správanie, kedy osoba opakovane staví objekt určitej hodnoty (najčastejšie peniaze) za účelom výhry, ale s neurčitým výsledkom [1], [2]. Bolo tiež odhalených mnoho podobností medzi problémovým gamblingom a závislosťami na omamných látkach [3]. S prístupnosťou internetu sa zvýšil aj výskyt patologického hráčstva. Toto správanie má často negatívny dopad nielen na život dotknutých jednotlivcov, ale aj ich rodiny. Práve preto je včasná detekcia známok patologického hráčstva kľúčová nielen pre zachovanie duševného zdravia, ale aj finančnej situácie ovplyvnených osôb. Táto práca vznikla ako spolupráca Národného kompetenčného centra pre vysokovýkonné počítanie, spoločnosti DOXXbet s.r.o. (športové tipovanie a online kasíno) a spoločnosti Codium s.r.o. (vývoj softvérovej platformy športové tipovanie a iGaming-u pre DOXXbet, s.r.o.), s cieľom zlepšenia služieb zákazníkom a prevencie patologického hráčstva. Tento „proof of concept“ projekt je základom pre ďalší vývoj nástrojov, ktoré pomôžu poskytovateľovi zmierniť dopad negatívnych následkov problémového hráčstva na životy hráčov, aj za cenu zníženia príjmov, čo je v súlade s aktuálnymi európskymi trendmi v risk manažmente online hazardných hier.
V našej práci sme použili prístup učenia „bez učiteľa“ s využitím neurónovej AE siete založenej na transformeroch za účelom detekcie anomálií. Predpokladáme, že dáta patologických hráčov, ktorých by (štatisticky) medzi všetkými hráčmi malo byť medzi 0.5 až 5%, vykazujú anomálie, nie nutne naopak. Dátová sada, ktorú používame, neobsahuje klinickú diagnózu hráčov a spomedzi pomocných ukazovateľov spomenutých vyššie sa v dátach nachádzajú len niektoré – žiadosti o zvýšenie limitu vkladov, doháňanie strát intenzívnejším hraním (ďalej budeme tento indikátor označovať „epizódy naháňania straty“), používanie viacerých platobných metód, časté výbery malých finančných obnosov a ďalšie, ktoré budú spomenuté neskôr. Nakoľko nie všetci hráči, ktorí preukážu anomálne správanie musia byť patologickými hráčmi, boli pomocné ukazovatele použité v kombinácii so „skóre anomálie“, získaného ako výstup z AE.
DÁTA
Dáta použité v tejto štúdii sú sekvenciami pozorovaní zbieraných v čase, monitorujúce viaceré aspekty hráčskeho správania ako frekvencia a časy hier, frekvencia a výška peňažných vkladov, platobné metódy použité pri peňažných vkladoch, informácie o výške stávok, výhier, strát, výberoch a taktiež početnosť žiadostí o zmenu limitu pre výšku vkladov. Z týchto dát bolo extrahovaných 19 prvkov deskriptora vo forme časových radov (ČR). Každý prvok deskriptora pozostáva z viacerých hodnôt, ktoré sú chronologicky usporiadané. Tieto príznaky sú pre zrozumiteľnosť klasifikované do troch kategórií – „čas“, „peniaze“ a „zúfalstvo“, inšpirované autormi Seth a kol. [4]. Každý prvok deskriptora je sekvenciou N hodnôt, pričom každá hodnota predstavuje jedno z N po sebe idúcich časových okien. Každá takáto hodnota bola získaná agregáciou denných dát v príslušnom časovom okne, pričom dĺžka časového okna bola v rozmedzí od 15 dní až po 3 mesiace. Časové okno bolo v niektorých prípadoch pohyblivé, v iných nie. Pre každé pozorovanie teda potrebujeme dáta z N časových okien a zvolená hodnota N po sérii experimentov bola 8 . Celý proces extrakcie premenných je zobrazený na Obrázku 1, finálny tvar dát na Obrázku 2.
Obrázok 1: Vizualizácia agregácie denných záznamov do časových okien a do finálnej formy prvkov deskriptora. t1, …, t450 predstavujú časové záznamy pre denné dáta x1, …, x450. Denné záznamy z časového okna sú agregované do jednej hodnoty zi pre všetky i ∈ (1, . . . , 8).
Obrázok 2: Finálny tvar dát vstupujúcich do modelu. Každé pozorovanie pozostáva z devätnástich prvkov deskriptora a každý prvok pozostáva z ôsmych časových okien.
Architektúra modelu neurónovej siete
Autoenkóder je metóda hlbokého učenia „bez učiteľa“ vhodná na detekciu anomálií v ČR. Myšlienka použitia tohto typu neurónovej siete na detekciu anomálií je založená na rekonštrukčnej schopnosti modelu. AE sa naučí rekonštruovať dáta v trénovacej sade a keďže trénovacia sada by ideálne mala obsahovať len „normálne“ pozorovania, model sa naučí správne rekonštruovať len takéto pozorovania. Preto keď je vstupné pozorovanie anomálne, natrénovaný AE model nedokáže tento vstup zrekonštruovať dostatočne správne, čo má za následok vysokú rekonštrukčnú chybu. Táto rekonštrukčná chyba môže byť použitá ako skóre anomálie daného pozorovania, pričom vyššie skóre znamená väčšiu pravdepodobnosť, že pozorovanie sa vymyká všeobecnému trendu.
V štúdii sme natrénovali AE model na báze transformerov, kde enkóder aj dekóder obsahujú vrstvu nazývanú „Multi Head Attention“ so štyrmi „hlavami“ a 32-dimenzionálnymi vektormi kľúčov a hodnôt. Za touto vrstvou nasleduje klasická neurónová sieť s tzv. „dropout“ vrstvami a reziduálnymi spojeniami. Celý AE model má niečo málo viac než 100k trénovateľných parametrov.
Rekonštrukčná chyba a predikčná schopnosť
Na vyhodnotenie stability modelov sme uskutočnili 3-násobnú krížovú validáciu. Výsledná priemerná strata na trénovacej množine je 0.010, na validačnej 0.012 a na testovacej 0.015. Strata na testovacej množine je vyššia než tá na trénovacej alebo validačnej množine, čo je spôsobené tým, že 211 anomálnych pozorovaní bolo presunutých do testovacej množiny. Bez presunu týchto pozorovaní by bola strata na testovacej množine 0.012. Výkon modelu je prezentovaný na Obrázku 3 vo forme histogramu hodnoty stratovej funkcie. Histogram má „ťažký pravý chvost“, čo je očakávané pre dátové sady obsahujúce anomálie.
Obrázok 3: Histogramy rekonštrukčnej chyby AE modelu na báze transformeru pre testovaciu množinu. Na osi x je hodnota skóre anomálie a na osi y je frekvencia príslušnej hodnoty.
Na demonštráciu kvality rekonštrukcie ČR sú na obrázku Obrázku 4 znázornené pôvodné (modrá čiara) a predikované (červená čiara) hodnoty pre náhodne vybrané anomálne pozorovanie jedného hráča. Hodnota skóre anomálie pre príslušné modely je uvedená v nadpise grafov.
Obrázok 4: Porovnanie predikčnej schopnosti AE modelov. Všetky modely rekonštruovali rovnaké pozorovanie, pochádzajúce z testovacej množiny. Predikčná schopnosť: modrá čiara predstavuje vstupné dáta, červená rekonštrukciu získanú pomocou AE modelu na báze transformera. Číslo uvedené v nadpise grafu predstavuje skóre anomálie pre danú vzorku dát.
Výsledky
Nakoľko nebola klinická diagnóza súčasťou dát, ktorými sme disponovali, môžeme sa pri identifikácii hráčov s potenciálne problémovým hráčstvom spoliehať len na pomocné ukazovatele. K tejto úlohe sme pristúpili tak, že síce detegujeme anomálie v dátach, ale sme si vedomí toho, že nie všetky anomálie musia indikovať problém s gamblingom. Preto budeme korelovať výsledky AE modelu s týmito pomocnými ukazovateľmi:
Priemerný počet prihlásení v časovom okne.
Priemerný počet výberov v časovom okne.
Priemerný počet malých a častých výberov v časovom okne.
Priemerný počet žiadostí o zmenu limitu výšky vkladov v časovom okne.
Celkový počet epizód naháňania straty v období N časových okien.
Na Obrázku 5 je zobrazená korelácia skóre anomálie s horeuvedenými pomocnými ukazovateľmi. Každý z grafov obsahuje desať stĺpcov, pričom každý stĺpec reprezentuje jeden decil pozorovaní (t. j. každý stĺpec zobrazuje 10% pozorovaní zoradených podľa hodnoty skóre anomálie). Farby stĺpcov prestavujú hodnotu, resp. kategóriu príslušného pomocného ukazovateľa.
(a)
(b)
(c)
(d)
(e) Obrázok 5: Každý stĺpec v grafoch predstavuje jeden decil skóre anomálie (MSE). Farby predstavujú kategórie príslušných pomocných ukazovateľov s hodnotami kategórií špecifikovanými v legende.
Na každom grafe je možné pozorovať zreteľné vzorce v správaní hráčov – hráči s vysokou hodnotou skóre anomálie majú tendenciu mať tiež vysoké hodnoty všetkých skúmaných pomocných ukazovateľov. Vysoká frekvencia prihlásení do online kasína je úmerná vysokému skóre anomálie, pričom viac než polovica hráčov v poslednom decile rekonštrukčnej chyby má priemerný počet prihlásení v časovom okne väčší než 50. Niečo podobné pozorujeme aj pre priemerný počet výberov v časovom okne. Hráči s nízkou hodnotou skóre nemajú žiadny, alebo majú veľmi malý priemerný počet výberov a zároveň viac než štvrtina hráčov v poslednom decile skóre má v priemere až dva a viac výberov v časovom okne. Ďalším skúmaným pomocným ukazovateľom je počet malých a častých výberov. Väčšina hráčov, ktorí majú v histórii aspoň jednu takúto udalosť, sú v 10% hráčov s najvyšším MSE. Pri analýze ďalšieho ukazovateľa, konkrétne počtu žiadostí o zmenu limitu vkladu, pozorujeme už menej výrazný trend. Je evidentné, že hráči v prvých piatich deciloch nemajú vo všeobecnosti žiadne zmeny limitu výberov (až na pár výnimiek), čím však skóre anomálie rastie, tým sa frekvencia zmeny limitu výberov u hráčov zvyšuje. Posledným pomocným ukazovateľom zobrazeným na grafoch je počet epizód naháňania straty. Opäť môžeme pozorovať zvyšujúcu sa frekvenciu týchto udalostí úmernú skóre anomálie. Viac než polovica hráčov v poslednom decile má aspoň jednu takúto epizódu v časovom okne.
Ak vykonáme superpozíciu týchto grafov za účelom zistenia, aký podiel hráčov spĺňa viacero pomocných ukazovateľov, dospejeme k nasledovnému pozorovaniu: 98.6% hráčov v posledných piatich percentiloch skóre anomálie spĺňa aspoň jeden pomocný ukazovateľ a 77.3% spĺňa aspoň tri ukazovatele. Analýzou správania hráčov v posledných dvoch percentiloch skóre anomálie zisťujeme, že takmer 90% z nich spĺňa aspoň tri ukazovatele. Hranice, ktoré boli použité na výpočet týchto podielov sú: >=1 epizóda naháňania straty, >=1 žiadosť o zmenu limitu, >=1 malý a častý výber, >=31 prihlásení a >=1.25 výberu v priemere počas jedného časového okna.
Záver
V práci sme úspešne aplikovali model autoenkódera (AE) založený na transformeroch na problém detekcie anomálií v dátovej sade hráčov online kasína. Cieľom bolo detegovať hráčov s patologickým hráčstvom metódami „bez učiteľa“. Zo vstupných dát bolo odvodených 19 prvkov deskriptora vo forme časových radov, ktoré odrážajú správanie hráčov v kontexte „času“, „peňazí“ a „zúfalstva“. Porovnali sme detekčnú schopnosť tejto architektúry s ďalšími troma AE architektúrami založenými na LSTM a konvolučných vrstvách, pričom sme zistili, že architektúra modelu založená na transformeroch dosiahla najlepšie výsledky zo všetkých skúmaných modelov v zmysle najlepšej rekonštrukčnej schopnosti. Výsledky tohto modelu tiež vykazujú vysokú koreláciu s pomocnými ukazovateľmi ako počet prihlásení hráča, počet výberov, počet epizód naháňania straty a ďalšími, ktoré sú často spomínané v literatúre vo vzťahu k patologickému hraniu.Tento súlad ”skóre anomálie”, ktoré odráža pravdepodobnosť, že dané pozorovanie sa vymyká priemeru, s pomocnými ukazovateľmi nám dovoľuje porozumieť modelu a jeho efektívnosti v detekcii hráčov s potenciálnym patologickým hráčstvom. Aj keď tieto pomocné ukazovatele boli použité ako prediktory v modeli, navrhujeme ich používať spolu s rekonštrukčnou chybou pri detekcii potenciálne problémových hráčov, aby sa redukovala falošná pozitivita predikcií, nakoľko nie všetky anomálie musia byť spojené s patologickým hráčstvom.
[1] Alex Blaszczynski and Lia Nower. “A Pathways Model of Problem and Pathological Gambling”. In: Addiction (Abingdon, England) 97 (June 2002), pp. 487–99. doi: 10.1046/j.1360-0443.2002.00015.x.
[2] National Research Council. Pathological Gambling: A Critical Review. Washington, DC: The National Academies Press, 1999. isbn: 978-0-309-06571-9. doi: 10 . 17226 / 6329. url: https ://nap .nationalacademies.org/catalog/6329/pathological – gambling – a – critical -review.
[3] Luke Clark et al. “Pathological Choice: The Neuroscience of Gambling and Gambling Addiction”. In: Journal of Neuroscience 33.45 (2013), pp. 17617–17623. issn: 0270-6474. doi: 0.1523/JNEUROSCI.3231-13.2013.eprint: https : / / www . jneurosci . org /content / 33 / 45 / 17617 . full . pdf. url: https://www.jneurosci.org/content/33/45/17617.
[4] Deepanshi Seth et al. “A Deep Learning Framework for Ensuring Responsible Play in Skill-based Cash Gaming”. In: 2020 19th IEEE International Conference on Machine Learning and Applications (ICMLA) (2020), pp. 454–459.
Klasifikácia intentov pre bankové chatboty pomocou veľkých jazykových modelov12 sep-Tento článok hodnotí použitie veľkých jazykových modelov na klasifikáciu intentov v chatbote s preddefinovanými odpoveďami, určenom pre webové stránky bankového sektora. Zameriavame sa na efektivitu modelu SlovakBERT a porovnávame ho s použitím multilingválnych generatívnych modelov, ako sú Llama 8b instruct a Gemma 7b instruct, v ich predtrénovaných aj fine-tunovaných verziách. Výsledky naznačujú, že SlovakBERT dosahuje lepšie výsledky než ostatné modely, a to v presnosti klasifikácie ako aj v miere falošne pozitívnych predikcií.
Využitie veľkých jazykových modelov na efektívnu analýzu náboženských textov5 aug-Analýza a štúdium textov s náboženskými témami boli historicky doménou filozofov, teológov a ďalších špecialistov v sociálnych vedách. S príchodom umelej inteligencie, konkrétne veľkých jazykových modelov, naberá výskum v tejto oblasti nové dimenzie. Tieto moderné technológie môžu byť využité na odhaľovanie skrytých nuáns v náboženských textoch, čím umožňujú hlbšie pochopenie rôznych symbolizmov a odhalenie významov, ktoré sú pre tieto texty charakteristické a môžu byť nejasné. Takéto zrýchlenie analytického procesu umožňuje výskumníkom sústrediť sa len na špecifické aspekty textu relevantné pre ich výskum.
Mapovanie polohy a výšky stromov v PointCloud dátach získaných pomocou LiDAR technológie25 júl-Cieľom spolupráce medzi Národným superpočítačovým centrom (NSCC) a firmou SKYMOVE, v rámci projektu Národného kompetenčného centra pre HPC, bol návrh a implementácia pilotného softvérového riešenia pre spracovanie dát získaných technológiou LiDAR (Light Detection and Ranging) umiestnených na dronoch.
S radosťou vám oznamujeme, že superpočítač Devana je už prístupný pre vaše výpočty a projekty. Výpočtové stredisko SAV a Národné superpočítačové centrum otvorili prvú Výzvu na podávanie projektov pre testovanie a benchmarking. Výzva je kontinuálne otvorená, projekt je možné podať kedykoľvek v priebehu roka a to výhradne prostredníctvom používateľského portálu register.nscc.sk.
K dispozícii je aj prehľadný web s praktickými návodmi a dokumentáciou userdocs.nscc.sk, kde nájdete informácie o prihlasovaní, projektoch, SSH kľúčoch, softvérovom a vývojárskom vybavení a spúšťaní výpočtových úloh. Prístup na Devanu je možný cez terminál s príkazovým riadkom, no aj cez webové rozhranie s možnosťou interaktívneho počítania.
Momentálne je možné požiadať o prístup pre testovanie a benchmarking v rámci kontinuálne otvorenej výzvy s možnosťou využitia získaných údajov (vhodnosť aplikácie, paralelizácia, škálovanie, potrebná veľkosť dátového úložiska a pod.) na podanie žiadosti v pripravovanej výzve pre štandardné projekty.
O prístup pre testovanie a benchmarking môžu žiadať vedci a výskumníci zo slovenských verejných vysokých škôl a Slovenskej akadémie vied, ako aj z organizácií verejnej a štátnej správy a súkromných podnikov registrovaných v Slovenskej republike. Prístup je poskytovaný výhradne pre civilný a nekomerčný open-science výskum a vývoj. Záujemcom so súkromných spoločností sa odporúča najskôr kontaktovať Národné kompetenčné centrum pre HPC.
Veríme, že s našou profesionálnou podporou bude práca s Devanou prínosom pre váš výskum a že nový systém umožní realizáciu mnohých kvalitných projektov.
Ako komunikovať vedu a technológie efektívne: skúsenosti nášho tímu22 aug-Náš tím sa dlhodobo venuje nielen rozvoju vysokovýkonného počítania, ale aj efektívnej komunikácii výsledkov a možností, ktoré prinášame priemyslu, akademickej sfére a mladej generácii výskumníkov. Považujeme to za kľúčovú súčasť našej práce – moderná vedecká a technologická inštitúcia dnes nemôže fungovať izolovane, ale musí vedieť jasne a zrozumiteľne komunikovať hodnotu a prínos svojich aktivít.
HPC a MATLAB: Silné partnerstvo pre dostupné superpočítače19 aug-Minulý týždeň sa uskutočnilo zaujímavé pracovné stretnutie, na ktorom sa Lucia Malíčková, zastrešujúca Národné superpočítačové centrum a Národné kompetenčné centrum pre HPC, stretla s Martinom Foltínom zo spoločnosti HUMUSOFT s.r.o., oficiálneho distribútora MathWorks.
Webinár: Ako vzniká veľký jazykový model pre jazyk s obmedzenými zdrojmi14 aug-Pozývame vás na náš ďalší odborný webinár, ktorý sa zameria na pokroky v oblasti umelej inteligencie pre slovinský jazyk. Podujatie sa uskutoční online v polovici septembra a ponúkne jedinečnú príležitosť nazrieť do zákulisia vývoja veľkého jazykového modelu prispôsobeného pre jazyk s obmedzenými zdrojmi. Prednášajúcim bude Domen Vreš z Univerzity v Ľubľane, Fakulty informatiky a počítačových vied, ktorý sa dlhodobo venuje výskumu v oblasti spracovania prirodzeného jazyka a umelej inteligencie.
Devana: Výzva na podávanie projektov pre testovanie a benchmarking
Výpočtové stredisko SAV a Národné superpočítačové centrum otvárujú prvú Výzvu na podávanie projektov pre testovanie a benchmarking. Výzva je kontinuálne otvorená, projekt je možné podať kedykoľvek v priebehu roka a to výhradne prostredníctvom používateľského portálu register.nscc.sk. Prístup pre testovanie a benchmarking slúži predovšetkým na získanie dát o výkonnostných parametroch aplikácií, paralelizácii, škálovaní a požiadavkách na veľkosť dátového úložiska pre nasledovné podanie žiadosti o štandardný prístup. Môže však tiež slúžiť pre menej časovo a výpočtovo náročné projekty.
Superpočítač Devana
Prístup je bezplatný za predpokladu splnenia všetkých náležitostí definovaných v Podmienkach výzvy. V žiadosti musí byť jasne definovaná potreba využitia a testovania v HPC prostredí. Podané projekty vyhodnocuje interný tím VS SAV a NSCC.
Dátum otvorenia výzvy: 19.7.2023
Uzávierky pre žiadosti: Výzva je otvorená kontinuálne počas roka.
Termín pre notifikácie o schválení projektu: Do 2 týždňov od podania projektu.
Oprávnení žiadatelia: O prístup pre testovanie a benchmarking môžu žiadať vedci a výskumníci zo slovenských verejných vysokých škôl a Slovenskej akadémie vied, ako aj z organizácií verejnej a štátnej správy a súkromných podnikov registrovaných v Slovenskej republike. Prístup je poskytovaný výhradne pre civilný a nekomerčný open-science výskum a vývoj. Záujemcom so súkromných spoločností sa odporúča najskôr kontaktovať Národné kompetenčné centrum pre HPC.
Maximálne trvanie projektov: 4 mesiace
Dostupná alokácia na projekt: 50 000 CPU core-hodín a 12 500 GPU core-hodín
Meranie štrukturálnych parametrov kapsúl použitím techník umelej inteligencie (AI) a strojového učenia (ML)
Cieľom spolupráce medzi Národným kompetenčným centrom pre HPC (NCC pre HPC) a Ústavom polymérov (ÚP) SAV bol návrh a implementácia pilotného softvérového riešenia pre automatické spracovanie obrazu frakcií polymérnych mikrokapsúl. Tieto mikrokapsuly slúžia ako obal pre pankreatické ostrovčeky tvoriace perspektívne liečivo na ochorenie diabetes mellitus (t.j. cukrovky 1. typu). Mikrokapsuly pozostávajú z pankreatických ostrovčekov enkapsulovaných do polopriepustnej polymérnej membrány, ktorá bola vyvinutá na Ústave polymérov SAV.
Ilustračný obrázok
Automatizované riešenie je pre ÚP SAV mimoriadne dôležité z hľadiska časovej úspory a zjednodušenia vyhodnocovania početných výstupov z meraní, ako aj minimalizácie chyby, ktorá sa môže objaviť pri manuálnom spracovaní. Obrázky z optického mikroskopu pri 4-násobnom zväčšení typicky obsahujú jednu alebo niekoľko mikrokapsúl a sú vstupom do tréningu AI/ML modelov. Obrázky z optického mikroskopu pri 2,5-násobnom zväčšení obsahujú viac mikrokapsúl, zvyčajne tri až sedem. V takomto prípade je nutné v prvom kroku identifikovať jednotlivé mikrokapsuly. V procese inferencie sa z príslušného obrázku vytvorí tzv. binárna maska, z ktorej sa následne extrahujú informácie o štrukturálnych parametroch, akými sú predovšetkým vnútorný a vonkajší priemer kapsuly a hrúbka jej membrány.
Obrazový materiál je spracovaný v dvoch krokoch. Prvým krokom je lokalizácia nedefektných kapsúl a ich následné vystrihnutie, druhým je séria operácií vedúcich k samotnému určeniu štrukturálnych parametrov.
DETEKCIA KAPSÚL
Na detekciu kapsúl bol použitý model YOLOv5 [1] s predtrénovanými váhami z databázy COCO128 [2]. Tréningové dáta pozostávali z 96 snímok, ktoré boli manuálne anotované pomocou nástroja LabelImg [3]. Tréningová jednotka pozostávala z 300 epoch, snímky boli rozdelené do sád po 16 a ich veľkosť bola nastavená na 640 pixelov. Výpočtový čas jednej tréningovej jednotky na grafickej karte NVIDIA GeForce GTX 1650 bol približne 3.5 hodiny.
Detekcia pomocou natrénovaného YOLOv5 modelu je prezentovaná na Obrázku 1. Spoľahlivosť natrénovaného modelu, overená na 12 snímkach, bola 96%, pričom priepustnosť na rovnakej grafickej karte bola približne 40 snímok za sekundu.
Obrázok 1: (a) vstupný obraz z optickej mikroskopie; (b) detegovaná kapsula; (c) výrez detegovanej kapsuly pri 4-násobnom zväčšení; (d) vstupný obraz z optickej mikroskopie; (e) detegovaná kapsula; (f) výrez detegovanej kapsuly pri 2,5-násobnom zväčšení.
MERANIE ŠTRUKTURALNÝCH PARAMETROV KAPSÚL POMOCOU TECHNÍK AI/ML
Binárne masky pre vnútorné a vonkajšie časti kapsúl boli získané individuálne, ako výstup z hlbokej neurónovej siete architektúry U-Net [4], ktorá bola vyvinutá na spracovanie obrazu v biomedicínskych aplikáciách. Na tréning príslušných váh bolo použitých 140 obrázkov s korešpondujúcimi maskami pre 4-násobné zväčšenie optického mikroskopu a rovnako 140 obrázkov s korešpondujúcimi maskami aj pre 2,5-násobné zväčšenie. Tréningový proces pozostával z 200 epoch (veľkosť sady 16), pričom 10% z tréningových dát bolo použitých na validáciu. Presnosť na testovacej sade, ktorá pozostávala zo 120 obrázkov, presahovala 96%. Tréningový proces trval 1,5 až 2 hodiny a na trénovanie bol využitý HPC systém s uzlami typu IBM Power 7. Tento proces bolo nutné niekoľkokrát opakovať. Výstupné binárne masky boli následne postprocesované operáciami „fill_holes” [5] a „watershed“ [6], na získanie čo najhladších oválnych masiek. Následne bola na masky fitovaná elipsa s využitím knižnice „scikit-image measure“ [7], ktorej hlavná a vedľajšia os sú základom pre samotný výpočet štrukturálnych parametrov. Postupnosť týchto krokov je prezentovaná na Obrázku 2.
Obrázok 2: (a) vstupná obraz; (b) vnútorná binárna maska; (c) vonkajšia binárna maska; (d) výstupný obraz s fitovanými elipsami elipsy na základe binárnych masiek.
Štrukturálne parametre získané predikciou AI/ML modelu (značený ďalej ako „U-Net“) boli porovnané s hodnotami, ktorými disponovali pracovníci ÚP SAV a boli získané „manuálnym meraním“ v snímkach. Ako ďalší, nezávislý zdroj referenčných dát bol použitý prístup označovaný ďalej ako „Retinex“, ktorý navrhol a implementoval RNDR. Andrej Lúčny, PhD. z Katedry aplikovanej informatiky Fakulty matematiky, fyziky a informatiky Univerzity Komenského v Bratislave. Tento prístup nevyužíva neurónové siete, ale vytvára kandidátov na binárne masky agregáciou úsekov s nízkou krivosťou, získaných pomocou „retinex“ filtra [8] tak, aby vytvorili útvar s minimálnou štandardnou odchýlkou krivosti. Tento prístup je dobrou referenciou, nakoľko nevyžaduje trénovanie a je vysoko presný, avšak na rozdiel od modelu U-net nie je plne automatizovaný, obzvlášť pre vnútornú membránu kapsuly.
Obrázok 3 sumarizuje porovnanie všetkých spomenutých riešení pre rôzne sady („batches“) z experimentov pre obrázky získané pri 4-násobnom zväčšení.
(a)
(b)
(c)
Obrázok 3: (a) rozmer kapsúl vypočítaný pre prístupy U-net a Retinex ako priemer hlavnej a vedľajšej osi elipsy (b) rozdiel medzi hlavnou osou elipsy pre vonkajší priemer kapsúl (c) rozdiel medzi vedľajšou osou elipsy pre vonkajší priemer kapsúl. V obrázkoch (b) a (c) je červenou čiarou zobrazená hraničná odchýlka akceptovateľná ÚP SAV. Obrázky z optického mikroskopu boli získané pri 4-násobnom zväčšení.
Zo získaných výsledkov je možné skonštatovať, že až na 4 snímky (1.5%) v sade 194 pre vedľajšiu os elipsy, sú všetky parametre v medziach akceptovateľnej presnosti, ktorá bola definovaná ÚP SAV. Z Obrázku 3(a) pozorujeme systematicky lepšiu vzájomnú zhodu medzi výsledkami získanými prístupmi U-net a Retinex, čo môže byť spôsobené buď aproximáciou tvaru kapsuly elipsou, ktorá sa v „manuálnom vyhodnotení“ ÚP SAV neaplikovala, alebo iným, systematickým rozdielom pri vyhodnocovaní, a/alebo chybou v „manuálnom vyhodnotení“. Kvalita U-net modelu môže byť do budúcna výrazne zlepšená, hlavne rozšírením tréningovej sady ako aj aplikovaním ďalšieho pre- a postprocesingu. Zhoda medzi „manuálnym vyhodnotením“ a modelmi U-net / Retinex môže byť zlepšená harmonizáciou spôsobu vyhodnocovania štrukturálnych parametrov kapsúl z binárnych masiek.
AI/ML model bude nasadený v predprodukčnej fáze ako cloudové riešenie na HPC systémoch CSČ SAV. Inferencia a kontinuálny tréning s pribúdajúcimi snímkami nebude vyžadovať investíciu do vysokovýkonných výpočtových prostriedkov samotným ÚP SAV. Produkčná fáza, ktorá presahuje rámec pilotného riešenia, uvažuje s integráciou tohto prístupu do desktopovej aplikácie.
Klasifikácia intentov pre bankové chatboty pomocou veľkých jazykových modelov12 sep-Tento článok hodnotí použitie veľkých jazykových modelov na klasifikáciu intentov v chatbote s preddefinovanými odpoveďami, určenom pre webové stránky bankového sektora. Zameriavame sa na efektivitu modelu SlovakBERT a porovnávame ho s použitím multilingválnych generatívnych modelov, ako sú Llama 8b instruct a Gemma 7b instruct, v ich predtrénovaných aj fine-tunovaných verziách. Výsledky naznačujú, že SlovakBERT dosahuje lepšie výsledky než ostatné modely, a to v presnosti klasifikácie ako aj v miere falošne pozitívnych predikcií.
Využitie veľkých jazykových modelov na efektívnu analýzu náboženských textov5 aug-Analýza a štúdium textov s náboženskými témami boli historicky doménou filozofov, teológov a ďalších špecialistov v sociálnych vedách. S príchodom umelej inteligencie, konkrétne veľkých jazykových modelov, naberá výskum v tejto oblasti nové dimenzie. Tieto moderné technológie môžu byť využité na odhaľovanie skrytých nuáns v náboženských textoch, čím umožňujú hlbšie pochopenie rôznych symbolizmov a odhalenie významov, ktoré sú pre tieto texty charakteristické a môžu byť nejasné. Takéto zrýchlenie analytického procesu umožňuje výskumníkom sústrediť sa len na špecifické aspekty textu relevantné pre ich výskum.
Mapovanie polohy a výšky stromov v PointCloud dátach získaných pomocou LiDAR technológie25 júl-Cieľom spolupráce medzi Národným superpočítačovým centrom (NSCC) a firmou SKYMOVE, v rámci projektu Národného kompetenčného centra pre HPC, bol návrh a implementácia pilotného softvérového riešenia pre spracovanie dát získaných technológiou LiDAR (Light Detection and Ranging) umiestnených na dronoch.
Dňa 27. júna 2023 v priestoroch Fakulty chemickej a potravinárskej technológie (FCHPT) Slovenskej technickej univerzity (STU) sa uskutočnilo podujatie s názvom „CHEMSHOW“. Počas podujatia návštevníci mali možnosť spoznať aj Národné kompetenčné centrum pre HPC a dozvedieť sa viac o jeho aktivitách. Odborníci predstavili služby NCC pre HPC. Prostredníctvom interaktívnej ukážky simulácií potenciálnych liečiv proti ochoreniu Covid-19 účastníkom priblížili, na aké výpočty sa môžu superpočítače využívať.
Na chemshow sme prezentovali výsledky výpočtov interakcie potenciálnych liečiv s aktívnou časťou jednotky spike-proteínu, ktorý tvorí tetraméry prítomné na povrchu vírusu SARS-CoV2, ktorý spôsobuje ochorenie COVID19. Výpočty boli realizované metódami molekulárnej mechaniky pomocou software-u GROMACS. V rámci štúdie bolo testovaných šesť potenciálnych liečiv. Na tejto prezentácii sme ukazovali najmä trajektóriu jednej z nich. Študenti stredných škôl mali možnosť pozrieť si výsledky na projekcii s 3D okuliarmi kde si mohli interaktívne meniť pohľad ako aj nastavenia zobrazovania proteínu.
Ako komunikovať vedu a technológie efektívne: skúsenosti nášho tímu22 aug-Náš tím sa dlhodobo venuje nielen rozvoju vysokovýkonného počítania, ale aj efektívnej komunikácii výsledkov a možností, ktoré prinášame priemyslu, akademickej sfére a mladej generácii výskumníkov. Považujeme to za kľúčovú súčasť našej práce – moderná vedecká a technologická inštitúcia dnes nemôže fungovať izolovane, ale musí vedieť jasne a zrozumiteľne komunikovať hodnotu a prínos svojich aktivít.
HPC a MATLAB: Silné partnerstvo pre dostupné superpočítače19 aug-Minulý týždeň sa uskutočnilo zaujímavé pracovné stretnutie, na ktorom sa Lucia Malíčková, zastrešujúca Národné superpočítačové centrum a Národné kompetenčné centrum pre HPC, stretla s Martinom Foltínom zo spoločnosti HUMUSOFT s.r.o., oficiálneho distribútora MathWorks.
Webinár: Ako vzniká veľký jazykový model pre jazyk s obmedzenými zdrojmi14 aug-Pozývame vás na náš ďalší odborný webinár, ktorý sa zameria na pokroky v oblasti umelej inteligencie pre slovinský jazyk. Podujatie sa uskutoční online v polovici septembra a ponúkne jedinečnú príležitosť nazrieť do zákulisia vývoja veľkého jazykového modelu prispôsobeného pre jazyk s obmedzenými zdrojmi. Prednášajúcim bude Domen Vreš z Univerzity v Ľubľane, Fakulty informatiky a počítačových vied, ktorý sa dlhodobo venuje výskumu v oblasti spracovania prirodzeného jazyka a umelej inteligencie.
Dávame vám do pozornosti webinár, na ktorom budú odprezentované úspešne príklady a výsledky, ktoré organizácie získali pri implementácii vysokovýkonného počítania (High Performance Computing, HPC), umelej inteligencie (Artificial Intelligence, AI) a iných pokročilých technológií pre podnikanie v rôznych priemyselných odvetviach.
Ako komunikovať vedu a technológie efektívne: skúsenosti nášho tímu22 aug-Náš tím sa dlhodobo venuje nielen rozvoju vysokovýkonného počítania, ale aj efektívnej komunikácii výsledkov a možností, ktoré prinášame priemyslu, akademickej sfére a mladej generácii výskumníkov. Považujeme to za kľúčovú súčasť našej práce – moderná vedecká a technologická inštitúcia dnes nemôže fungovať izolovane, ale musí vedieť jasne a zrozumiteľne komunikovať hodnotu a prínos svojich aktivít.
HPC a MATLAB: Silné partnerstvo pre dostupné superpočítače19 aug-Minulý týždeň sa uskutočnilo zaujímavé pracovné stretnutie, na ktorom sa Lucia Malíčková, zastrešujúca Národné superpočítačové centrum a Národné kompetenčné centrum pre HPC, stretla s Martinom Foltínom zo spoločnosti HUMUSOFT s.r.o., oficiálneho distribútora MathWorks.
Webinár: Ako vzniká veľký jazykový model pre jazyk s obmedzenými zdrojmi14 aug-Pozývame vás na náš ďalší odborný webinár, ktorý sa zameria na pokroky v oblasti umelej inteligencie pre slovinský jazyk. Podujatie sa uskutoční online v polovici septembra a ponúkne jedinečnú príležitosť nazrieť do zákulisia vývoja veľkého jazykového modelu prispôsobeného pre jazyk s obmedzenými zdrojmi. Prednášajúcim bude Domen Vreš z Univerzity v Ľubľane, Fakulty informatiky a počítačových vied, ktorý sa dlhodobo venuje výskumu v oblasti spracovania prirodzeného jazyka a umelej inteligencie.
Kurz Praktický úvod do spracovania prirodzeného jazyka
Radi by sme vám dali do pozornosti najnovší kurz organizovaný Národným kompetenčným centrom pre HPC: “Praktický úvod do spracovania prirodzeného jazyka”. Témou bude účastníkov sprevádzať skúsený lektor Marek Šuppa, ktorý NLP (natural language processing) a jeho potenciál pre podniky predstavil už začiatkom apríla počas zaujímavej online prednášky – záznam si môžete pozrieť tu.
Kurz bude prebiehať v komornom formáte online 30. júna v čase od 9:00 do 16:00 hod. Počet miest je obmedzený na 15, pričom každý bude mať jedinečnú možnosť pracovať počas cvičení s akcelerovaným modulom nového slovenského superpočítača Devana. Chceme preto vyzvať záujemcov, aby sa registrovali len v prípade seriózneho záujmu.
Počas tohto kurzu sa účastníci budú venovať úvodu do spracovania prirodzeného jazyka; reprezentácii textu, slovným vektorom, textovej klasifikácii a neurónovým sieťam pre spracovanie prirodzeného jazyka. Taktiež spolu s lektorom preberú HuggingFace Transformers a ich praktické použitie. Súčasťou kurzu sú hands-on cvičenia. Prerekvizitou pre kurz je skúsenosť s programovaním v programovacom jazyku Python. Skúsenosti s frameworkami PyTorch alebo Tensorflow sú výhodou.
Ako komunikovať vedu a technológie efektívne: skúsenosti nášho tímu22 aug-Náš tím sa dlhodobo venuje nielen rozvoju vysokovýkonného počítania, ale aj efektívnej komunikácii výsledkov a možností, ktoré prinášame priemyslu, akademickej sfére a mladej generácii výskumníkov. Považujeme to za kľúčovú súčasť našej práce – moderná vedecká a technologická inštitúcia dnes nemôže fungovať izolovane, ale musí vedieť jasne a zrozumiteľne komunikovať hodnotu a prínos svojich aktivít.
HPC a MATLAB: Silné partnerstvo pre dostupné superpočítače19 aug-Minulý týždeň sa uskutočnilo zaujímavé pracovné stretnutie, na ktorom sa Lucia Malíčková, zastrešujúca Národné superpočítačové centrum a Národné kompetenčné centrum pre HPC, stretla s Martinom Foltínom zo spoločnosti HUMUSOFT s.r.o., oficiálneho distribútora MathWorks.
Webinár: Ako vzniká veľký jazykový model pre jazyk s obmedzenými zdrojmi14 aug-Pozývame vás na náš ďalší odborný webinár, ktorý sa zameria na pokroky v oblasti umelej inteligencie pre slovinský jazyk. Podujatie sa uskutoční online v polovici septembra a ponúkne jedinečnú príležitosť nazrieť do zákulisia vývoja veľkého jazykového modelu prispôsobeného pre jazyk s obmedzenými zdrojmi. Prednášajúcim bude Domen Vreš z Univerzity v Ľubľane, Fakulty informatiky a počítačových vied, ktorý sa dlhodobo venuje výskumu v oblasti spracovania prirodzeného jazyka a umelej inteligencie.
Pracovná skupina národných kompetenčných centier v strednej Európe
Zástupcovia národných kompetenčných centier pre HPC zo stredoeurópskeho regiónu sa 12. júna stretli na prvom stretnutí stredoeurópskej pracovnej skupiny NCC. Podujatie zorganizovali NCC Slovinsko a NCC Rakúsko v slovinskom Maribore, účasť bola možná aj online.
Na programe dňa boli 3 sekcie, ktoré sa týkali interakcie s priemyslom, vzdelávania a komunikácie. Účastníci pracovali v malých skupinách, diskutovali o konkrétnych bodoch a vymieňali si osvedčené postupy v rámci jednotlivých tém, ako sú stratégie onboardingu MSP, portfólio služieb a ako riešiť špecifické otázky štátnej pomoci, ako aj pravidlá spolupráce so súkromnými spoločnosťami.
Diskutovalo sa o formátoch školiacich podujatí s ohľadom na postpandemické trendy; boli vyzdvihnuté skúsenosti so spoluprácou medzi NCC a centrami excelentnosti a zdieľali sa aj rôzne stratégie prilákania účastníkov MSP na odborné kurzy.
Komunikačná sekcia bola zameraná na propagáciu a komunikačné kanály, budovanie publika pre rôzne témy a organizáciu tematicky zameraných webinárov. V každej sekcii sa diskutovalo aj o príležitostiach a ponukách na spoluprácu.
Podujatie bolo skvelou príležitosťou na zoznámenie sa s kolegami zo susedných NCC, neformálny networking, podporu spolupráce a nájdenie novej inšpirácie. Veľká vďaka organizátorom a tešíme sa na ďalšie stretnutie tohto formátu!
Ako komunikovať vedu a technológie efektívne: skúsenosti nášho tímu22 aug-Náš tím sa dlhodobo venuje nielen rozvoju vysokovýkonného počítania, ale aj efektívnej komunikácii výsledkov a možností, ktoré prinášame priemyslu, akademickej sfére a mladej generácii výskumníkov. Považujeme to za kľúčovú súčasť našej práce – moderná vedecká a technologická inštitúcia dnes nemôže fungovať izolovane, ale musí vedieť jasne a zrozumiteľne komunikovať hodnotu a prínos svojich aktivít.
HPC a MATLAB: Silné partnerstvo pre dostupné superpočítače19 aug-Minulý týždeň sa uskutočnilo zaujímavé pracovné stretnutie, na ktorom sa Lucia Malíčková, zastrešujúca Národné superpočítačové centrum a Národné kompetenčné centrum pre HPC, stretla s Martinom Foltínom zo spoločnosti HUMUSOFT s.r.o., oficiálneho distribútora MathWorks.
Webinár: Ako vzniká veľký jazykový model pre jazyk s obmedzenými zdrojmi14 aug-Pozývame vás na náš ďalší odborný webinár, ktorý sa zameria na pokroky v oblasti umelej inteligencie pre slovinský jazyk. Podujatie sa uskutoční online v polovici septembra a ponúkne jedinečnú príležitosť nazrieť do zákulisia vývoja veľkého jazykového modelu prispôsobeného pre jazyk s obmedzenými zdrojmi. Prednášajúcim bude Domen Vreš z Univerzity v Ľubľane, Fakulty informatiky a počítačových vied, ktorý sa dlhodobo venuje výskumu v oblasti spracovania prirodzeného jazyka a umelej inteligencie.
