S radosťou vám oznamujeme, že superpočítač Devana je už prístupný pre vaše výpočty a projekty. Výpočtové stredisko SAV a Národné superpočítačové centrum otvorili prvú Výzvu na podávanie projektov pre testovanie a benchmarking. Výzva je kontinuálne otvorená, projekt je možné podať kedykoľvek v priebehu roka a to výhradne prostredníctvom používateľského portálu register.nscc.sk.
K dispozícii je aj prehľadný web s praktickými návodmi a dokumentáciou userdocs.nscc.sk, kde nájdete informácie o prihlasovaní, projektoch, SSH kľúčoch, softvérovom a vývojárskom vybavení a spúšťaní výpočtových úloh. Prístup na Devanu je možný cez terminál s príkazovým riadkom, no aj cez webové rozhranie s možnosťou interaktívneho počítania.
Momentálne je možné požiadať o prístup pre testovanie a benchmarking v rámci kontinuálne otvorenej výzvy s možnosťou využitia získaných údajov (vhodnosť aplikácie, paralelizácia, škálovanie, potrebná veľkosť dátového úložiska a pod.) na podanie žiadosti v pripravovanej výzve pre štandardné projekty.
O prístup pre testovanie a benchmarking môžu žiadať vedci a výskumníci zo slovenských verejných vysokých škôl a Slovenskej akadémie vied, ako aj z organizácií verejnej a štátnej správy a súkromných podnikov registrovaných v Slovenskej republike. Prístup je poskytovaný výhradne pre civilný a nekomerčný open-science výskum a vývoj. Záujemcom so súkromných spoločností sa odporúča najskôr kontaktovať Národné kompetenčné centrum pre HPC.
Veríme, že s našou profesionálnou podporou bude práca s Devanou prínosom pre váš výskum a že nový systém umožní realizáciu mnohých kvalitných projektov.
Výzva na Business Experiments – podpora pre MSP pri implementácii HPC riešení28 júl-Dávame do pozornosti druhú otvorenú výzvu v rámci projektu FFplus, ktorá sa zameriava na podporu malých a stredných podnikov (MSP) pri riešení konkrétnych obchodných výziev prostredníctvom vysokovýkonných výpočtov (High Performance Computing – HPC). Cieľom výzvy je realizovať tzv. „business experiments“, ktoré majú demonštrovať, že využitie HPC technológií vedie k riešeniu reálnych problémov a má pozitívny vplyv na podnikanie.
Keď sa technológia stretne s inklúziou: Vízia pre spravodlivú spoločnosť25 júl-V uplynulých dňoch sa uskutočnilo inšpiratívne stretnutie medzi Luciou Maličkovou, projektovou manažérkou v Národnom superpočítačovom centre a Národnom kompetenčnom centre pre vysokovýkonné počítanie (HPC), a Jánom Bihari, vizionárom, zakladateľom Tibi Digital a myšlienkovým lídrom v oblasti digitalizácie rómskej komunity.
Záznam z webinára: Simulovanie spoločností pomocou AI a digitálnych dvojčiat23 júl-Nestihli ste náš webinár „Digitálne dvojčatá spoločnosti: Simulácie poháňané výpočtami na HPC“? Záznam je už dostupný online. Webinár priniesol inšpiratívne pohľady na to, ako umelá inteligencia, kognitívne modelovanie a multiagentové simulačné technológie pomáhajú vedcom porozumieť a predikovať komplexné spoločenské javy, ako sú šírenie dezinformácií, radikalizácia či spoločenská súdržnosť.
Devana: Výzva na podávanie projektov pre testovanie a benchmarking
Výpočtové stredisko SAV a Národné superpočítačové centrum otvárujú prvú Výzvu na podávanie projektov pre testovanie a benchmarking. Výzva je kontinuálne otvorená, projekt je možné podať kedykoľvek v priebehu roka a to výhradne prostredníctvom používateľského portálu register.nscc.sk. Prístup pre testovanie a benchmarking slúži predovšetkým na získanie dát o výkonnostných parametroch aplikácií, paralelizácii, škálovaní a požiadavkách na veľkosť dátového úložiska pre nasledovné podanie žiadosti o štandardný prístup. Môže však tiež slúžiť pre menej časovo a výpočtovo náročné projekty.
Superpočítač Devana
Prístup je bezplatný za predpokladu splnenia všetkých náležitostí definovaných v Podmienkach výzvy. V žiadosti musí byť jasne definovaná potreba využitia a testovania v HPC prostredí. Podané projekty vyhodnocuje interný tím VS SAV a NSCC.
Dátum otvorenia výzvy: 19.7.2023
Uzávierky pre žiadosti: Výzva je otvorená kontinuálne počas roka.
Termín pre notifikácie o schválení projektu: Do 2 týždňov od podania projektu.
Oprávnení žiadatelia: O prístup pre testovanie a benchmarking môžu žiadať vedci a výskumníci zo slovenských verejných vysokých škôl a Slovenskej akadémie vied, ako aj z organizácií verejnej a štátnej správy a súkromných podnikov registrovaných v Slovenskej republike. Prístup je poskytovaný výhradne pre civilný a nekomerčný open-science výskum a vývoj. Záujemcom so súkromných spoločností sa odporúča najskôr kontaktovať Národné kompetenčné centrum pre HPC.
Maximálne trvanie projektov: 4 mesiace
Dostupná alokácia na projekt: 50 000 CPU core-hodín a 12 500 GPU core-hodín
Meranie štrukturálnych parametrov kapsúl použitím techník umelej inteligencie (AI) a strojového učenia (ML)
Cieľom spolupráce medzi Národným kompetenčným centrom pre HPC (NCC pre HPC) a Ústavom polymérov (ÚP) SAV bol návrh a implementácia pilotného softvérového riešenia pre automatické spracovanie obrazu frakcií polymérnych mikrokapsúl. Tieto mikrokapsuly slúžia ako obal pre pankreatické ostrovčeky tvoriace perspektívne liečivo na ochorenie diabetes mellitus (t.j. cukrovky 1. typu). Mikrokapsuly pozostávajú z pankreatických ostrovčekov enkapsulovaných do polopriepustnej polymérnej membrány, ktorá bola vyvinutá na Ústave polymérov SAV.
Ilustračný obrázok
Automatizované riešenie je pre ÚP SAV mimoriadne dôležité z hľadiska časovej úspory a zjednodušenia vyhodnocovania početných výstupov z meraní, ako aj minimalizácie chyby, ktorá sa môže objaviť pri manuálnom spracovaní. Obrázky z optického mikroskopu pri 4-násobnom zväčšení typicky obsahujú jednu alebo niekoľko mikrokapsúl a sú vstupom do tréningu AI/ML modelov. Obrázky z optického mikroskopu pri 2,5-násobnom zväčšení obsahujú viac mikrokapsúl, zvyčajne tri až sedem. V takomto prípade je nutné v prvom kroku identifikovať jednotlivé mikrokapsuly. V procese inferencie sa z príslušného obrázku vytvorí tzv. binárna maska, z ktorej sa následne extrahujú informácie o štrukturálnych parametroch, akými sú predovšetkým vnútorný a vonkajší priemer kapsuly a hrúbka jej membrány.
Obrazový materiál je spracovaný v dvoch krokoch. Prvým krokom je lokalizácia nedefektných kapsúl a ich následné vystrihnutie, druhým je séria operácií vedúcich k samotnému určeniu štrukturálnych parametrov.
DETEKCIA KAPSÚL
Na detekciu kapsúl bol použitý model YOLOv5 [1] s predtrénovanými váhami z databázy COCO128 [2]. Tréningové dáta pozostávali z 96 snímok, ktoré boli manuálne anotované pomocou nástroja LabelImg [3]. Tréningová jednotka pozostávala z 300 epoch, snímky boli rozdelené do sád po 16 a ich veľkosť bola nastavená na 640 pixelov. Výpočtový čas jednej tréningovej jednotky na grafickej karte NVIDIA GeForce GTX 1650 bol približne 3.5 hodiny.
Detekcia pomocou natrénovaného YOLOv5 modelu je prezentovaná na Obrázku 1. Spoľahlivosť natrénovaného modelu, overená na 12 snímkach, bola 96%, pričom priepustnosť na rovnakej grafickej karte bola približne 40 snímok za sekundu.
Obrázok 1: (a) vstupný obraz z optickej mikroskopie; (b) detegovaná kapsula; (c) výrez detegovanej kapsuly pri 4-násobnom zväčšení; (d) vstupný obraz z optickej mikroskopie; (e) detegovaná kapsula; (f) výrez detegovanej kapsuly pri 2,5-násobnom zväčšení.
MERANIE ŠTRUKTURALNÝCH PARAMETROV KAPSÚL POMOCOU TECHNÍK AI/ML
Binárne masky pre vnútorné a vonkajšie časti kapsúl boli získané individuálne, ako výstup z hlbokej neurónovej siete architektúry U-Net [4], ktorá bola vyvinutá na spracovanie obrazu v biomedicínskych aplikáciách. Na tréning príslušných váh bolo použitých 140 obrázkov s korešpondujúcimi maskami pre 4-násobné zväčšenie optického mikroskopu a rovnako 140 obrázkov s korešpondujúcimi maskami aj pre 2,5-násobné zväčšenie. Tréningový proces pozostával z 200 epoch (veľkosť sady 16), pričom 10% z tréningových dát bolo použitých na validáciu. Presnosť na testovacej sade, ktorá pozostávala zo 120 obrázkov, presahovala 96%. Tréningový proces trval 1,5 až 2 hodiny a na trénovanie bol využitý HPC systém s uzlami typu IBM Power 7. Tento proces bolo nutné niekoľkokrát opakovať. Výstupné binárne masky boli následne postprocesované operáciami „fill_holes” [5] a „watershed“ [6], na získanie čo najhladších oválnych masiek. Následne bola na masky fitovaná elipsa s využitím knižnice „scikit-image measure“ [7], ktorej hlavná a vedľajšia os sú základom pre samotný výpočet štrukturálnych parametrov. Postupnosť týchto krokov je prezentovaná na Obrázku 2.
Obrázok 2: (a) vstupná obraz; (b) vnútorná binárna maska; (c) vonkajšia binárna maska; (d) výstupný obraz s fitovanými elipsami elipsy na základe binárnych masiek.
Štrukturálne parametre získané predikciou AI/ML modelu (značený ďalej ako „U-Net“) boli porovnané s hodnotami, ktorými disponovali pracovníci ÚP SAV a boli získané „manuálnym meraním“ v snímkach. Ako ďalší, nezávislý zdroj referenčných dát bol použitý prístup označovaný ďalej ako „Retinex“, ktorý navrhol a implementoval RNDR. Andrej Lúčny, PhD. z Katedry aplikovanej informatiky Fakulty matematiky, fyziky a informatiky Univerzity Komenského v Bratislave. Tento prístup nevyužíva neurónové siete, ale vytvára kandidátov na binárne masky agregáciou úsekov s nízkou krivosťou, získaných pomocou „retinex“ filtra [8] tak, aby vytvorili útvar s minimálnou štandardnou odchýlkou krivosti. Tento prístup je dobrou referenciou, nakoľko nevyžaduje trénovanie a je vysoko presný, avšak na rozdiel od modelu U-net nie je plne automatizovaný, obzvlášť pre vnútornú membránu kapsuly.
Obrázok 3 sumarizuje porovnanie všetkých spomenutých riešení pre rôzne sady („batches“) z experimentov pre obrázky získané pri 4-násobnom zväčšení.
(a)
(b)
(c)
Obrázok 3: (a) rozmer kapsúl vypočítaný pre prístupy U-net a Retinex ako priemer hlavnej a vedľajšej osi elipsy (b) rozdiel medzi hlavnou osou elipsy pre vonkajší priemer kapsúl (c) rozdiel medzi vedľajšou osou elipsy pre vonkajší priemer kapsúl. V obrázkoch (b) a (c) je červenou čiarou zobrazená hraničná odchýlka akceptovateľná ÚP SAV. Obrázky z optického mikroskopu boli získané pri 4-násobnom zväčšení.
Zo získaných výsledkov je možné skonštatovať, že až na 4 snímky (1.5%) v sade 194 pre vedľajšiu os elipsy, sú všetky parametre v medziach akceptovateľnej presnosti, ktorá bola definovaná ÚP SAV. Z Obrázku 3(a) pozorujeme systematicky lepšiu vzájomnú zhodu medzi výsledkami získanými prístupmi U-net a Retinex, čo môže byť spôsobené buď aproximáciou tvaru kapsuly elipsou, ktorá sa v „manuálnom vyhodnotení“ ÚP SAV neaplikovala, alebo iným, systematickým rozdielom pri vyhodnocovaní, a/alebo chybou v „manuálnom vyhodnotení“. Kvalita U-net modelu môže byť do budúcna výrazne zlepšená, hlavne rozšírením tréningovej sady ako aj aplikovaním ďalšieho pre- a postprocesingu. Zhoda medzi „manuálnym vyhodnotením“ a modelmi U-net / Retinex môže byť zlepšená harmonizáciou spôsobu vyhodnocovania štrukturálnych parametrov kapsúl z binárnych masiek.
AI/ML model bude nasadený v predprodukčnej fáze ako cloudové riešenie na HPC systémoch CSČ SAV. Inferencia a kontinuálny tréning s pribúdajúcimi snímkami nebude vyžadovať investíciu do vysokovýkonných výpočtových prostriedkov samotným ÚP SAV. Produkčná fáza, ktorá presahuje rámec pilotného riešenia, uvažuje s integráciou tohto prístupu do desktopovej aplikácie.
Klasifikácia intentov pre bankové chatboty pomocou veľkých jazykových modelov12 sep-Tento článok hodnotí použitie veľkých jazykových modelov na klasifikáciu intentov v chatbote s preddefinovanými odpoveďami, určenom pre webové stránky bankového sektora. Zameriavame sa na efektivitu modelu SlovakBERT a porovnávame ho s použitím multilingválnych generatívnych modelov, ako sú Llama 8b instruct a Gemma 7b instruct, v ich predtrénovaných aj fine-tunovaných verziách. Výsledky naznačujú, že SlovakBERT dosahuje lepšie výsledky než ostatné modely, a to v presnosti klasifikácie ako aj v miere falošne pozitívnych predikcií.
Využitie veľkých jazykových modelov na efektívnu analýzu náboženských textov5 aug-Analýza a štúdium textov s náboženskými témami boli historicky doménou filozofov, teológov a ďalších špecialistov v sociálnych vedách. S príchodom umelej inteligencie, konkrétne veľkých jazykových modelov, naberá výskum v tejto oblasti nové dimenzie. Tieto moderné technológie môžu byť využité na odhaľovanie skrytých nuáns v náboženských textoch, čím umožňujú hlbšie pochopenie rôznych symbolizmov a odhalenie významov, ktoré sú pre tieto texty charakteristické a môžu byť nejasné. Takéto zrýchlenie analytického procesu umožňuje výskumníkom sústrediť sa len na špecifické aspekty textu relevantné pre ich výskum.
Mapovanie polohy a výšky stromov v PointCloud dátach získaných pomocou LiDAR technológie25 júl-Cieľom spolupráce medzi Národným superpočítačovým centrom (NSCC) a firmou SKYMOVE, v rámci projektu Národného kompetenčného centra pre HPC, bol návrh a implementácia pilotného softvérového riešenia pre spracovanie dát získaných technológiou LiDAR (Light Detection and Ranging) umiestnených na dronoch.
Dňa 27. júna 2023 v priestoroch Fakulty chemickej a potravinárskej technológie (FCHPT) Slovenskej technickej univerzity (STU) sa uskutočnilo podujatie s názvom „CHEMSHOW“. Počas podujatia návštevníci mali možnosť spoznať aj Národné kompetenčné centrum pre HPC a dozvedieť sa viac o jeho aktivitách. Odborníci predstavili služby NCC pre HPC. Prostredníctvom interaktívnej ukážky simulácií potenciálnych liečiv proti ochoreniu Covid-19 účastníkom priblížili, na aké výpočty sa môžu superpočítače využívať.
Na chemshow sme prezentovali výsledky výpočtov interakcie potenciálnych liečiv s aktívnou časťou jednotky spike-proteínu, ktorý tvorí tetraméry prítomné na povrchu vírusu SARS-CoV2, ktorý spôsobuje ochorenie COVID19. Výpočty boli realizované metódami molekulárnej mechaniky pomocou software-u GROMACS. V rámci štúdie bolo testovaných šesť potenciálnych liečiv. Na tejto prezentácii sme ukazovali najmä trajektóriu jednej z nich. Študenti stredných škôl mali možnosť pozrieť si výsledky na projekcii s 3D okuliarmi kde si mohli interaktívne meniť pohľad ako aj nastavenia zobrazovania proteínu.
Výzva na Business Experiments – podpora pre MSP pri implementácii HPC riešení28 júl-Dávame do pozornosti druhú otvorenú výzvu v rámci projektu FFplus, ktorá sa zameriava na podporu malých a stredných podnikov (MSP) pri riešení konkrétnych obchodných výziev prostredníctvom vysokovýkonných výpočtov (High Performance Computing – HPC). Cieľom výzvy je realizovať tzv. „business experiments“, ktoré majú demonštrovať, že využitie HPC technológií vedie k riešeniu reálnych problémov a má pozitívny vplyv na podnikanie.
Keď sa technológia stretne s inklúziou: Vízia pre spravodlivú spoločnosť25 júl-V uplynulých dňoch sa uskutočnilo inšpiratívne stretnutie medzi Luciou Maličkovou, projektovou manažérkou v Národnom superpočítačovom centre a Národnom kompetenčnom centre pre vysokovýkonné počítanie (HPC), a Jánom Bihari, vizionárom, zakladateľom Tibi Digital a myšlienkovým lídrom v oblasti digitalizácie rómskej komunity.
Záznam z webinára: Simulovanie spoločností pomocou AI a digitálnych dvojčiat23 júl-Nestihli ste náš webinár „Digitálne dvojčatá spoločnosti: Simulácie poháňané výpočtami na HPC“? Záznam je už dostupný online. Webinár priniesol inšpiratívne pohľady na to, ako umelá inteligencia, kognitívne modelovanie a multiagentové simulačné technológie pomáhajú vedcom porozumieť a predikovať komplexné spoločenské javy, ako sú šírenie dezinformácií, radikalizácia či spoločenská súdržnosť.
Dávame vám do pozornosti webinár, na ktorom budú odprezentované úspešne príklady a výsledky, ktoré organizácie získali pri implementácii vysokovýkonného počítania (High Performance Computing, HPC), umelej inteligencie (Artificial Intelligence, AI) a iných pokročilých technológií pre podnikanie v rôznych priemyselných odvetviach.
Výzva na Business Experiments – podpora pre MSP pri implementácii HPC riešení28 júl-Dávame do pozornosti druhú otvorenú výzvu v rámci projektu FFplus, ktorá sa zameriava na podporu malých a stredných podnikov (MSP) pri riešení konkrétnych obchodných výziev prostredníctvom vysokovýkonných výpočtov (High Performance Computing – HPC). Cieľom výzvy je realizovať tzv. „business experiments“, ktoré majú demonštrovať, že využitie HPC technológií vedie k riešeniu reálnych problémov a má pozitívny vplyv na podnikanie.
Keď sa technológia stretne s inklúziou: Vízia pre spravodlivú spoločnosť25 júl-V uplynulých dňoch sa uskutočnilo inšpiratívne stretnutie medzi Luciou Maličkovou, projektovou manažérkou v Národnom superpočítačovom centre a Národnom kompetenčnom centre pre vysokovýkonné počítanie (HPC), a Jánom Bihari, vizionárom, zakladateľom Tibi Digital a myšlienkovým lídrom v oblasti digitalizácie rómskej komunity.
Záznam z webinára: Simulovanie spoločností pomocou AI a digitálnych dvojčiat23 júl-Nestihli ste náš webinár „Digitálne dvojčatá spoločnosti: Simulácie poháňané výpočtami na HPC“? Záznam je už dostupný online. Webinár priniesol inšpiratívne pohľady na to, ako umelá inteligencia, kognitívne modelovanie a multiagentové simulačné technológie pomáhajú vedcom porozumieť a predikovať komplexné spoločenské javy, ako sú šírenie dezinformácií, radikalizácia či spoločenská súdržnosť.
Kurz Praktický úvod do spracovania prirodzeného jazyka
Radi by sme vám dali do pozornosti najnovší kurz organizovaný Národným kompetenčným centrom pre HPC: “Praktický úvod do spracovania prirodzeného jazyka”. Témou bude účastníkov sprevádzať skúsený lektor Marek Šuppa, ktorý NLP (natural language processing) a jeho potenciál pre podniky predstavil už začiatkom apríla počas zaujímavej online prednášky – záznam si môžete pozrieť tu.
Kurz bude prebiehať v komornom formáte online 30. júna v čase od 9:00 do 16:00 hod. Počet miest je obmedzený na 15, pričom každý bude mať jedinečnú možnosť pracovať počas cvičení s akcelerovaným modulom nového slovenského superpočítača Devana. Chceme preto vyzvať záujemcov, aby sa registrovali len v prípade seriózneho záujmu.
Počas tohto kurzu sa účastníci budú venovať úvodu do spracovania prirodzeného jazyka; reprezentácii textu, slovným vektorom, textovej klasifikácii a neurónovým sieťam pre spracovanie prirodzeného jazyka. Taktiež spolu s lektorom preberú HuggingFace Transformers a ich praktické použitie. Súčasťou kurzu sú hands-on cvičenia. Prerekvizitou pre kurz je skúsenosť s programovaním v programovacom jazyku Python. Skúsenosti s frameworkami PyTorch alebo Tensorflow sú výhodou.
Výzva na Business Experiments – podpora pre MSP pri implementácii HPC riešení28 júl-Dávame do pozornosti druhú otvorenú výzvu v rámci projektu FFplus, ktorá sa zameriava na podporu malých a stredných podnikov (MSP) pri riešení konkrétnych obchodných výziev prostredníctvom vysokovýkonných výpočtov (High Performance Computing – HPC). Cieľom výzvy je realizovať tzv. „business experiments“, ktoré majú demonštrovať, že využitie HPC technológií vedie k riešeniu reálnych problémov a má pozitívny vplyv na podnikanie.
Keď sa technológia stretne s inklúziou: Vízia pre spravodlivú spoločnosť25 júl-V uplynulých dňoch sa uskutočnilo inšpiratívne stretnutie medzi Luciou Maličkovou, projektovou manažérkou v Národnom superpočítačovom centre a Národnom kompetenčnom centre pre vysokovýkonné počítanie (HPC), a Jánom Bihari, vizionárom, zakladateľom Tibi Digital a myšlienkovým lídrom v oblasti digitalizácie rómskej komunity.
Záznam z webinára: Simulovanie spoločností pomocou AI a digitálnych dvojčiat23 júl-Nestihli ste náš webinár „Digitálne dvojčatá spoločnosti: Simulácie poháňané výpočtami na HPC“? Záznam je už dostupný online. Webinár priniesol inšpiratívne pohľady na to, ako umelá inteligencia, kognitívne modelovanie a multiagentové simulačné technológie pomáhajú vedcom porozumieť a predikovať komplexné spoločenské javy, ako sú šírenie dezinformácií, radikalizácia či spoločenská súdržnosť.
Pracovná skupina národných kompetenčných centier v strednej Európe
Zástupcovia národných kompetenčných centier pre HPC zo stredoeurópskeho regiónu sa 12. júna stretli na prvom stretnutí stredoeurópskej pracovnej skupiny NCC. Podujatie zorganizovali NCC Slovinsko a NCC Rakúsko v slovinskom Maribore, účasť bola možná aj online.
Na programe dňa boli 3 sekcie, ktoré sa týkali interakcie s priemyslom, vzdelávania a komunikácie. Účastníci pracovali v malých skupinách, diskutovali o konkrétnych bodoch a vymieňali si osvedčené postupy v rámci jednotlivých tém, ako sú stratégie onboardingu MSP, portfólio služieb a ako riešiť špecifické otázky štátnej pomoci, ako aj pravidlá spolupráce so súkromnými spoločnosťami.
Diskutovalo sa o formátoch školiacich podujatí s ohľadom na postpandemické trendy; boli vyzdvihnuté skúsenosti so spoluprácou medzi NCC a centrami excelentnosti a zdieľali sa aj rôzne stratégie prilákania účastníkov MSP na odborné kurzy.
Komunikačná sekcia bola zameraná na propagáciu a komunikačné kanály, budovanie publika pre rôzne témy a organizáciu tematicky zameraných webinárov. V každej sekcii sa diskutovalo aj o príležitostiach a ponukách na spoluprácu.
Podujatie bolo skvelou príležitosťou na zoznámenie sa s kolegami zo susedných NCC, neformálny networking, podporu spolupráce a nájdenie novej inšpirácie. Veľká vďaka organizátorom a tešíme sa na ďalšie stretnutie tohto formátu!
Výzva na Business Experiments – podpora pre MSP pri implementácii HPC riešení28 júl-Dávame do pozornosti druhú otvorenú výzvu v rámci projektu FFplus, ktorá sa zameriava na podporu malých a stredných podnikov (MSP) pri riešení konkrétnych obchodných výziev prostredníctvom vysokovýkonných výpočtov (High Performance Computing – HPC). Cieľom výzvy je realizovať tzv. „business experiments“, ktoré majú demonštrovať, že využitie HPC technológií vedie k riešeniu reálnych problémov a má pozitívny vplyv na podnikanie.
Keď sa technológia stretne s inklúziou: Vízia pre spravodlivú spoločnosť25 júl-V uplynulých dňoch sa uskutočnilo inšpiratívne stretnutie medzi Luciou Maličkovou, projektovou manažérkou v Národnom superpočítačovom centre a Národnom kompetenčnom centre pre vysokovýkonné počítanie (HPC), a Jánom Bihari, vizionárom, zakladateľom Tibi Digital a myšlienkovým lídrom v oblasti digitalizácie rómskej komunity.
Záznam z webinára: Simulovanie spoločností pomocou AI a digitálnych dvojčiat23 júl-Nestihli ste náš webinár „Digitálne dvojčatá spoločnosti: Simulácie poháňané výpočtami na HPC“? Záznam je už dostupný online. Webinár priniesol inšpiratívne pohľady na to, ako umelá inteligencia, kognitívne modelovanie a multiagentové simulačné technológie pomáhajú vedcom porozumieť a predikovať komplexné spoločenské javy, ako sú šírenie dezinformácií, radikalizácia či spoločenská súdržnosť.
TREX CoE & NCCs collab / Code tuning for the exascale
Centrum excelentnosti TREX spolu s 3 národnými kompetenčnými centrami zorganizovalo trojdňový workshop „Ladenie kódu pre exascale“. NCC Slovensko, Rakúsko a Česká republika sa spojili, aby priniesli zaujímavý program vrátane pokročilého paralelného programovania, analýzy energetickej účinnosti a optimalizácie HPC aplikácií. Workshop sa konal v Bratislave v dňoch 5. – 7. júna 2023 a bol organizovaný prezenčnou formou.
Bol to výborný príklad spolupráce a podpory medzi kompetenčnými centrami a centrom excelentnosti. Program workshopu zahŕňal tri navzájom sa doplňujúce témy. Počas prvého dňa tím z rakúskeho NCC prezentoval pokročilé techniky paralelného programovania (MPI, OpenMP), na druhý deň nasledovala prezentácia vysoko aktuálnej témy energetickej efektívnosti v HPC zo strany českého NCC. Tretí deň patril TREX CoE, ktorý predstavil nástroj na analýzu výkonu HPC aplikácií a ich optimalizáciu s názvom MAQAO. Organizáciu, prístup k HPC a technickú podporu HPC zabezpečilo slovenské NKC.
Dúfame, že workshop splnil svoj účel a poskytol účastníkom informácie, nástroje, zručnosti a kompetencie, ktoré im pomôžu vyvíjať a efektívne používať vlastný softvér s využitím moderných HPC infraštruktúr.
Výzva na Business Experiments – podpora pre MSP pri implementácii HPC riešení28 júl-Dávame do pozornosti druhú otvorenú výzvu v rámci projektu FFplus, ktorá sa zameriava na podporu malých a stredných podnikov (MSP) pri riešení konkrétnych obchodných výziev prostredníctvom vysokovýkonných výpočtov (High Performance Computing – HPC). Cieľom výzvy je realizovať tzv. „business experiments“, ktoré majú demonštrovať, že využitie HPC technológií vedie k riešeniu reálnych problémov a má pozitívny vplyv na podnikanie.
Keď sa technológia stretne s inklúziou: Vízia pre spravodlivú spoločnosť25 júl-V uplynulých dňoch sa uskutočnilo inšpiratívne stretnutie medzi Luciou Maličkovou, projektovou manažérkou v Národnom superpočítačovom centre a Národnom kompetenčnom centre pre vysokovýkonné počítanie (HPC), a Jánom Bihari, vizionárom, zakladateľom Tibi Digital a myšlienkovým lídrom v oblasti digitalizácie rómskej komunity.
Záznam z webinára: Simulovanie spoločností pomocou AI a digitálnych dvojčiat23 júl-Nestihli ste náš webinár „Digitálne dvojčatá spoločnosti: Simulácie poháňané výpočtami na HPC“? Záznam je už dostupný online. Webinár priniesol inšpiratívne pohľady na to, ako umelá inteligencia, kognitívne modelovanie a multiagentové simulačné technológie pomáhajú vedcom porozumieť a predikovať komplexné spoločenské javy, ako sú šírenie dezinformácií, radikalizácia či spoločenská súdržnosť.
Slovenská akadémia vied dnes 1. júna 2023 otvorila výzvu na podávanie prihlášok do grantového programu IMPULZ 2023. Medzinárodne uznávaní vedci a vysoko talentovaní mladí výskumníci majú už po tretíkrát príležitosť realizovať svoje vedecké zámery na Slovensku a to za podmienok blížiacich sa prestížnemu európskemu grantu. Vybrané projekty môžu požiadať o finančné prostriedky do výšky 160 000 eur ročne. Výzva je otvorená do 31. augusta 2023 do polnoci, predpokladaný začiatok riešenia projektov je v apríli 2024.
Program Impulz má za cieľ skvalitniť vedecké organizácie SAV prostredníctvom náboru medzinárodne uznávaných vedcov a talentovaných mladých výskumných pracovníkov, pôsobiacich v zahraničí alebo na Slovensku. Úlohou týchto excelentných výskumníkov bude vytvoriť a riadiť svoje vlastné výskumné skupiny, ktoré budú pracovať na nových výskumných smeroch v súlade s aktuálnymi svetovými trendmi. Schéma poskytne excelentným vedcom motivujúce podmienky pre ich výskum a vedeckým organizáciám SAV prinesie skvalitnenie výskumného prostredia a vedeckých výstupov. Program IMPULZ má pomôcť zvýšiť excelentnosť výskumu, jeho internacionalizáciu a konkurencieschopnosť naprieč rôznymi vedeckými odbormi SAV v Európskom výskumnom priestore, a v neposlednom rade aj úspešnosť v získavaní prestížnych európskych grantov.
Dátum vyhlásenia výzvy: 1. jún 2023, 9.00 SEČ
Konečný termín podania prihlášok: 31. august 2023, 23.59 SEČ
Predpokladaný konečný termín posudzovania prihlášok: február 2024
Predpokladaný začiatok realizovania projektov: apríl 2024
Výzva na Business Experiments – podpora pre MSP pri implementácii HPC riešení28 júl-Dávame do pozornosti druhú otvorenú výzvu v rámci projektu FFplus, ktorá sa zameriava na podporu malých a stredných podnikov (MSP) pri riešení konkrétnych obchodných výziev prostredníctvom vysokovýkonných výpočtov (High Performance Computing – HPC). Cieľom výzvy je realizovať tzv. „business experiments“, ktoré majú demonštrovať, že využitie HPC technológií vedie k riešeniu reálnych problémov a má pozitívny vplyv na podnikanie.
Keď sa technológia stretne s inklúziou: Vízia pre spravodlivú spoločnosť25 júl-V uplynulých dňoch sa uskutočnilo inšpiratívne stretnutie medzi Luciou Maličkovou, projektovou manažérkou v Národnom superpočítačovom centre a Národnom kompetenčnom centre pre vysokovýkonné počítanie (HPC), a Jánom Bihari, vizionárom, zakladateľom Tibi Digital a myšlienkovým lídrom v oblasti digitalizácie rómskej komunity.
Záznam z webinára: Simulovanie spoločností pomocou AI a digitálnych dvojčiat23 júl-Nestihli ste náš webinár „Digitálne dvojčatá spoločnosti: Simulácie poháňané výpočtami na HPC“? Záznam je už dostupný online. Webinár priniesol inšpiratívne pohľady na to, ako umelá inteligencia, kognitívne modelovanie a multiagentové simulačné technológie pomáhajú vedcom porozumieť a predikovať komplexné spoločenské javy, ako sú šírenie dezinformácií, radikalizácia či spoločenská súdržnosť.
Use case: Prenos a optimalizácia pracovného toku CFD výpočtov v HPC prostredí
Autori: Ján Škoviera (Národné kompetenčné centrum pre HPC), Sylvain Suzan (Shark Aero)
Spoločnosť Shark Aero navrhuje a vyrába ultraľahké športové lietadlá s dvojmiestnym tandemovým kokpitom. Na vývoj dizajnu používajú populárny open-source softvérový balík openFOAM [1], konkrétne CFD simulácie (Computational Fluid Dynamics), využívajú metódu konečných prvkov (Finite elements method – FEM). Po vytvorení modelu pomocou softvéru Computer-Aided Design (CAD) sa model rozdelí na samostatné bunky, tzv. sieť (angl. mesh). Presnosť simulácie silne závisí od hustoty siete, pričom výpočtové a pamäťové požiadavky stúpajú s treťou mocninou počtu jej vrcholov. Pre niektoré simulácie môžu byť výpočtové nároky naozaj limitujúcim faktorom, ak používateľ pracuje s bežne dostupnou výpočtovou technikou. Pokúsili sme sa preto preniesť pracovný tok simulácie do High-Performance Computing (HPC) prostredia s osobitným zameraním na preskúmanie efektívnosti paralelizácie výpočtových úloh pre daný typ modelu.
METÓDY
Pre tento projekt boli použité výpočtové uzly s 2×6 jadrami Intel Xeon L5640 @ 2,27GHz, 48 GB RAM a 2×500 GB. Všetky výpočty sa robili v štandardnom HPC prostredí s použitím systému plánovania úloh Slurm. Takéto riešenie je prijateľné pre typ výpočtových úloh, kde sa nevyžaduje odozva v reálnom čase ani okamžité spracovanie údajov. Pre CFD simulácie sme používali softvérové balíky OpenFOAM a ParaView verzie 9. Na spúšťanie výpočtov bol použitý kontajnerový softvér Singularity s ohľadom na možný budúci prenos výpočtov na iný HPC systém. Podľa očakávania, zrýchlenie výpočtov dosiahnuté len samotným transferom do HPC prostredia bolo približne 1,5x v porovnaní so štandardným notebookom.
PARALELIZÁCIA
Paralelne vykonávané výpočtové úlohy môžu zvýšiť rýchlosť celkového výpočtu využitím viacerých výpočtových jednotiek súčasne. Pre paralelizáciu úlohy takéhoto typu je potrebné rozdeliť pôvodnú sieť na domény – časti, ktoré sa budú spracovávať súbežne. Domény však potrebujú komunikovať cez procesorové okrajové podmienky, t.j. steny domény alebo plochy v mieste rozdelenia pôvodnej siete. Čím väčšia je hraničná plocha procesora, tým viac I/O operácií je potrebných na vyriešenie okrajových podmienok. Dátová komunikácia procesorových okrajových podmienok je zabezpečená protokolom MPI (distributed memory Message Passing Interface), takže rozdiel medzi jadrami CPU a rôznymi výpočtovými uzlami je od používateľa abstrahovaný. To vedie k určitým obmedzeniam efektívneho využívania mnohých paralelných procesov, pretože príliš paralelizované vykonávanie úloh môže byť v skutočnosti pomalšie kvôli úzkym miestam v komunikácii a I/O. Preto by mali byť domény vytvorené spôsobom, ktorý minimalizuje hranice procesora. Jednou z možných stratégií je rozdeliť pôvodnú sieť iba v koplanárnom smere s čo najmenšou stranou pôvodnej siete. Pri paralelizácii a definícii domén je potrebné dbať na množstvo prenášaných údajov – napríklad pri delení siete vo viacerých osiach sa vytvorí aj viac procesorových okrajových podmienok.
Výpočty sa robili v štyroch krokoch: generovanie siete, segmentácia siete, vnorenie modelu a simulácia CFD. Prvý krok – vytvorenie siete sme urobili pomocou utility blockMesh, nsledovala segmentácia siete pomocou utility decomposePar, vnorenie modelu pomocou programu snappyHexMesh a samotná CFD simulácia bola robená programom SimpleFoam. Výpočtovo najnáročnejší krok je snappyHexMesh. Je to pochopiteľné z toho, že kým pri CFD simulácii je potrebné vykonať výpočet niekoľkokrát pre každú hranu siete a každú iteráciu, v prípade vnorenia modelu sa vytvárajú nové vrcholy a staré sa vymazávajú na základe polohy vrcholov siete. To si vyžaduje vytvorenie „oktree“ (rozdelenie trojrozmerného priestoru jeho rekurzívnym rozdelením na osem oktantov), opakované inverzné vyhľadávanie a opätovné zaradenie do oktantov. Každý z týchto procesov je N*log(N) v najlepšom prípade a N2 v najhoršom prípade, kde N je počet vrcholov. Samotné CFD škáluje lineárne s počtom hrán, t.j. „takmer“ lineárne s N (prepojené sú len priestorovo blízke uzly). Vyvinuli sme pracovný postup, ktorý vytvára množstvo domén, ktoré môžu byť priamo paralelné s rovinou yz (x je os nosa lietadla), čo používateľovi zjednodušuje rozhodovanie. Po zahrnutí nového modelu je možné jednoducho špecifikovať počet domén a spustiť výpočet, čím sa minimalizuje ľudský zásah potrebný na paralelizáciu výpočtu.
VÝSLEDKY A ZÁVER
Relatívne zrýchlenie výpočtových procesov je určené najmä obmedzenými vstupmi/výstupmi. Ak sú výpočtové úlohy hlboko pod hranicou I/O operácií, rýchlosť je nepriamo úmerná počtu domén. Pri menej náročných výpočtoch, t.j. pri malých modeloch sa môžu procesy ľahko stať nadmerne paralelizovanými.
Figure 2: Závislosť reálneho výpočtového času od počtu výpočtových jednotiek pre snappyHexMesh and simpleFoam. V prípade simpleFoam-u čas začína divergovať pre 8 procesov a viac, nakoľko dátový transfer prekonáva paralelizačnú výhodu. Ideálne škálovanie ukazuje teoretický čas potrebný na dokončenie výpočtu v prípade, že by procesorové podmienky a dátový transfer neboli zahrnuté.
Keď je hustota siete dostatočne vysoká, čas na výpočet kroku CFD je tiež nepriamo úmerný počtu paralelných procesov. Ako je znázornené na druhej dvojici obrázkov s dvojnásobným zvýšením hustoty siete, výpočty sú pod hranicou I/O dokonca aj v CFD kroku. Aj keď je krok CFD v tomto prípade pomerne rýchly v porovnaní s procesom tvorby siete, výpočet dlhých časových intervalov by z neho mohol urobiť časovo najnáročnejší krok.
Návrh častí lietadla vyžaduje viacnásobné simulácie relatívne malých modelov za meniacich sa podmienok. Hustota siete potrebná pre tieto simulácie patrí do strednej kategórie. Pri prenose výpočtov do HPC prostredia sme museli brať do úvahy skutočné potreby koncového užívateľa z hľadiska veľkosti modelu, hustoty siete a požadovanej presnosti výsledku. Používanie HPC má niekoľko výhod:
Koncový používateľ je nepotrebuje udržiavať svoje vlastné výpočtové kapacity.
Aj v prípade, že by simulácie boli obmedzené na úlohy s jedným vláknom (neparalelizované), ich prenos do HPC prostredia predstavuje zrýchlenie, navyše s možnosťou použitia tzv. embarrassingly parallel prístupu.
Pre ďalšie zefektívnenie vypočtov bol navrhnutý jednoduchý spôsob využitia paralelizácie pre tento konkrétny typ úloh. Identifikovali sme obmedzenia paralelných behov pre definovaný prípad použitia a podmienky. Celkové zvýšenie rýchlosti, ktoré bolo dosiahnuté v praktických podmienkach, je 7,3-násobné. Vo všeobecnosti je možné očakávať zrýchlenie rastúce so zložitosťou výpočtu a presnosťou/hustotou siete.
Klasifikácia intentov pre bankové chatboty pomocou veľkých jazykových modelov12 sep-Tento článok hodnotí použitie veľkých jazykových modelov na klasifikáciu intentov v chatbote s preddefinovanými odpoveďami, určenom pre webové stránky bankového sektora. Zameriavame sa na efektivitu modelu SlovakBERT a porovnávame ho s použitím multilingválnych generatívnych modelov, ako sú Llama 8b instruct a Gemma 7b instruct, v ich predtrénovaných aj fine-tunovaných verziách. Výsledky naznačujú, že SlovakBERT dosahuje lepšie výsledky než ostatné modely, a to v presnosti klasifikácie ako aj v miere falošne pozitívnych predikcií.
Využitie veľkých jazykových modelov na efektívnu analýzu náboženských textov5 aug-Analýza a štúdium textov s náboženskými témami boli historicky doménou filozofov, teológov a ďalších špecialistov v sociálnych vedách. S príchodom umelej inteligencie, konkrétne veľkých jazykových modelov, naberá výskum v tejto oblasti nové dimenzie. Tieto moderné technológie môžu byť využité na odhaľovanie skrytých nuáns v náboženských textoch, čím umožňujú hlbšie pochopenie rôznych symbolizmov a odhalenie významov, ktoré sú pre tieto texty charakteristické a môžu byť nejasné. Takéto zrýchlenie analytického procesu umožňuje výskumníkom sústrediť sa len na špecifické aspekty textu relevantné pre ich výskum.
Mapovanie polohy a výšky stromov v PointCloud dátach získaných pomocou LiDAR technológie25 júl-Cieľom spolupráce medzi Národným superpočítačovým centrom (NSCC) a firmou SKYMOVE, v rámci projektu Národného kompetenčného centra pre HPC, bol návrh a implementácia pilotného softvérového riešenia pre spracovanie dát získaných technológiou LiDAR (Light Detection and Ranging) umiestnených na dronoch.
Výzva na Business Experiments – podpora pre MSP pri implementácii HPC riešení 28 júl - Dávame do pozornosti druhú otvorenú výzvu v rámci projektu FFplus, ktorá sa zameriava na podporu malých a stredných podnikov (MSP) pri riešení konkrétnych obchodných výziev prostredníctvom vysokovýkonných výpočtov (High Performance Computing – HPC). Cieľom výzvy je realizovať tzv. „business experiments“, ktoré majú demonštrovať, že využitie HPC technológií vedie k riešeniu reálnych problémov a má pozitívny vplyv na podnikanie.
Keď sa technológia stretne s inklúziou: Vízia pre spravodlivú spoločnosť 25 júl - V uplynulých dňoch sa uskutočnilo inšpiratívne stretnutie medzi Luciou Maličkovou, projektovou manažérkou v Národnom superpočítačovom centre a Národnom kompetenčnom centre pre vysokovýkonné počítanie (HPC), a Jánom Bihari, vizionárom, zakladateľom Tibi Digital a myšlienkovým lídrom v oblasti digitalizácie rómskej komunity.
Záznam z webinára: Simulovanie spoločností pomocou AI a digitálnych dvojčiat 23 júl - Nestihli ste náš webinár „Digitálne dvojčatá spoločnosti: Simulácie poháňané výpočtami na HPC“? Záznam je už dostupný online. Webinár priniesol inšpiratívne pohľady na to, ako umelá inteligencia, kognitívne modelovanie a multiagentové simulačné technológie pomáhajú vedcom porozumieť a predikovať komplexné spoločenské javy, ako sú šírenie dezinformácií, radikalizácia či spoločenská súdržnosť.
