Záznam z podujatia: Slovenčina v ére veľkých jazykových modelov (s podporou superpočítača Leonardo)
Dňa 11. júna 2025 sa uskutočnil spoločný webinár o modelovaní jazyka, ktorý zorganizovali Národné kompetenčné centrá pre HPC na Slovensku a v Taliansku. Diskusia sa sústredila na výzvy a riešenia spojené s používaním veľkých jazykových modelov (LLM) pre menej rozšírené jazyky, akým je aj slovenčina.
Účastníci sa oboznámili s viacerými inovatívnymi prístupmi, ktorých cieľom je znížiť jazykovú nerovnosť v ére umelej inteligencie:
- Generovanie bilingválnych datasetov: Využili sme databázu odborne redigovaných slovenských kníh a model LLaMA 3.3 70B Instruct na preklad medzi slovenčinou a angličtinou, čím vznikli datasety pre trénovanie prekladových modelov a zlepšovanie strojovo preloženej slovenčiny.
- Sumarizácia vedeckých textov: Pomocou modelu Gemini Flash Experimental a databázy PLOS sme generovali slovenské súhrny vedeckých článkov, čo prispieva k rozvoju odborného jazyka v LLM.
- Zvýšenie kultúrneho kontextu: Pripravujeme dataset založený na slovenských zdrojoch, ktorý má zlepšiť schopnosť modelov rozumieť kultúrne špecifickým témam a reáliám.
Webinárom sprevádzal Marek Dobeš, spoluautormi projektu sú Radovan Garabík a Peter Bednár. Výskum prebieha s využitím vysokovýkonnej výpočtovej infraštruktúry – slovenského superpočítača Devana a talianskeho Leonarda, prevádzkovaného talianským superpočítačovým centrom Cineca.
Prípadová štúdia poukazuje na možnosti aplikácie týchto metodík aj pre iné jazyky s nízkym počtom zdrojov. Veríme, že skúsenosti z tohto projektu môžu inšpirovať odborníkov po celom svete.
Budovanie medzinárodnej spolupráce v oblasti HPC: Návšteva v ITER Tenerife a Teide HPC 17 júl - Začiatkom júla 2025 mala zástupkyňa Národného superpočítačového centra (NSCC) a Národného kompetenčného centra pre vysokovýkonné počítanie (NCC pre HPC) Lucia Malíčková príležitosť navštíviť významné technologické a výskumné centrum ITER – Instituto Tecnológico y de Energías Renovables, S.A. na ostrove Tenerife. V rámci pracovnej návštevy sa stretla s riaditeľom centra Carlosom Suarezom a Jesúsom Rodríguezom Alamo, aby diskutovali o možnostiach nadviazania spolupráce v oblasti vysokovýkonného počítania (HPC), výskumu, vývoja a inovácií s využitím moderných technologických infraštruktúr.
Stretnutie s Michalom Valkom, expertom na veľké jazykové modely 15 júl - Národné superpočítačové centrum a Národné komeptenčé centrum pre HPC, ktoré zastupovala Lucia Malíčková, sa stretlo s významným slovenským vedcom Michalom Valkom, ktorý patrí medzi špičku v oblasti umelej inteligencie a strojového učenia vo svete. Diskutovali spolu o možnostiach budúcej spolupráce, pričom hlavnou témou bolo využitie slovenských HPC kapacít na podporu pokročilého výskumu v oblasti veľkých jazykových modelov a algoritmov učenia s minimálnou spätnou väzbou.
Dáta, teológia a HPC: Spolupráca, ktorá hľadá cesty k porozumeniu 8 júl - Pokračujeme v spolupráci s Teologickou fakultou Trnavskej univerzity! Národné superpočítačové centrum (NSCC) a Národné kompetenčné centrum pre HPC pokračuje aj v roku 2025 v spolupráci s Teologickou fakultou Trnavskej univerzity. Po úspešnej spoločnej štúdii, ktorá ukázala potenciál umelej inteligencie a výsokovykonného počítania pri analýze náboženských textov, sa zástupcovia oboch inštitúcií opäť stretli, aby identifikovali nové prieniky pre budúce projekty.