Webinár amália: Smerom k multimodálnemu LLM pre európsku portugalčinu

Tento webinár organizuje Národné superpočítačové centrum Slovensko v rámci aktivít projektu EuroCC  (Národného kompetenčného centra – NCC Slovensko) v spolupráci s NCC Portugalsko ako súčasť série webinárov o veľkých jazykových modeloch (LLM), ktoré prepájajú vysokovýkonné výpočty s umelou inteligenciou, kultúrou a inováciou.

Webinár bude prebiehať v anglickom jazyku.

Abstrakt:

amália je štátom podporovaný veľký jazykový model zameraný na európsku portugalčinu, navrhnutý tak, aby zachytil jej jazykové nuansy, kultúrny kontext a multimodálne schopnosti v oblasti textu, reči, obrazu a videa. Projekt má široké uplatnenie vo verejnej správe, výskume a priemysle, s dôrazom na dôveryhodnosť, transparentnosť a suverenitu dát.

Táto prezentácia načrtne proces a kľúčové metodológie, ktoré využíva tím amália LLM na Univerzite NOVA a Instituto Superior Técnico / UL, s dôrazom na využitie európskych HPC zdrojov, ako sú superpočítače Marenostrum 5 (MN5) a Deucalion. Predchádzajúce portugalské iniciatívy (ako GlórIA) a európske projekty (EuroLLM) slúžia ako referenčné rámce pre benchmarking a hodnotenie, pričom sa načrtáva cesta od beta fázy k verejnému vydaniu.

Jadro vývoja je predstavené cez tri hlavné oblasti:
1️. Príprava dát a trénovanie modelu – premena rozsiahlych HTML a PDF zdrojov na kvalitné texty, tokenizácia a inštrukčné trénovanie.
2️. Zlepšovanie zosúladenia modelu – využitie prístupov posilneného učenia (RL), metód DPO a GRPO s verifikovateľnými odmenami (VR) pre bezpečnejšie a spoľahlivejšie odpovede.
3️. Infraštruktúra pre pokročilé trénovanie RLVR (GRPO) na superpočítači MN5, s detailmi o konfigurácii výpočtových prostredí (napr. matematika, programovanie, biológia).

Záver ponúkne pohľad na výpočtovú a metodologickú precíznosť potrebnú na vývoj špičkových LLM modelov a ukáže, ako sa projekt amália zaraďuje medzi popredné európske iniciatívy v oblasti umelej inteligencie.

Rečník:

Prof. João Magalhães – CMU Portugal co-Director; vedúci Multimodal Systems Group, NOVA LINCS, Universidade NOVA de Lisboa

Prof. João Miguel da Costa Magalhães pôsobí ako profesor na Katedre informatiky Univerzity NOVA v Lisabone a je výskumníkom v centre NOVA LINCS. Zároveň pôsobí ako spoluriaditeľ programu CMU Portugal a vedie skupinu pre multimodálne systémy. Jeho výskum sa zameriava na modely prepájajúce víziu a jazyk, multimodálne učenie a systémy umelej inteligencie pre sémantické multimédiá. Titul PhD získal na Imperial College London a patrí medzi popredné osobnosti portugalskej digitálnej a AI inovácie.

Témy zahŕňajú:

• Vývoj modelu amália: architektúra, trénovanie a kurácia dát
• Multimodálna AI pre text, reč, obraz a video
• Kultúrne prispôsobenie a jazyková suverenita v LLM
• Hodnotenie, transparentnosť a zodpovedná AI
• Budúca cesta a príležitosti na spoluprácu

Program webinára:

1. Úvod: Prečo portugalský multimodálny LLM
2. Od jazyka k multimodalite: Rozsah a schopnosti amália
3. Dáta a zosúladenie: Jazyková rozmanitosť a kultúrna vernosť
4. Architektúra modelu a proces trénovania
5. Stav a plán: Výsledky beta verzie a ďalšie kroky
6. Aplikácie a dopad
7. Diskusia a Q&A