Stretnutie s Michalom Valkom, expertom na veľké jazykové modely

Michal Valko v súčasnosti pôsobí ako Chief Models Officer v stealth startupe, zároveň je výskumníkom v prestížnom francúzskom inštitúte Inria a prednáša na ENS Paris-Saclay. V roku 2024 sa stal aj hlavným inžinierom pre Llama v spoločnosti Meta, kde buduje online reinforcement learning infraštruktúru a výskum pre modely Llama 3.

Jeho výskum sa zameriava na navrhovanie algoritmov, ktoré dokážu fungovať s čo najmenším množstvom ľudského zásahu. Patrí sem hlboké učenie s odmenou a trestom (deep reinforcement learning), banditské algoritmy, učenie bez dozoru, ale aj takzvaný self play, teda učenie prostredníctvom porovnávania vlastných výsledkov. V poslednom období sa venoval predovšetkým reprezentáciám dát, slovným modelom a rozvoju algoritmov hlbokého učenia s teoretickými zárukami. Aktuálne pracuje na algoritmických riešeniach, ktoré umožnia efektívnejšie dolaďovanie (fine-tuning) a lepšie riadenie veľkých jazykových modelov (LMMs).

Michal Valko pochádza zo Slovenska, kde navštevoval Gymnázium Alejová v Košiciach. S odstupom času oceňuje najmä úzku spoluprácu tejto školy s Prírodovedeckou fakultou UPJŠ, ktorá v ňom prebudila záujem o vedu. Následne študoval umelú inteligenciu a matematické metódy v informatike na Fakulte matematiky, fyziky a informatiky Univerzity Komenského. Doktorát obhájil v roku 2011 na University of Pittsburgh pod vedením Miloša Hauskrechta. Postdoktorandské štúdium absolvoval u Rémiho Munosa, s ktorým neskôr spoluzakladal Google DeepMind Paris.

Počas svojej kariéry pracoval aj na projektoch so spoločnosťami Intel, Adobe, Technicolor či Microsoft Research. Už v rokoch 2009 – 2010 sa počas stáže v Intel Labs v Silicon Valley podieľal na vývoji autonómnych systémov, ktoré mali pomáhať nevidiacim ľuďom rozpoznávať tváre.

Národné superpočítačové centrum a Národné kompetenčé centrum pre HPC bude aj naďalej aktívne vyhľadávať možnosti prepájania slovenských HPC infraštruktúr so svetovými lídrami v oblasti umelej inteligencie a verí, že aj toto stretnutie položí základy pre nové ambiciózne iniciatívy.