Adrian Mladenić Grobelnik: Ali znajo veliki jezikovni modeli sklepati?
V četrtek, 24. aprila je ASEF v sodelovanju s Študentskim svetom Fakultete za računalništvo in informatiko organiziral predavanje v sklopu cikla poljudnoznanstvenih predavanj ASEF Mladi umi. Gost večera je bil Adrian Mladenić Grobelnik, mladi raziskovalec na Inštitutu Jožef Stefan in štipendist ASEF generacije 2024.
Dogodek, ki se je odvijal na Fakulteti za računalništvo in informatiko, je uvodoma odprla ekipa organizatorjev, ki je predstavila delovanje ASEF in štipendijske priložnosti za mlade raziskovalce. Osrednji del je pripadel Adrianu, ki je zbranim predstavil svoje raziskovalno delo na področju umetne inteligence, natančneje delovanje in omejitve velikih jezikovnih modelov (LLM), kot je ChatGPT. V predavanju je raziskoval, kako ti modeli razumejo in obdelujejo informacije, zakaj pogosto delujejo odlično na testnih nalogah, a manj učinkovito v realnih primerih, ter kako bi lahko izboljšali njihovo sposobnost sklepanja.
Adrian je skozi predavanje osvetlil razvoj velikih jezikovnih modelov od GPT-2 do GPT-4 in predstavitve naprednejših pristopov, kot je DeepSeek. Poudaril je, da LLM-ji pogosto pretirano posplošujejo in se zanašajo na vzorce, kar vodi do pomanjkljivega sklepanja. Predstavil je tudi primere raziskav, ki kažejo, kako majhne spremembe v podatkih vodijo do velikih razlik v rezultatih ter izpostavil izzive pri vrednotenju delovanja teh modelov.
Poseben poudarek je namenil tudi izkušnjam z raziskovalnega obiska na Univerzi Stanford, kjer je pod mentorstvom prof. dr. Jureta Leskovca dodatno poglobil svoje raziskave na tem področju.
Ob zaključku predavanja je povzel:
»Odgovor na vprašanje, ali znajo veliki jezikovni modeli sklepati, je: odvisno, kako definiramo sklepanje. Jasno pa je, da so ti modeli kot skladatelji vzorcev – vzamejo vzorce, jih smiselno kombinirajo in ustvarijo dober rezultat. A kljub temu jim manjka globlje razumevanje in sposobnost pravega posploševanja, ki ga imamo ljudje.«
V zaključku je Adrian poudaril, da akademski svet kljub manjšim resursom v primerjavi z velikimi podjetji lahko pomembno prispeva k razvoju umetne inteligence z inovativnimi pristopi in drznejšimi idejami, saj “podjetja pogosto potrebujejo predvsem dobiček – mi pa si lahko privoščimo, da eksperimentiramo bolj pametno.”
ASEF se iskreno zahvaljuje vsem udeležencem in sodelujočim pri organizaciji za večer, ki je ponudil odličen vpogled v aktualne izzive umetne inteligence ter prikazal, kako mladi raziskovalci s svojimi idejami in znanjem soustvarjajo prihodnost tehnologije.
Projekt širjenja rezultatov raziskovalnega dela mladih po izvedenem raziskovalnem obisku ASEF v tujini podpirata Urad RS za mladino in Urad Vlade RS za Slovence v zamejstvu in po svetu.
