ASEF Mladi umi: Veliki jezikovni modeli v kibernetski varnosti z Jakobom Firom

V sredo, 11. novembra 2026, je na Fakulteti za računalništvo in informatiko Univerze v Ljubljani potekalo poljudnoznanstveno predavanje cikla ASEF Mladi umi, na katerem je predaval ASEF štipendist generacije 2026 Jakob Fir, ki raziskuje umetno inteligenco. Raziskovalni obisk je v okviru programa ASEF Raziskovanje v tujini opravil pri prof. dr. Dawn Song na Univerzi v Kaliforniji, Berkeley, v ZDA.

V predavanju »Veliki jezikovni modeli v kibernetski varnosti: ocenjevanje ofenzivnih in obrambnih zmogljivosti modelov« je Jakob najprej pojasnil, zakaj je to tema, ki se tiče vseh nas. Skoraj vsaka programska oprema vsebuje napake, ki jih lahko napadalci izkoristijo, takšne ranljivosti pa dobijo javno oznako CVE. Takih oznak je vsako leto več: število objavljenih ranljivosti se je od leta 2016 povečalo več kot 7-krat, na 48.185 v letu 2025. Napadalci jih izkoriščajo vse hitreje, saj so včasih potrebovali v povprečju 63 dni, danes pa jih ponekod izkoristijo že pred razkritjem. Popravljanje pa še vedno traja približno toliko kot pred dvajsetimi leti.

Ker se jezikovni modeli, ki jih poznamo iz pogovornih asistentov, vse bolje znajdejo tudi pri iskanju in izkoriščanju ranljivosti, se postavlja vprašanje, kako to sploh izmeriti. Jakob je predstavil obstoječe preizkuse zmogljivosti, imenovane benchmarki, in pokazal, da imajo tri težave: modeli so jih že skoraj povsem rešili, pokrivajo le ozek del napadov, preverjajo pa samo napadanje, ne pa tudi popravljanja programov. Poleg tega jih je drago pripraviti, saj za eno nalogo ekspert potrebuje tudi več kot deset ur dela. Omenil je tudi poskus, kako te naloge ustvarjati samodejno, a z neprepričljivimi testi. Včasih je namreč mogoče nalogo »rešiti« brez prave rešitve, ker test preveri le, ali spletna stran sploh odgovori.

Jakob je zato predstavil svoj pristop. Naloga nastane samodejno iz oznake CVE, in sicer iz prave programske kode in pravega popravka, ki so ga napisali vzdrževalci projekta. Da bi bilo preverjanje zares pošteno, je napad dokazan s skrivnostjo, ki jo agent lahko dobi le, če ranljivost res izkoristi, uspeh pa presoja računalniška koda, ne jezikovni model. Agenta in tarčo je treba tudi dobro ločiti, saj so po poročanju iz poletja 2026 agenti v testu že pobegnili iz okolja in segli po odgovorih. Nastal je nov benchmark z 208 preverjenimi nalogami, pri čemer ena nastane v povprečno 45 minutah. Agenti so ob tem v resničnih projektih našli več kot 20 doslej neznanih ranljivosti. Preizkušeni modeli so v 78 % primerov uspešno izvedli napad in v 55 % primerov uspešno popravili ranljivost.

Dogodek je ponudil zanimiv vpogled v to, kako merimo, kaj umetna inteligenca zmore na področju kibernetske varnosti, in poudaril, da so pošteni, samodejni in preverljivi testi pomembni zdaj, ko modeli ranljivosti odkrivajo hitreje, kot jih znamo popravljati.

Projekt širjenja rezultatov raziskovalnega dela mladih po izvedenem raziskovalnem obisku ASEF v tujini podpirata Urad RS za mladino in Urad Vlade RS za Slovence v zamejstvu in po svetu.