Pri agenciji ARIS lahko recenzenti za ocenjevanje kvalitete znanstvenih projektov uporabljajo tudi umetno inteligenco. Posledica so lahko nestrokovne recenzije in neustrezni zaključki. Foto: Žiga Živulović jr./Bobo
Očitki zoper javno agencijo o »domačijski« delitvi milijonov za znanost
Javna agencija za znanstvenoraziskovalno in inovacijsko dejavnost (ARIS) je lani skupaj razdelila okoli 370 milijonov evrov, od tega za klasične znanstvenoraziskovalne projekte približno 37 milijonov evrov. A predvsem pri financiranju slednjih letijo na delovanje agencije očitki o netransparentnosti, nestrokovnosti in neustreznem ocenjevanju prijav.
ARIS, ki ga vodi direktorica Tjaša Dobnik, večino denarja nameni za stabilno (institucionalno) financiranje raziskav na univerzah in inštitutih, poleg tega pa financira tudi znanstvene projekte na podlagi javnih razpisov.
Ocenjevanje, kateri projekti so vredni javnega denarja, zelo pomanjkljivo.
Da je način ocenjevanja, na podlagi katerega nato prijavitelji pridobijo ali pa tudi ne denar za znanstvene projekte, izjemno pomanjkljiv, je nedavno opozoril matematik dr. Aleksey Kostenko s fakultete za matematiko in fiziko v Ljubljani.
Kostenko je mednarodno priznan matematik, leta 2023 je prejel tudi Zoisovo nagrado za vrhunske dosežke, izkušnje s prijavo na razpise pa ima tako v Sloveniji kot v sosednji Avstriji.
Dr. Kostenko je uspešno pridobil denar v Avstriji, in sicer pri njihovem znanstvenem skladu FWF, kjer je, kot ugotavlja, raven recenzentov, torej izkušenih znanstvenikov, ki ocenijo kakovost in izvirnost projekta, na veliko višji ravni kot pri nas. Prav tako pa tudi kakovost panelov (skupin strokovnjakov), ki nato projekte rangirajo.
»Sistem v Avstriji je bolj profesionalen. Kakovost recenzentov in posledično kakovost njihovih poročil, povratne informacije članov panelov, časovni okviri itd. Vse to naredi raven strokovnosti odločanja FWF neprimerljivo višjo,« ocenjuje matematik.
Recenzenti za pisanje poročil uporabljajo umetno inteligenco
Pri nas recenzenti za pisanje poročil o projektih uporabljajo umetno inteligenco, kar lahko pripelje do napačnih zaključkov, recenzije pa so nestrokovne in neustrezne za ocenjevanje projektov, meni sogovornik.
»V primerjavi s FWF bi morali prazna, z umetno inteligenco generirana poročila, ki sem jih prejel od ARIS za svojo prijavo za leto 2025, zavreči. Recenzente bi bilo treba izključiti kot očitno nekompetentne, vse projekte pa ponovno oceniti,« je oster Kostenko.
To se kljub njegovim opozorilom ni zgodilo. Nacionalni znanstveni skladi po Evropi se nagibajo k temu, da se umetne inteligence ne uporablja v nobeni fazi evaluacije, toda direktorica ARIS-a Tjaša Dobnik, kot izhaja iz njenih pojasnil za Info360, v tem ne vidi težav:
»Recenzenti so orodja umetne inteligence lahko uporabljali v skladu z vnaprej določenimi pogoji, in sicer da so v primeru uporabe orodij umetne inteligence pridobljene podatke pregledali, kritično ovrednotili in navedli reference umetne inteligence.«
Dodaja, da morata recenzenta (za vsak projekt sta dva) oceno uskladiti, nato pa je podvržena pregledu znanstvenih urednikov.
»To pomeni, da končna ocena nikakor ni rezultat umetne inteligence.«
Konflikt interesov
Dr. Kostenko tudi opozarja, da pri nas ne deluje sistem povratnih informacij od strokovnjakov v panelih do prijaviteljev, na podlagi česar bi slednji projekte lahko izboljšali. To v Avstriji dobro deluje, pri nas pa se člani panela na njegove pripombe glede uporabe umetne inteligence sploh niso odzvali.
Tudi seznam za izbor recenzentov je povsem neustrezen, je pisal direktorici.
»Po trenutnih pravilih seznam recenzentov nastane na podlagi predlogov vodij programov. Ob vsem spoštovanju se mi zdi to velik konflikt interesov. Ko so mene prosili za predloge, sem bil šokiran.«
Gre namreč za evidenten konflikt interesov- seznam recenzentov oblikujejo tisti (vodje raziskovalnih programov), ki lahko tudi sami konkurirajo na razpisih. Obstaja torej možnost, da na seznam uvrstijo sebi bližnje oziroma naklonjene kolege.
Direktorica Dobnik odgovarja, da so v zbirko recenzentov vključeni (tudi) tisti iz tujine. Sicer pa da,
»ugotavljanje nasprotij interesov in ravnanje v tem primeru določa splošni akt o strokovnih telesih ARIS, ki se dosledno uporablja v vseh ocenjevalnih postopkih.«
Zanimalo nas je, ali se po mnenju Kostenka sredstva ARIS-a za raziskovalne projekte ne delijo po meritokratskih načelih zaradi pomanjkljivosti sistema, ali tudi zaradi klientelizma oziroma korupcije?
»Nedvomno je sistem velika težava, bil je vzpostavljen že davno in doslej ni bilo resnih sprememb ali izboljšav. Seveda to očitno ustvarja tudi možnosti za zlorabe.«
Gre za obliko protesta
Direktorica Dobnik pravi, da se postopki izvedbe javnih razpisov nadgrajujejo in da število prijav po letih narašča. A Kostenko ima dovolj – na razpise se več ne prijavlja, interakcije z ARIS je zmanjšal na minimum. Gre za obliko protesta.
»Po mojem mnenju bi moral biti ARIS zaskrbljen, da nekateri najmočnejši raziskovalci (v tem pogledu nisem edini) ne vidijo več smisla v prijavljanju na njihove razpise. Upam, da bo moja odločitev poslala močan signal ne le ARIS-u, temveč tudi znanstveni skupnosti v Sloveniji.«
Ne vidi namreč pripravljenosti za večje spremembe ne pri direktorici, ne pri znanstvenem svetu ARIS-a kot najvišjem strokovnem in svetovalnem organu (vodi ga dr. Slavko Splichal), ne pri ministrstvu za visoko šolstvo, znanost in inovacije.
In kaj je rezultat? Slabša znanost, kot bi sicer lahko bila.