Dirbtinio intelekto tyrėjai vis dažniau naudoja didelius kalbos modelius tam, kad įvertintų kitų dirbtinio intelekto sistemų atsakymų kokybę. Šis procesas vadinamas „LLM kaip teisėjas“. Tačiau paaiškėjo, kad tokie vertinimai dažnai tampa netikslūs, kai reikia įvertinti sudėtingas užduotis, ilgos apimties tekstų tikslumą, pažangų programavimą ar matematines užduotis.
Norėdami tai išspręsti, Kembridžo universiteto ir „Apple“ tyrėjai sukūrė naują sistemą, kuri pagerina AI teisėjų sprendimų kokybę pasitelkdama papildomus patikros įrankius. Ši sistema padeda įveikti tiek žmonių, tiek AI ribotumus. Žmonės dažnai daro klaidas dėl nuovargio, laiko trūkumo ar pasikliauja rašymo stiliumi, o ne faktų tikslumu. Tuo tarpu AI modeliai sunkiai susidoroja su kompleksinėmis užduotimis be papildomos pagalbos.
Sukurtas vertinimo agentas veikia kaip savarankiškas sprendimų priėmėjas. Jis įvertina, ar konkrečiam atsakymui reikia naudoti papildomus įrankius, ir pasirenka tinkamiausią. Kiekvienas vertinimas vyksta trimis etapais, pradinė srities analizė, įrankių naudojimas ir galutinis sprendimas.
Tikrinant faktus, sistema naudoja interneto paiešką, kad patvirtintų ar paneigtų pavienes teiginių dalis. Kodo tikrinimui naudojamas „OpenAI“ kodo vykdymo modulis, leidžiantis realiai patikrinti, ar pateiktas kodas veikia. Matematinėms užduotims taikomas specializuotas matematinis tikrintuvas, skirtas aritmetinių skaičiavimų ir formulių tikslumui vertinti.
Jei agentas nustato, kad jokie įrankiai nepravers, jis grįžta prie įprasto AI vertintojo. Taip išvengiama bereikalingo skaičiavimo ir sumažinamos klaidos atliekant paprastas užduotis.
Pasiekti rezultatai ir poveikis vertinimo tikslumui
Sistema ypač pasiteisino tikrinant ilgos apimties faktinius atsakymus, ji parodė žymiai didesnį atitikimą su tikrais duomenimis nei baziniai vertinimo metodai. Programavimo užduotyse rezultatai taip pat pagerėjo visose palyginamosiose sistemose. Matematikos srityje rezultatai buvo mišrūs, kai kur pasiekti geresni rezultatai, tačiau bendra atitiktis siekė apie 56 procentus.
Ypač įdomu tai, kad ilguose tekstiniuose atsakymuose AI vertintojo sprendimai dažnai sutapo su tiesa dažniau nei žmonių vertinimai. Tai rodo, kad naujasis metodas ne tik konkurencingas, bet kai kuriais atvejais ir pranašesnis už žmogaus gebėjimą objektyviai įvertinti atsakymą.
Ateities galimybės ir plėtra
Ši sistema sukurta taip, kad ateityje būtų galima ją dar labiau tobulinti integruojant naujus įrankius. Tyrėjai planuoja atverti šaltinio kodą ir paviešinti jį „Apple“ „GitHub“ platformoje. Tai leis ir kitiems kūrėjams prisidėti prie sprendimų tobulinimo bei kurti dar tikslesnes dirbtinio intelekto vertinimo sistemas.
Nors AI dar netobulas, šis žingsnis rodo, kad technologijos gali ne tik kurti turinį, bet ir vis geriau vertinti, ką pačios sukūrė. Toks požiūris gali pakeisti tiek mokymosi, tiek testavimo, tiek dirbtinio intelekto plėtros būdus visame pasaulyje.
