NVIDIA julkaisi perjantaina tutkimuksen, joka siirtää huomion tekoälymallista sen ympärille rakennettuun ohjelmistokerrokseen. Tutkijat saivat Claude Opus 5:n suoriutumaan ARC-AGI-3-vertailutestistä täydellisesti pelkästään vaihtamalla harnessin. Ilman räätälöityä harnessia sama malli ylsi 30 prosenttiin.
Tulos on huomionarvoinen, koska 30 prosenttia oli testin paras tulos kaikista mitatuista malleista. Malli ei siis muuttunut. Muuttui vain se koneisto, joka syöttää mallille kontekstia, hallitsee muistia ja päättää, mitä työkaluja se saa käyttää. TechCrunch uutisoi tutkimuksesta ensimmäisenä.
Havainto osuu hetkeen, jossa agenttien luotettavuus pitkissä tehtävissä on alan keskeisimpiä avoimia ongelmia.
Harness on se osa, joka tekee mallista agentin
Harness tarkoittaa ohjelmistokuorta mallin ympärillä. Se pitää sisällään työkalut, muistinhallinnan ja säännöt, joiden mukaan malli saa toimia. Ilman tätä kerrosta kielimalli vain vastaa kysymykseen ja unohtaa kaiken.
NVIDIAn tekoäly-yksikön tuotejohtaja Adel El Hallak kuvaa yleistä väärinkäsitystä suoraan. Hänen mukaansa maailma tulkitsee agentin lähes mallin rajapinnaksi. Todellisuudessa agentti on malli, sen ympärillä oleva rakennusteline, ajoympäristö sekä ne taidot ja kirjastot, joihin sille annetaan pääsy.
Ero korostuu pitkissä tehtävissä. Pitkä tehtävä vaatii kymmenien tai satojen päätösten ketjuttamista, joskus päivien ajan. Juuri siinä malli tyypillisesti eksyy, ja juuri siinä harnessin muistinhallinta ratkaisee.
Ongelma on dokumentoitu laajasti. Microsoft testasi huhtikuussa 19 kielimallia pitkissä dokumenttien muokkaustehtävissä. Kaikki mallit, myös kärkimallit, täyttivät dokumentit virheillä.
Valvojaagentti pitää suorituksen kurssissa
NVIDIAn tutkijat rakensivat oman harnessin nimeltä Agentic Variation Operators eli AVO. Sen tärkein lisä ei ollut parempi työkalulista vaan erillinen valvova komponentti.
El Hallak vertaa valvojaa toimitusjohtajaan. Se tönäisee varsinaista työtä tekevää agenttia oikeaan suuntaan, kun tämä ajautuu sivuraiteille. Valvoja puuttuu peliin myös silloin, kun agentti alkaa tutkia umpikujaan johtavaa polkua tai palaa jo kertaalleen kuljettuun reittiin.
Ajatus valvovasta agentista ei sinänsä ole uusi. Käytännössä useimmat agenttien käyttäjät nojaavat kuitenkin yhteen ainoaan kerrokseen, kuten Claude Codeen, Codexiin tai Hermekseen. NVIDIAn tulos on ensimmäinen, joka vie ARC-AGI-3:n täysiin pisteisiin.
Testin valinta ei ole sattumaa. ARC-AGI-3 koostuu kaksiulotteisista peleistä, joihin ei anneta ohjeita. Malli joutuu päättelemään säännöt ja voittotavan itse, kuten ihminen tekisi. Täydet pisteet tarkoittavat, että kone selviää peleistä yhtä hyvin kuin ihminen.
Sama havainto toistuu OpenAI:lla ja Databricksillä
NVIDIA ei ole yksin havaintonsa kanssa. OpenAI teki oman tutkimuksensa viime kuussa, kun sen mallit jäivät ARC-AGI-3:ssa alle kymmeneen prosenttiin. Kahden harness-asetuksen säätäminen kolminkertaisti tuloksen.
Yksikään OpenAI:n malleista ei silti päässyt lähelle täysiä pisteitä. Ero NVIDIAn tulokseen selittyy tutkijoiden mukaan nimenomaan valvojakomponentilla.
Databricks julkaisi heinäkuussa tutkimuksen, joka lähestyy samaa asiaa kustannusten kautta. Yhtiön toimitusjohtaja Ali Ghodsi kertoi TechCrunchille, että sama malli eri harnessilla voi tuottaa merkittävästi erilaisen laskun. Väärä harness voi kaksinkertaistaa kustannukset, vaikka malli pysyy samana.
Kolme erillistä tutkimusta osoittaa siis samaan suuntaan. Mallin valinta vaikuttaa, mutta se on pienempi osa agenttijärjestelmää kuin yleisesti oletetaan.
Mitä tämä tarkoittaa agenttien rakentajille
NVIDIAn viesti on, että avoimet harnessit antavat käyttäjälle enemmän säätövaraa kuin useimmat tajuavat. Yhtiö ei julkistanut uutta tuotetta. Se tarjoaa harnessien rakennuspalikoita Nemo-brändin alla, osin kaupallisina ja osin avoimesti saatavilla.
El Hallakin mukaan avoin agenttipino, jossa käyttäjä hallitsee harnessia, infrastruktuuria ja ajoympäristöä, on edellytys koko ekosysteemin turvalliselle kehitykselle. Hän kytkee asian myös siihen, että OpenAI on hidastanut malliensa koulutusta tietoturvasyistä.
Käytännön johtopäätös on selvä. Jos agentti ei suoriudu pitkästä tehtävästä, kalliimpaan malliin vaihtaminen ei välttämättä auta. Muistinhallinnan korjaaminen ja valvovan kerroksen lisääminen voi tuottaa suuremman hyödyn pienemmällä hinnalla.
Myös kustannuspuoli kannattaa mitata erikseen. Databricksin havainto tarkoittaa, että harnessin vaihto voi laskea agenttiajon hintaa ilman että laatu kärsii.
Yhteenveto
NVIDIAn tutkimus siirtää painopisteen mallien vertailusta niiden ympärillä olevaan koneistoon. Claude Opus 5 nousi 30 prosentista sataan ilman, että itse malliin koskettiin.
Agenttien rakentajille tämä tarkoittaa, että harness kannattaa nostaa yhtä tärkeäksi valinnaksi kuin malli. Muistinhallinta ja valvova komponentti ovat konkreettisia paikkoja, joista kannattaa aloittaa.