Kuaishoun KwaiKAT-tiimi julkaisi KAT-Coder-V2.5:n, agenttikoodaukseen erikoistuneen mallin. Se johtaa PinchBench-vertailua pistein 94,9 ja ohittaa siinä Claude Opus 4.8:n, joka jää lukemaan 93,5.
Tiimin keskeinen väite ei kuitenkaan koske mallin kokoa. KwaiKAT esittää, että agenttikoodauksen pullonkaula on harjoitusympäristöissä eikä parametrien määrässä. Lähestymistapa poikkeaa selvästi viime kuukausien julkaisuista, joissa kilpailua on käyty ennen kaikkea parametrimäärillä.
Malli on saatavilla StreamLake-palvelun kautta, ja sen rinnalla julkaistiin avoin Dev-versio. Vertailut ajettiin yhtenäisellä Claude Code -agenttikehyksellä, mikä tekee luvuista keskinäisesti vertailukelpoisempia.
Ympäristöt ratkaisivat, ei mallin koko
Koodimalleja on perinteisesti harjoitettu tuottamaan yksittäisiä vastauksia staattisiin tehtäviin. KAT-Coder-V2.5 on koulutettu toimimaan oikeissa, suoritettavissa koodivarastoissa. Malli asentaa riippuvuudet, ajaa testit ja korjaa virheet samassa silmukassa.
Ero on olennainen agenttikäytössä. Kun malli saa palautteen oikeasta testiajosta, harjoittelu perustuu todennettuun lopputulokseen eikä arvioon koodin uskottavuudesta.
Käytännössä malli oppii koko työnkulun eikä vain sen lopputuotetta. Agentti joutuu selvittämään, miksi asennus kaatuu, mitä testi odottaa ja missä järjestyksessä korjaukset kannattaa tehdä. Nämä vaiheet puuttuvat kokonaan, jos harjoitusaineisto koostuu valmiista koodinpätkistä.
Lopputuloksena syntyi yli 100 000 todennettua ympäristöä kahdellatoista ohjelmointikielellä. Monikielisyys on agenttikoodauksessa olennaista, koska rakennusjärjestelmät ja testikäytännöt vaihtelevat kielittäin voimakkaasti. Aineiston rakentaminen oli KwaiKATin mukaan työn varsinainen ydin.
KwaiKAT kuvaa lähestymistapaa nimenomaan infrastruktuurityönä. Mallin arkkitehtuuriin ei tehty poikkeuksellisia muutoksia, vaan panostus kohdistui siihen, millaisessa ympäristössä malli harjoittelee ja miten sen suoritukset todennetaan.
AutoBuilder nosti onnistumisprosentin 57:ään
Ympäristöjen pystyttäminen automatisoitiin AutoBuilder-nimisellä järjestelmällä. Rakennusagentti analysoi koodivaraston ja kirjoittaa skriptin, joka asentaa riippuvuudet ja ajaa testit puhtaalta pohjalta. Erillinen todennusagentti suorittaa skriptin eristetyssä hiekkalaatikossa.
Ilman tätä koneistoa vain 16,5 prosenttia koodivarastoista saatiin toimimaan. Valmiin perusympäristön, rakennusjärjestelmien mallipohjien ja haettavan reseptikirjaston jälkeen osuus nousi 57,2 prosenttiin.
Reseptikirjasto on ratkaisun kiinnostavin osa. Kun jokin projektityyppi on kerran saatu rakentumaan, ohje talletetaan ja haetaan uudelleen käyttöön seuraavassa samankaltaisessa varastossa. Menetelmä muistuttaa enemmän kokemuksen kertymistä kuin yksittäisen skriptin kirjoittamista.
Rakennusvaiheen automatisointi on myös toistettavuuden kannalta olennaista. Kun ympäristö syntyy skriptistä, sama koodivarasto voidaan pystyttää identtisenä uudelleen jokaisella harjoituskierroksella.
Luku kertoo myös, miten hankalaa mielivaltaisen avoimen lähdekoodin projektin saaminen ajokuntoon on. Yli 40 prosenttia varastoista jää edelleen menetelmän ulkopuolelle.
Hiekkalaatikon viat vääristivät oppimista
Vahvistusoppimisessa malli palkitaan onnistuneesta tehtävästä. Jos suoritusympäristö kaatuu omiin vikoihinsa, malli saa rangaistuksen työstä, jonka se teki oikein.
KwaiKAT tarkasti harjoituspolkunsa ja havaitsi, että noin 16 prosenttia epäonnistumisista johtui hiekkalaatikosta eikä mallin toiminnasta. Korjausten jälkeen osuus painui alle kahden prosentin.
Ongelma on salakavala, koska se ei näy mallin tuloksissa vaan sen oppimissignaalissa. Malli voi päätyä välttelemään toimintatapoja, jotka epäonnistuivat pelkästään ympäristön vian takia.
Havainto on hyödyllinen kenelle tahansa agenttien harjoittelua rakentavalle. Kohinainen ympäristö opettaa mallille vääriä asioita hiljaa, ilman että vika näkyy vertailuluvuissa. Pudotus 16 prosentista alle kahteen kertoo, kuinka suuri osa harjoittelusta oli aiemmin hukkaan heitettyä.
Avoin Dev-versio on eri malli
Palveltu lippulaivamalli on saatavilla StreamLake-alustan kautta. Sen rinnalla julkaistiin avoimin painoin KAT-Coder-V2.5-Dev Hugging Facessa Apache 2.0 -lisenssillä.
Kyseessä ei kuitenkaan ole sama malli pienennettynä. Dev-versio on erillinen 35 miljardin parametrin MoE-malli, josta aktivoituu kolme miljardia kerrallaan. Se on jatkokoulutettu Qwen3.6-pohjalta 127 000 esimerkillä.
Pohjana on siis toisen laboratorion julkaisema malliperhe. Avoimen ekosysteemin kerrostuminen näkyy tässä konkreettisesti: uusi julkaisu rakentuu aiemman avoimen työn päälle.
Dev-version tulokset on mitattu eri protokollalla, joten ne eivät ole vertailukelpoisia lippulaivan lukuihin. Ero kannattaa pitää mielessä, jos avoin versio valitaan vertailutaulukon perusteella.
Avoin julkaisu on silti merkittävä. Apache 2.0 -lisenssi sallii kaupallisen käytön ilman erillisiä ehtoja, ja 35 miljardin parametrin koko tekee mallista ajettavan huomattavasti vaatimattomammalla raudalla kuin lippulaivasta.
Yhteenveto
KAT-Coder-V2.5:n kiinnostavin anti ei ole vertailutaulukon kärkisija. Se on väite, jonka mukaan agenttikoodauksen kehitys on tällä hetkellä ennen kaikkea infrastruktuuriongelma.
Voitto Opus 4.8:sta on kapea mutta konkreettinen näyttö. SWE-Bench Prossa malli jää toiseksi lukemalla 65,2, kun kärki on 69,2. Kärkisija ei siis ole yleinen vaan koskee yhtä vertailua.
Jos väite pitää paikkansa, kilpailuetu siirtyy mallien koosta harjoitusympäristöjen laatuun. Se olisi hyvä uutinen pienemmille tiimeille, joilla ei ole varaa suurimpiin koulutusajoihin.