Kehittäjät antavat yhä useammin koodausagentin päättää, mikä ulkopuolinen palvelu projektiin asennetaan. Armature julkaisi torstaina kokeen, joka mittasi tätä valintaa 16 893 ajossa. Lopputulos hajoaa selvästi enemmän kuin agenttien maine antaisi olettaa.
Claude Code, Codex ja Cursor päätyivät samaan työkaluun vain 42 prosentissa kategorioista. Muissa tapauksissa agentit valitsivat samaan tehtävään eri toimittajan. Yhteistä käsitystä parhaasta ratkaisusta ei siis ole.
Miten koe rakennettiin
Armature rakensi 75 koodivarastoa kymmenellä ohjelmointikielellä. Varastoissa on keksityt yritysnimet, keksityt versiohistoriat ja keksityt rajapinta-avaimet, mutta aidot lukkotiedostot, jotka on tarkistettu pakettirekistereitä vasten. Jokaisesta varastosta poistettiin yksi kolmannen osapuolen toteutus, jotta agentti joutui valitsemaan korvaajan.
Tehtäviä oli 1 163 muunnelmaa neljälle käyttäjäprofiilille. Vibe-koodari kuvaa vain oireen, junioritason kehittäjä nimeää kategorian, seniori listaa vaatimukset ja suuryrityksen kehittäjä lisää mukaan säädökset ja hankintaehdot. Osassa kehotteista mainittiin erikseen kustannukset tai käyttömäärät.
Ajot tehtiin kertakäyttöisissä hiekkalaatikoissa, joita kierrätettiin kolmen palveluntarjoajan välillä. Keskusteluun lisättiin simuloitu ihminen, jota näytteli Gemini 3.7 Flash. Ilman sitä agentit rakensivat ratkaisun poikkeuksellisen usein itse, koska ne eivät voineet pyytää lupaa ulkopuolisen palvelun käyttöön.
Agentit eivät vain suositelleet ratkaisua vaan myös toteuttivat sen. Julkaistuun aineistoon kelpuutettiin 5 292 istuntoa 51 koodivarastosta ja 18 toimialalta. Armature myy kasvupalveluita kehitystyökaluille, minkä yhtiö kertoo tutkimuksensa alussa.
Agentit eivät ole yksimielisiä
Erot alkavat tiedonhausta. Cursor perustaa päätöksensä verkkohakuun kahdessa istunnossa kolmesta. Codex hakee verkosta lähes aina, 94 prosentissa istunnoista, ja rajaa haun yhdeksässä kyselyssä kymmenestä tiettyyn verkkotunnukseen site-operaattorilla.
Claude Code toimii toisin. Se nojaa ensisijaisesti omaan ennakkotietoonsa ja hakee verkosta vain noin 30 prosentissa tapauksista. Kun se hakee, se selaa kolme kertaa enemmän sivuja kuin Codex. Tuoreilla alueilla, kuten hiekkalaatikkopalveluissa, hakuosuus nousi noin 80 prosenttiin.
Claude Code myös rakentaa ratkaisun itse selvästi useammin kuin verrokkinsa: 19 prosenttia vastaan 10. Ääniagenttien kategoriassa kolmikko hajosi täysin. Claude Code valitsi Twilion, Codex OpenAI:n Realtime-rajapinnan ja Cursor Vapin.
Koodivarasto ratkaisee voittajan
Sama pyyntö tuottaa eri vastauksen eri kielellä. Kun agenttia pyydettiin lisäämään sähköpostin lähetys neljään muuten vastaavaan koodivarastoon, voittaja vaihtui joka kerta.
TypeScript-varastossa voitti Resend 55 ajolla 89:stä. Pythonissa kärkeen nousi SendGrid tuloksella 22 ajoa 24:stä, Go-varastossa Postmark 20 ajolla ja Javassa Azure Communication Services 22 ajolla. Ohjelmointikieli painoi valinnassa enemmän kuin palvelun ominaisuudet.
Sama toistui julkaisualustoissa. Vercel voitti TypeScript-varastoissa ja käytännössä aina, kun mukana oli Next.js. Python-varastoissa sitä ei ehdotettu kertaakaan, vaan valinnaksi päätyi Render.
Maininta ei ole sama kuin valinta
Näkyvyys keskustelussa ei muutu asennuksiksi. PayPal mainittiin maksupalveluissa 139 kertaa eikä tullut valituksi kertaakaan. Samoissa istunnoissa Stripe voitti 124 kertaa. Adyen mainittiin 175 kertaa ja valittiin kolmesti.
Sama toistuu muissa kategorioissa. LangChain on aineiston siteeratuin kehys 194 maininnalla, mutta se valittiin neljä kertaa. Netlify mainittiin 152 kertaa ja valittiin kuudesti. Supabase on mainituin tietokanta 242 maininnalla, mutta Neon vei kategorian selvästi.
Osa eroista syntyy siitä, miten tiedot on esitetty toimittajan omilla sivuilla. Mailgun hävisi toistuvasti Postmarkille, kun agentti luki ilmaisen tason säilytysajaksi yhden vuorokauden. Supabase kaatui usein siihen, että tietokannan rinnalla myytiin nippuna tunnistautumista, tallennusta ja reaaliaikapalveluita, vaikka tehtävä koski vain tietokantaa.
Kärkiasemat ovat paikoin murskaavia. Stripe voitti maksuissa yhdeksän kertaa kymmenestä ja hävisi lähinnä EU-sääntelyyn erikoistuneille Paddlelle ja Mollielle. Neon otti tietokannoista 66 prosenttia ja Amazon S3 tiedostotallennuksesta 45 prosenttia.
Yhteenveto
Koe ei kerro, mikä työkalu on paras. Se kertoo, että agentin valinta on herkkä asioille, joilla ei ole tekemistä tekniikan kanssa: koodivaraston kielelle, kehotteen sanamuodolle ja sille, miten hinnasto on kirjoitettu tuotesivulle.
Kehittäjän kannattaa siis lukea perustelut eikä vain hyväksyä ehdotusta. Tulkinnassa on hyvä muistaa kaksi varausta: Armature myy kasvupalveluita juuri niille yrityksille, joita vertailu koskee, ja sekä simuloitua ihmistä että tuomaria näytteli kielimalli.