Institute of Foundation Models julkaisi K2 Horizonin, kuuden mallin kokonaisuuden, joka kattaa kokoluokat 0,9 miljardista parametrista 375 miljardiin. Julkaisu tapahtui 3. syyskuuta. Kaikki kuusi mallia ovat saatavilla Apache 2.0 -lisenssillä.
Erikoista ei ole mallien määrä vaan se, mitä niiden mukana tuli. Abu Dhabissa toimiva tutkimuslaitos avasi painojen lisäksi koulutuskoodin, datan rakennusohjeet, välitarkistuspisteet ja koulutuslokit. Laitoksen mukaan kyseessä on tähän mennessä kattavin avoin mallijulkaisu.
Kuusi mallia kellosta konesaliin
Mallikokoelma on suunniteltu yhtenäiseksi perheeksi. Pienin, 0,9 miljardin parametrin malli on tarkoitettu erittäin rajattuihin ympäristöihin, kuten älykelloihin ja silmälaseihin. Kvantisoituna se mahtuu laitteisiin, joissa muistia on niukasti.
Kokoluokat 3,7 ja 7 miljardia parametria on suunnattu puhelimiin ja muihin päätelaitteisiin. Tiheä 32 miljardin malli ja harva 36 miljardin MoE-malli sopivat työasemille ja omalle palvelimelle. Suurin, 375 miljardin parametrin malli aktivoi kerrallaan noin 23 miljardia parametria.
Kaikki kuusi jakavat saman arkkitehtuurin, sanaston, koulutusmenetelmän ja käyttöliittymän. Vain pienimmällä mallilla on suppeampi sanasto. Yhtenäisyys helpottaa siirtymistä koosta toiseen ja työn reitittämistä eri malleille.
Kokoluokkien kirjo on julkaisun ydin. Sama perhe kattaa laitteet, joissa laskentatehoa on murto-osa, ja konesalit, joissa sitä on runsaasti. Aiemmin vastaava on vaatinut eri toimittajien mallien yhdistelemistä.
Koko koulutuksen kulku on julkinen
Avoimet mallit julkaistaan yleensä vain lopullisina painoina. Käyttäjä voi ajaa mallia, mutta ei nähdä, miten siitä tuli sellainen kuin se on. IFM valitsi toisin.
Jokaisesta K2 Horizon -mallista julkaistaan koulutusdata tai sen rakennusohje, koulutuskoodi, konfiguraatiot, välitarkistuspisteet, yksityiskohtaiset lokit ja arviointitulokset. Datajoukot julkaistaan omilla lisensseillään, kuten ODC-BY. Kun aineistoa ei voi jakaa eteenpäin, laitos kertoo miten se koottiin.
Laitoksen mukaan K2 Horizon on ensimmäinen avoin malliperhe, joka avaa myös agenttivaiheen jälkikoulutuksen. Se tarkoittaa, että päättelyn, työkalujen käytön ja suunnittelun syntyä voi seurata vaihe vaiheelta. Menetelmät voi myös toistaa ja siirtää uusiin ympäristöihin.
Perustelu on suoraviivainen. Läpinäkyvä malli, joka jää kauas kärjestä, on tutkimukselle vähäarvoinen. Vahva malli, josta julkaistaan vain painot, taas kertoo pelkän lopputuloksen.
MoVA nostaa pienten mallien tulokset
Kokoluokissa 0,9, 3,7 ja 7 miljardia parametria K2 Horizon asettuu laitoksen mittauksissa oman sarjansa kärkeen matematiikassa, päättelyssä, koodauksessa ja agenttitehtävissä. Pienin malli ylittää AIME 2026 -testissä 48 pisteen rajan.
36 miljardin parametrin mallissa on uusi Mixture of Value Attention (MoVA) -mekanismi. Se laskee attention-arvot harvasti, jolloin malli aktivoi vain neljä miljardia parametria kerrallaan. Laitoksen mukaan tulos ylittää selvästi sen, mitä aktiivisten parametrien määrä antaisi odottaa.
Suurin malli sijoittuu laitoksen mittauksissa parhaiden joukkoon alle 400 miljardin parametrin sarjassa yleisessä osaamisessa, päättelyssä, koodauksessa ja agenttityössä. Vertailuissa käytetyt asetukset on kuvattu julkaisussa, mikä on avoimissa vertailuissa harvinaista.
Rajansa mallit silti kohtaavat. Laitos kertoo suoraan, että TerminalBenchin kaltaiset tehtävät, joissa vaaditaan pitkää tutkimista ja toistuvaa virheistä palautumista, ovat pienimmille malleille yhä vaikeita.
Mitä tämä tarkoittaa kehittäjille
Mallit ovat ladattavissa Hugging Facesta ja käytettävissä heti vLLM:llä, SGLangilla ja Ollamalla. Rajapinta on tarjolla laitoksen kumppanien kautta, joihin kuuluvat Compass, Cerebras ja Nebius. Tuettuja laitealustoja ovat NVIDIA, AMD ja Cerebras.
Kaikissa kuudessa mallissa on kvantisointituki. Käytännössä prototyypin voi rakentaa pienimmällä mallilla ja siirtää saman rajapinnan taakse suurimpaan, kun työ kasvaa.
Kiinnostavin osa on kuitenkin välitarkistuspisteissä. Ne antavat mahdollisuuden jatkokouluttaa malli halutusta vaiheesta eteenpäin sen sijaan, että lähtökohtana olisi valmis loppupiste. Omalle toimialalle räätälöity malli ei siis vaadi aloittamista alusta.
Mallien lisenssi on Apache 2.0, joten kaupallinen käyttö on sallittua. Datajoukot noudattavat omia lisenssejään, mikä kannattaa tarkistaa erikseen ennen jatkokoulutusta.
Yhteenveto
K2 Horizon ei ole pelkkä mallijulkaisu vaan koulutusprosessin avaus. Kuusi mallia kattaa kokoluokat kellosta konesaliin, ja jokaisen taustalla oleva työ on tarkistettavissa.
Riippumattomia vertailuja ei vielä ole, ja esitetyt tulokset ovat laitoksen itsensä mittaamia. Julkaistun aineiston laajuus tekee niiden tarkistamisesta kuitenkin poikkeuksellisen helppoa.