Kiinalainen DeepSeek julkaisi tiistaina DeepInferin, päättelykehyksen, jolla yhtiö pyörittää omia laajoja tuotantopalvelujaan. Koodi on avattu GitHubissa Apache 2.0 -lisenssillä, joka sallii myös kaupallisen käytön ja muokkaamisen. Ensimmäinen versio tukee DeepSeek-V4.1-Flash-mallia.
Julkaisu nousi nopeasti Hacker Newsin etusivun kärkeen yli 2 000 pisteellä. Kiinnostus on ymmärrettävää, sillä tekoälyyhtiöt suojaavat yleensä tarkasti menetelmiä, joilla ne painavat mallien ajokustannuksia alas. DeepSeekin mukaan tavoitteena on auttaa yhteisöä laskemaan laskentakuluja ja energiankulutusta.
Mitä DeepInfer sisältää
DeepInfer on rakennettu alun perin vLLM-kehyksen pohjalle, ja vaikutteita on haettu myös SGLangista ja Nvidian TensorRT-LLM:stä. Ytimessä ovat DeepSeekin aiemmin avaamat laskentaytimet, kuten FlashMLA, DeepGEMM ja DeepEP, sekä TileLang-kielellä kirjoitetut omat ytimet.
Kehys jakaa laskennan usealle kiihdyttimelle. Huomiokerroksissa käytetään datarinnakkaisuutta ja kontekstin jakamista, ja Mixture of Experts (MoE) -kerroksissa asiantuntijat hajautetaan laitteille kuormaa tasaten. Asynkroninen ajoitus limittää prosessorin eräsuunnittelun ja kiihdyttimen laskennan, jotta laitteisto ei odota turhaan.
Dekoodausta nopeuttaa DSpark-menetelmä. Siinä malli tuottaa luonnostokeneita, ja varmuusarvioiden perusteella päätetään, milloin luonnokset tarkistetaan. Lisäksi kehys tukee rakenteisia vastauksia, jotka voidaan rajata säännöllisellä lausekkeella, JSON-skeemalla tai EBNF-kieliopilla.
Kehittäjille kiinnostava ominaisuus on deterministinen näytteenotto. Sama syöte ja samat parametrit tuottavat täsmälleen saman tuloksen riippumatta siitä, mitä muita pyyntöjä samassa erässä ajetaan. Tämä helpottaa testausta ja virheiden jäljittämistä, mutta toimii toistaiseksi vain Nvidian laitteilla.
Nvidia ja Huawei samassa julkaisussa
Tuettuja laitteistoja on kaksi: Nvidian SM100-sukupolven grafiikkasuorittimet ja Huawein Ascend 950 -neuroprosessorit. Nvidia-puolella vaaditaan CUDA 13 ja Ascendilla Huawein CANN 9.2. Molemmissa tarvitaan Linux, GCC 13 ja Python 3.12.
Huawei-tuki ei ole sattumaa. DeepSeek kertoi viime kuussa kumppanuudesta Huawein kanssa Ascend-sirujen ohjelmointityökalujen kehittämiseksi. Yhtiö avasi tuolloin kuusi ohjelmistomoduulia Ascend-alustalle, mukaan lukien Ascend 950:lle sovitetun TileLang-version.
DeepSeek julkaisi suorituskykykäyrät vain Nvidia-laitteistolta. Esitäyttöä mitattiin neljällä ja dekoodausta 64 SM100-suorittimella. Ascend-luvut puuttuvat, eikä kukaan ulkopuolinen ole vielä toistanut mittauksia.
Kahden alustan tuki on viesti myös markkinoille. Yhdysvaltain vientirajoitukset rajoittavat Nvidian kärkisirujen saatavuutta Kiinassa, joten kotimaiset vaihtoehdot ovat kiinalaisille laboratorioille strateginen kysymys. Saman koodipohjan ajaminen molemmilla alustoilla vähentää riippuvuutta yhdestä toimittajasta.
Valmis moottori, ei valmis palvelu
DeepSeek on avoin julkaisun rajoista. DeepInfer tarjoaa offline-päättelyn eli eräajon, ei verkkorajapintaa, jonka kautta sovellukset voisivat lähettää kyselyjä reaaliajassa. Mallituki rajoittuu toistaiseksi V4.1-Flashiin.
Täydestä palvelusta puuttuu kolme osaa. Mukana ei ole KV-välimuistijärjestelmää, joka tallentaa aiemmin laskettuja huomiotiloja. Esitäytön ja dekoodauksen erottelu eri koneille sekä kuormantasaus datarinnakkaisten kopioiden välillä on myös jätetty pois.
Käytännössä DeepInfer on moottori, jonka ympärille palvelutiimin on rakennettava loput itse. Suurin osa erottelun vaatimasta moottoritoiminnallisuudesta on DeepSeekin mukaan jo toteutettu, mutta niitä yhdistävä infrastruktuuri jää käyttäjän vastuulle.
Rajaus on linjassa DeepSeekin aiemman viestinnän kanssa. Yhtiö kertoi jo vuonna 2025, että sen sisäinen moottori on tiukasti sidottu omaan infrastruktuuriin eikä pieni tiimi pysty ylläpitämään laajaa avoimen koodin projektia. Nyt julkaistu versio on rajattu kokonaisuus, jonka ylläpito pysyy hallittavana.
Mitä julkaisu merkitsee alalle
Bloombergin mukaan julkaisu paljastaa menetelmät, joilla DeepSeek pitää kehittyneiden mallien ajokustannukset kurissa. Pilvipalvelut, jotka tarjoavat DeepSeekin malleja, voivat nyt ottaa samat keinot käyttöön. Saman mallin ajohinta voi vaihdella paljon pelkästään ajo-ohjelmiston mukaan.
Vaikutus ulottuu DeepSeekin omia malleja laajemmalle. Kehyksen koodi on luettavissa, ja muiden mallien kehittäjät voivat lainata siitä yksittäisiä tekniikoita omiin järjestelmiinsä. Esimerkiksi eräinvariantti päättely ja luonnostokenien varmuusohjattu tarkistus ratkaisevat ongelmia, jotka koskevat kaikkia suurten mallien ajajia.
Tavallinen kehittäjä ei DeepInferiä omalla koneellaan aja, sillä vaatimuksena on datakeskusluokan laitteisto. Hyöty näkyy välillisesti, jos palveluntarjoajat pystyvät laskemaan DeepSeek-mallien rajapintahintoja.
Paketin mukana tulee myös arviointityökalu, jolla V4.1-Flashin tuloksia voi toistaa AIME 2026-, HLE- ja GPQA Diamond -testeissä. Generointi ja pisteytys on erotettu toisistaan, joten tulokset voi pisteyttää uudelleen esimerkiksi toisella arvioijamallilla ilman uutta ajoa.
Yhteenveto
DeepInfer avaa harvinaisen näkymän siihen, miten suuri tekoälylaboratorio ajaa mallejaan tuotannossa. Kehys sisältää rinnakkaistuksen, nopeutetun dekoodauksen ja determinismin, mutta palvelun kannalta keskeiset osat puuttuvat vielä.
Avoimeksi jää, kuinka suuria säästöjä kehys tuo käytännössä. Riippumattomat mittaukset ja Ascend-luvut ratkaisevat, nouseeko DeepInfer vLLM:n ja SGLangin rinnalle vai jääkö se ensisijaisesti DeepSeekin omien mallien erikoistyökaluksi.