NVIDIA laajensi Nemotron 3 -malliperhettään Nemotron 3.5 Lightningilla. Malli on suunniteltu pitkiin agenttiajoihin, joissa sama järjestelmä tekee suuren määrän pieniä tehtäviä peräkkäin. Samalla yhtiö julkaisi NeMo Switchyardin, avoimen kirjaston mallien väliseen reititykseen.
Julkaisu jatkaa Nemotron 3 Nanon linjaa. NVIDIAn kehittäjäblogin mukaan kyse on nimenomaan suoritustasosta: siitä mallista, joka tekee agenttityönkulun rutiinivaiheet, ei siitä, joka suunnittelee ne. Jako muistuttaa arkkitehdin ja toteuttajan työnjakoa.
Kaksi julkaisua kuuluvat yhteen. Nopeasta mallista on hyötyä vain, jos työnkulku osaa ohjata sille oikeat tehtävät. Switchyard on se osa, joka tekee valinnan ajon aikana.
MoE-arkkitehtuuri pitää laskennan pienenä
Lightning on 30 miljardin parametrin Mixture of Experts (MoE) -malli, jossa aktiivisia parametreja on kerrallaan 3 miljardia. Reititin ohjaa kunkin tokenin vain muutamalle asiantuntijalle. Näin malli saa suuremman mallin kapasiteetin pienen laskentakustannuksen hinnalla.
NVIDIA kertoo mallin tuottavan tokeneita jopa nelinkertaisella nopeudella verrattuna samankokoisiin malleihin. Agenttitehtävien läpivienti nopeutuu yhtiön mittauksissa noin 30 prosenttia. PinchBench-vertailussa ero syntyi vastaavalla tarkkuudella. Mittarina on siis valmistunut työ, ei pelkkä tokenien tuottonopeus.
Nopeus perustuu osin spekulatiiviseen dekoodaukseen. Malli ennustaa useita tokeneita kerralla, ja ennusteet tarkistetaan kevyesti jälkikäteen. Monitokenennuste rakennettiin sisään jo esikoulutusvaiheessa. Mukana toimitetaan lisäksi kaksi luonnosmallia, DFlash ja DSpark, eri rinnakkaisuustasoille.
Mallia koulutettiin myös suoraan yleisimpiä agenttikehyksiä vasten. NVIDIAn mukaan se tekee työkalukutsuista tarkempia ja pienentää viivettä suurissa kutsumäärissä. Artificial Analysis -indeksin tarkkuus- ja nopeusvertailussa malli asettuu luokkansa Pareto-rintamalle.
Switchyard reitittää tehtävät mallien välillä
NeMo Switchyard on avoimen lähdekoodin kirjasto, joka valitsee jokaiselle agenttityönkulun vaiheelle sopivimman mallin. Reititys tapahtuu automaattisesti eikä vaadi sovelluksen uudelleenkirjoitusta. Kirjasto asettuu olemassa olevan koodin ja mallien väliin.
Kehittäjä voi virittää reititysalgoritmin omien prioriteettiensa mukaan. Painotus voi olla laadussa, viiveessä tai kustannuksessa. Käytännössä suunnitteluvaiheet ohjataan järeämmälle mallille ja suoritusvaiheet Lightningin kaltaiselle nopealle mallille. NVIDIA kuvaa tätä tokenien käytön tehostamisena.
Kirjasto toimii avointen, suljettujen ja NVIDIAn omien mallien yli. Se on olennaista yrityksissä, joissa mallivalikoima on jo valmiiksi sekoitus useaa toimittajaa. Reitityssäännöt voi päivittää koskematta agentin logiikkaan. Switchyard löytyy GitHubista ja on tulossa kumppanialustoille.
Ajatus ei ole uusi, mutta toteutus on tähän asti ollut jokaisen tiimin oma viritys. Valmis ja avoin kirjasto siirtää mallivalinnan sovelluskoodista infrastruktuuritasolle. Se tekee vaihtoehtojen vertailusta halvempaa myös jälkikäteen.
Avoimet painot ja ajo omalla laitteistolla
NVIDIA julkaisee painot, koulutusdatan ja reseptit OpenMDW-1.1-lisenssillä. Mukana tulee myös Nemotron-RL-Agentic-Terminal-Pivot, vahvistusoppimisen aineisto, jolla malli jälkikoulutettiin koodausagentin kyvykkyyksiin. Avoin data mahdollistaa jäljitettävyyden ja auditoinnin.
Malli toimitetaan NVFP4- ja BF16-tarkkuuksina. Sama tiedosto ajaa konesalissa ja työpöydällä. Tuettuja alustoja ovat muun muassa NVIDIA Jetson, GeForce RTX 5090 ja DGX Spark. Kvantisointi käyttää samoja ytimiä kuin perheen suurin malli.
Paikallinen ajo ratkaisee myös tietosuojakysymyksiä. Suuret määrät rutiinikutsuja voi pitää oman verkon sisällä ja ohjata vain vaativimmat vaiheet ulkopuoliselle mallille. Yhdessä Switchyardin kanssa tästä tulee konfiguraatiokysymys eikä arkkitehtuuriremontti.
Painot löytyvät Hugging Facesta, ModelScopesta ja OpenRouterista. Lisäksi malli on saatavilla build.nvidia.com-palvelusta NIM-mikropalveluna. Jakelukanavien määrä kertoo, että NVIDIA tavoittelee mallille käyttöä myös oman ekosysteeminsä ulkopuolella.
Agenttipino ja kumppanien rooli
Lightning on suunniteltu ajettavaksi valmiiden agenttikehysten sisällä. NVIDIA mainitsee tuetuiksi muun muassa OpenClaw- ja Hermes Agent -harnessit. Niitä tukee NemoClaw, yhtiön avoin tietoturva- ja hallintapino jatkuvasti käynnissä oleville agenteille.
Malli syntyi Nemotron-koalition myötävaikutuksella. Jäsenet toimittivat arviointimenetelmiä, päättelyohjelmistoa ja aineistoja. NVIDIA kertoo julkaisevansa koulutusdataa ja -tekniikoita niin laajasti kuin lisensointi sallii.
Yhdistelmä on kilpailullisesti kiinnostava. Avoin malli, avoin reititin ja avoin hallintapino tekevät NVIDIAn laitteistosta luontevan valinnan ilman, että ohjelmisto lukitsee asiakkaan yhteen toimittajaan. Sama logiikka on toistunut yhtiön aiemmissa avoimissa julkaisuissa.
Käytännössä tämä laskee kokeilun kynnystä. Tiimi voi ottaa mallin käyttöön olemassa olevaan harnessiin ilman, että agentin logiikkaa kirjoitetaan uusiksi.
Yhteenveto
Nemotron 3.5 Lightning ei kilpaile huippumallien kanssa älykkyydessä, eikä sen ole tarkoituskaan. Se on rakennettu siihen osaan agenttityönkulkua, jossa kutsuja on paljon ja jokainen säästetty sekunti kertautuu.
Switchyard on julkaisun kiinnostavampi puolisko. Se tekee mallivalinnasta ajonaikaisen päätöksen sen sijaan, että valinta lukittaisiin sovelluskoodiin. Yrityksille, jotka ajavat useaa mallia rinnakkain, se on käytännöllisempi uutinen kuin uusi malli sinänsä.
Yhdessä julkaisut kuvaavat suuntaa, johon agenttijärjestelmät ovat menossa. Yhden mallin sijaan käytössä on portaikko, jossa jokainen vaihe ajetaan halvimmalla riittävän hyvällä vaihtoehdolla.