AMD ilmoitti torstaina ostavansa torontolaisen sirustartupin Taalasin. Yhtiö valmistaa piirejä, joihin tekoälymallin painot syövytetään suoraan piihin. Kauppa julkistettiin pörssipäivän päätteeksi, eikä AMD kertonut kauppahintaa.
The Registerin mukaan kyseessä on aito yrityskauppa eikä pelkkä osaajien rekrytointi. AMD hakee kaupalla vastausta Nvidian hallitsevaan asemaan tekoälylaitteistoissa. Asetelma muistuttaa Nvidian ja Groqin joulukuista 20 miljardin dollarin lisenssisopimusta. Tavoite on sama: tehdä agenttien ja koodiavustajien käyttämästä päättelystä nopeampaa ja halvempaa.
Mallin painot poltetaan piihin
Taalas perustettiin vuonna 2023, ja se toimii Torontossa. Sen lähestymistapa poikkeaa jyrkästi tavallisista näytönohjaimista. Se eroaa myös Groqin LPU-piirien ja Cerebraksen kiekkokokoisten kiihdyttimien dataflow-arkkitehtuureista.
Taalasin piirit eivät säilytä mallin painoja HBM-muistissa lainkaan. Painot syövytetään suoraan piihin. Käytännössä kyse on mallikohtaisista sovelluspiireistä, joita yhtiö kutsuu lyhenteellä MSIC (model-specific integrated circuit).
Yhtiö on ollut poikkeuksellisen vaitonainen tekniikan yksityiskohdista. Julki on kerrottu, että piiri jakautuu kahteen alueeseen. Mask-ROM-alueelle syövytetään mallin painot, ja SRAM-alueella säilytetään KV-välimuisti sekä hienosäätöadapterit.
Ero tavanomaiseen kiihdyttimeen on periaatteellinen. Näytönohjain hakee painot muistista jokaista tokenia varten, mikä syö sekä aikaa että energiaa. Taalasin piirissä painot ovat jo valmiiksi siinä kohdassa, jossa laskenta tapahtuu.
Nopeus on mitattu, ei vain luvattu
Tekniikka ei ole jäänyt kalvoesitykseksi. Taalas esitteli helmikuussa ensimmäisen testipiirinsä HC1:n, joka valmistettiin TSMC:n 6 nanometrin prosessilla.
Ensimmäisissä mittauksissa HC1 syötti Metan Llama 3.1 8B -mallia 16 960 tokenin sekuntivauhdilla. Julkistushetkellä luku oli 48-kertainen Nvidian näytönohjaimiin ja 8,5-kertainen Cerebraksen kiihdyttimiin verrattuna.
Llama 3.1 on nykymittapuulla vanha malli, sillä se julkaistiin vuoden 2024 puolivälissä. Retikkelin kokoinen piiri oli tarkoitettukin vain konseptin todistamiseen. Toisen sukupolven HC2-piiri on määrä saada ulos tänä kesänä, ja siinä parametrimäärä nousee 20 miljardiin.
Kaksikymmentä miljardia parametria ei kuulosta paljolta. Painot voidaan kuitenkin jakaa usealle kiihdyttimelle liukuhihnarinnakkaisuudella, aivan kuten näytönohjaimillakin. Biljoonan parametrin malli tarvitsisi tällöin noin 50 kiihdytintä.
Tämän luokan nopeudella on suora vaikutus agenttityökuormiin. Koodiavustaja, joka käy läpi kymmeniä työvaiheita peräkkäin, odottaa suurimman osan ajasta tokenien valmistumista. Kun tuotto kymmenkertaistuu, muuttuu myös se, millaisia tehtäviä agentin kannattaa yrittää ratkaista itsenäisesti.
Lukittu malli on tekniikan hinta
Nopeudella on selvä kääntöpuoli. Kun piirit on kertaalleen asennettu, käytössä oleva malli on lukittu.
Mitä tahansa LoRA-adapteria suurempi muutos vaatii piirin uudelleensuunnittelun. Se on sekä kallista että hidasta. Neljä vuotta kestäneessä tekoälybuumissa uusia malleja ilmestyy lähes kuukausittain.
Taalasin mukaan tilanne ei ole aivan niin paha kuin miltä se kuulostaa. Uusi malli ei vaadi aloittamista alusta, vaan riittää että kaksi metallikerrosta vaihdetaan. Yhtiö kertoi helmikuussa, että painojen syövyttäminen piihin maksaa noin sadasosan kärkimallin kouluttamisesta.
Tekniikka sopii siis niille, jotka tietävät tarkalleen minkä mallin kanssa elävät pitkään. Todennäköisimpiä käyttäjiä ovat mallien kehittäjät, näiden infrastruktuurikumppanit ja muutama päättelypalveluiden tarjoaja. Tavalliselle yritysasiakkaalle sitoutuminen olisi liian jäykkää.
Asetelma suosii malleja, joiden elinkaari on poikkeuksellisen pitkä. Sellaisia ovat esimerkiksi vakiintuneet avoimet perusmallit ja yritysten omat, harvoin vaihdettavat erikoismallit. Kärkimallien kuukausittainen kiertonopeus sopii tähän tekniikkaan huonosti.
Instinct laskee, Taalas tuottaa tokenit
AMD aikoo yhdistää Taalasin tekniikkaan pohjautuvia piirejä Instinct-pohjaisiin Helios-räkkeihinsä. Tämä viittaa eriytettyyn arkkitehtuuriin.
Siinä laskentaraskas kehotteen käsittely tehtäisiin näytönohjaimilla ja tokenien tuottaminen siirrettäisiin Taalas-kiihdyttimille. Mahdollinen on myös porrastettu malli, jossa asiakas ottaa mallin ensin käyttöön Instinct-kiihdyttimillä ja siirtyy Taalas-piireille vasta oltuaan tulokseen tyytyväinen.
AMD:n tekoälyliiketoiminnasta vastaava varatoimitusjohtaja Vamsi Boppana kuvasi kauppaa osana täyden pinon tekoälyalustaa. Sen tarkoitus on antaa asiakkaille joustavuutta valita oikea laskentaratkaisu kuhunkin kuormaan.
Tila- ja tehotehokkuudessa asetelma on kiinnostava. Nvidian hiljattain esittelemät LPX-järjestelmät tarvitsisivat saman biljoonan parametrin mallin palvelemiseen muutaman kymmenen näytönohjainta ja vähintään 2 000 Groqin LPU-piiriä. AMD:llä on jo räkkitason alusta ja oma järjestelmäsuunnittelutiimi, jotka taipuvat 50 kiihdyttimen kokoonpanoon.
Yhteenveto
Taalas-kauppa on AMD:lle veto päättelymarkkinan siihen osaan, jossa nopeus ratkaisee enemmän kuin joustavuus. Tekniikka on todistettu testipiirillä, mutta tuotantomittakaava on vielä edessä.
Ratkaisevaa on, löytyykö asiakkaita jotka uskaltavat sitoutua yhteen malliin sirujen koko elinkaaren ajaksi. Jos AMD onnistuu myymään tekniikan mallikehittäjille ja päättelypalveluille, Nvidian ote päättelylaitteistoista löystyy ensimmäistä kertaa aidosti.