OpenMOSS-tiimi julkaisi MOSS-TTS:n, avoimen puhe- ja äänimalliperheen, joka pyrkii haastamaan suljetut palvelut kuten ElevenLabsin ja OpenAI:n puhesynteesin. Mallit kattavat pitkän puheen, monihenkilödialogin ja reaaliaikaisen suoratoiston. Koodi ja painot ovat vapaasti ladattavissa.
Julkaisu on huomattava, koska laadukas puhesynteesi on tähän asti ollut pääosin maksullisten pilvipalveluiden takana. MOSS-TTS tuo saman kyvyn omalle palvelimelle, joskin raskaan laskennan hinnalla. GitHubissa projekti keräsi nopeasti yli 3 500 tähteä.
Avoin malliperhe puheelle ja äänelle
MOSS-TTS:n kehittävät MOSI.AI ja OpenMOSS-yhteisö. Kyseessä ei ole yksi malli vaan perhe, jonka koot vaihtelevat 1,2 miljardista 3,8 miljardiin parametriin. Painot löytyvät Hugging Facesta ja koodi on kirjoitettu PyTorchilla.
Arkkitehtuurin ydin on yhtenäinen runko. Sama selkäranka hoitaa useita tehtäviä: tekstistä puheeksi, äänenmuunnos, äänitehosteet ja tunneilmaisu ilman tehtäväkohtaista hienosäätöä. Malli ottaa syötteenä tekstin lisäksi puhujan tunnisteen ja tunnetagit.
Repositorio tarjoaa valmiit tarkistuspisteet, päättelyskriptit ja Gradio-demon. Tämä madaltaa kynnystä kokeilla mallia. Kehittäjä voi ajaa sen joko näytönohjaimella tai prosessorilla, joskin prosessori on reaaliaikaiseen käyttöön liian hidas.
Pitkä puhe, dialogi ja äänitehosteet
MOSS-TTS on suunniteltu vaativiin tilanteisiin. Se tuottaa vakaata pitkää puhetta, jossa äänensävy ei ala ajautua minuuttien aikana. Tähän käytetään hierarkkista generointia: malli luo ensin karkean prosodiamallin ja tarkentaa sen jälkeen lopullisen äänen.
Mukana on tuki monihenkilödialogille ja hahmojen äänisuunnittelulle. Tämä tekee mallista käyttökelpoisen äänikirjoihin, pelien hahmoihin ja virtuaalisiin juontajiin. Sama runko hoitaa myös ympäristön äänitehosteet kuten askeleet tai sateen.
Reaaliaikainen suoratoisto on kolmas painopiste. Malli tukee pätkittäistä päättelyä matalalla viiveellä, mikä on välttämätöntä ääniavustajille. Käytännössä ensimmäinen ääni lähtee alle viidesosasekunnissa.
Mitä se vaatii ja missä se häviää
Avoimuudella on hintansa. MOSS-TTS vaatii tehokkaan näytönohjaimen reaaliaikaiseen käyttöön. Suljetut palvelut pyörivät optimoidussa pilvi-infrastruktuurissa, joten ne ovat helpompia ottaa käyttöön ilman omaa laitteistoa.
Malli ei myöskään tule valmiin rajapinnan kanssa. Käyttäjä joutuu itse isännöimään sen ja huolehtimaan laskennasta. Tämä rajaa joukon, joka pystyy hyödyntämään mallia täysimittaisesti.
Laadussa MOSS-TTS yltää lähelle maksullisia palveluita mutta jää niistä hieman jälkeen äänen kloonauksessa ja viiveessä. Avointen vaihtoehtojen joukossa se on kuitenkin selvästi edellä aiempia projekteja kuten arkistoitua Coqui TTS:ää.
Mitä avoin puhesynteesi muuttaa
MOSS-TTS jatkaa avointen mallien aaltoa, joka on jo mullistanut tekstin ja kuvan tuottamisen. Nyt sama paine kohdistuu ääneen. ElevenLabs ja OpenAI ovat hallinneet markkinaa laadulla ja helppoudella.
Itse isännöitävä malli kiinnostaa erityisesti yrityksiä, joilla on tiukat datan sijaintivaatimukset. Kun ääntä ei tarvitse lähettää ulkopuoliseen palveluun, herkän aineiston käsittely helpottuu.
Todennäköinen seuraus on, että jokin taho rakentaa MOSS-TTS:n päälle hallinnoidun palvelun. Sama kaava on toistunut aiemmin avointen mallien kohdalla. Avoin pohja laskee hintaa ja levittää kyvyn laajemmalle joukolle.
Yhteenveto
MOSS-TTS tuo laadukkaan puhesynteesin avoimeksi malliperheeksi, joka kattaa puheen, dialogin ja äänitehosteet. Se ei vielä päihitä parhaita maksullisia palveluita, mutta kaventaa eroa selvästi.
Suurin este on laskentateho. Jos tiimi onnistuu pienentämään mallia ilman laadun romahdusta, avoin puhesynteesi voi siirtyä harvojen erikoistyökalusta laajaan käyttöön.