Meta julkaisi 7. heinäkuuta Muse Image -kuvamallin ja esitteli ennakkoon Muse Video -videomallin. Ne ovat ensimmäiset mediamallit, jotka on kehitetty yhtiön uudessa Meta Superintelligence Labs -yksikössä. Yhtiön mukaan Muse Image on sen kehittynein kuvamalli tähän mennessä.
Muse Image erottuu tavasta, jolla se tuottaa kuvia. Se ei kuvaa kehotetta suoraan kuvaksi. Sen sijaan malli toimii kuin agentti: se käyttää työkaluja, hioo omia tuotoksiaan ja paranee, kun sille annetaan enemmän laskenta-aikaa.
Agentti, ei pelkkä kuvageneraattori
Perinteinen kuvamalli muuntaa tekstikehotteen suoraan kuvaksi yhdellä kertaa. Muse Image lisää väliin päättelyn. Se kutsuu haku- ja koodaustyökaluja parantaakseen tarkkuutta ja arvioi tuloksensa itse ennen valmista kuvaa.
Vahvistusoppimisen aikana malli oppi kirjoittamaan ja suorittamaan koodia. Näin se tuottaa tarkkoja kaavioita ja toimivia QR-koodeja. Meta näyttää esimerkkejä, joissa malli laatii ensin skannattavan QR-koodin ja rakentaa sen ympärille tyylitellyn kohtauksen.
Muse Image myös integroituu Muse Spark -malliin. Kaksikko jakaa työkalut ja suunnittelee tehtävät yhdessä. Yhdistelmällä syntyy animoituja GIF-kuvia, kuvitettuja verkkosivuja ja interaktiivisia visuaalisia pelejä.
Malli hyödyntää lisäksi Instagramia sosiaalisen kontekstin lähteenä. Se antaa Muse Imagelle tuntuman ajankohtaisiin tyyleihin ja aiheisiin, joita monilla kilpailijoilla ei ole samalla tavalla käytössään.
Muse Video ja natiivi ääni
Muse Video rakentuu samalle esikoulutuspohjalle kuin Muse Image. Meta lupaa poikkeuksellista visuaalista tarkkuutta, ja mukana on natiivi äänituki. Malli tuottaa siis kuvan ja äänen samasta pohjasta.
Video on toistaiseksi esikatselussa. Se tulee yhtiön mukaan pian luojille ja Meta AI:hin. Täydellisiä teknisiä tietoja ei vielä julkaistu, mutta yhteinen pohja Muse Imagen kanssa viittaa samaan agenttipohjaiseen lähestymistapaan.
Natiivi ääni erottaa Muse Videon monista kilpailijoista, jotka tuottavat mykkää videokuvaa. Kun ääni ja kuva syntyvät samasta mallista, lopputulos on lähempänä valmista mediaa kuin erillisillä työkaluilla koottu video.
Yhdistelmä on merkittävä, koska videon ja äänen synkronointi on tähän asti vaatinut erillisiä malleja ja jälkikäsittelyä. Meta pyrkii kokoamaan koko ketjun yhteen järjestelmään.
Saatavuus ja Meta Superintelligence Labs
Muse Image on saatavilla heti Meta AI -sovelluksessa ja meta.ai-sivustolla. Yhdysvalloissa se toimii Instagram Storiesissa ja rajatuissa maissa WhatsAppissa. Facebook seuraa pian.
Mallit ovat Meta Superintelligence Labsin ensimmäiset mediamallit. Yksikkö on Metan uusi panostus huippututkimukseen, ja generatiivinen media on sille näkyvä ensiaskel.
Laaja jakelu Metan sovelluksissa tarkoittaa, että Muse Image tavoittaa kerralla miljardeja käyttäjiä. Se asettaa mallin suoraan kuluttajakilpailuun OpenAI:n ja Googlen kuvamallien kanssa.
Metalle mediageneraatio on myös kilpailullinen siirto. Yhtiö oli jäänyt kuvantuotannossa OpenAI:n ja Googlen taakse, ja Muse-mallit ovat sen vastaus tähän asetelmaan.
Yhteenveto
Muse Image vie kuvantuotannon askeleen agenttien suuntaan. Malli hakee, koodaa ja korjaa itseään sen sijaan, että arvaisi kuvan yhdellä kerralla. Se on myös Meta Superintelligence Labsin ensimmäinen näkyvä tuotos.
Muse Video ja sen natiivi ääni täydentävät kokonaisuutta. Yhdessä ne palauttavat Metan generatiivisen median kärkitaistoon poikkeuksellisen laajalla jakelulla.