← Visos naujienos

Matt Wolfe apžvelgia mažiau pastebėtus DI leidimus: Drama 3, OmniHuman 2.0, pasaulio modeliai

ProduktaiŠaltinis: Matt Wolfe YouTube kanalas·
Matt Wolfe apžvelgia mažiau pastebėtus DI leidimus: Drama 3, OmniHuman 2.0, pasaulio modeliai

Apžvalgoje pristatomi ne didžiųjų laboratorijų, o mažesnių komandų ir tyrimų rezultatai: Fish Audio Drama 3 text-to-speech modelis, kuriame vaidybos nurodymai rašomi laužtiniuose skliaustuose paprasta anglų kalba, ir ByteDance OmniHuman 2.0, iš vienos nuotraukos bei garso takelio generuojantis iki penkių minučių vientisą kalbančio ar dainuojančio veikėjo vaizdo įrašą. Pateikiami ir praktiniai duomenys: Drama 3 yra 36 mlrd. parametrų atviro svorio modelis, pirmaujantis tarimo vertinime, bet nusileidžiantis aklųjų palyginimų arenoje, o OmniHuman kaina sumažėjo nuo 12 iki 7 centų už sekundę. Toliau apžvelgiami pasaulio modeliai, žaidimų varikliai ir 3D rekonstrukcijos įrankiai.

Video eiga

Pilna santrauka

Kodėl kitoks įrašo formatas0:00

Matt Wolfe pristato kitokio formato vaizdo įrašą nei įprasti jo penktadieniniai savaitės DI naujienų apibendrinimai. Paprastai tuose įrašuose dominuoja didžiosios laboratorijos — OpenAI, Anthropic, Microsoft, Google, Nvidia — tačiau, jo teigimu, daug įdomių dalykų lieka nepastebėta: mažesni tyrimai ir įrankiai, apie kuriuos mažai kas kalba. Šiame įraše jis surenka būtent tokius radinius ir prašo žiūrovų komentaruose pasakyti, ar tokio formato įrašų norėtų dažniau.

Fish Audio Drama 3 balso modelis0:31

Pirmasis pristatomas dalykas — Fish Audio išleistas text-to-speech modelis Drama 3. Jo ypatybė ta, kad vaidybos nurodymai rašomi paprasta anglų kalba laužtiniuose skliaustuose tiesiai scenarijuje, o ne renkami iš emocijų šablonų sąrašo, kaip daugelyje balso įrankių. Demonstruojama ta pati frazė be nurodymų ir su nurodymu „vos besilaikantis, priverstinai šypsosi“; taip pat parodoma, kad efektą galima pritaikyti konkretiems žodžiams, pavyzdžiui, nurodyti juos šnibždėti. Galima įterpti garso efektus, tokius kaip tylus juokas ar virpantis įkvėpimas, tiksliai pasirinktose vietose, taip pat kurti dialogus su keliais kalbėtojais ir balsais.

Demonstraciniam puslapiui Fish Audio licencijavo Uncle Roger balsą, ir, autoriaus vertinimu, panašumas gana tikslus.

Pagal Artificial Analysis duomenis Drama 3 surenka aukščiausią balą už tarimą — geresnį nei ElevenLabs ar SpaceX text-to-speech modelio, kurį autorius rodė ankstesnėje apžvalgoje. Tačiau arenos lyderių lentelėje, kur vyksta aklas palyginimas ir klausytojai renkasi mėgstamiausią balsą nežinodami modelio, jam sekasi prasčiau. Taigi sunkius žodžius jis ištaria geriau nei beveik bet kas, bet daugeliui žmonių labiau patinka kiti balsai.

Modelis yra open weight ir prieinamas Hugging Face, turi 36 milijardus parametrų; pranešama, kad reikia maždaug 46 GB VRAM kortos arba 32 GB su bendruomenės kvantizuota 4 bitų versija — nė vienas variantas nesuksis daugumoje nešiojamųjų. Licencija nemokama komerciniam naudojimui, jei pajamos mažesnės nei pusė milijono per metus. API kainuoja apie 10 dolerių už milijoną simbolių, bet tai paleidimo nuolaida, kuri po lapkričio 12 d. pakils iki 50 dolerių.

Generacijos skiriasi, tad patariama sugeneruoti kelias ir rinktis geriausią, o naudojant API būtina patikrinti, ar nustatytas būtent Drama 3, nes sistema dažnai tyliai persijungia į senesnius modelius, nors sąskaita vis tiek išrašoma. Nemokamai išbandyti galima adresu fish.audio/drama3; modelis gali būti naudingas kuriantiems audioknygas ar žaidimų dialogus.

ByteDance OmniHuman 2.0 iš nuotraukos4:07

Toliau — ByteDance OmniHuman 2.0. Modelis iš vienos nuotraukos ir garso takelio sugeneruoja vaizdo įrašą, kuriame žmogus kalba, dainuoja ar vaidina. Esminis skirtumas nuo ankstesnės versijos: anksčiau riba buvo 60 sekundžių, dabar galima siekti iki penkių minučių vienu nepertraukiamu kadru, nereikia siūti trumpų klipų. Galima pridėti tekstinius promptus kameros judesiams valdyti ar objektams, kurių nebuvo originalioje nuotraukoje, pridėti. Generuojama 720p raiška, veikia ne tik su žmonėmis, bet ir su animaciniais personažais bei gyvūnais.

Autorius atvirai sako, kad lūpų sinchronizavimo modeliai, jo nuomone, dar toli iki tobulumo — pažanga, palyginti su laikotarpiu prieš porą metų, didelė, bet rezultatas jam vis tiek neįtikina. Kaina sumažėjo nuo 12 iki 7 centų už sekundę, tad pilnas 5 minučių vaizdo įrašas vis tiek kainuotų apie 21 dolerį. Visa rodoma medžiaga yra pačios ByteDance demonstracinė, o ankstyvieji žiūrovai pastebėjo fono slankiojimą. Kadangi užtenka vienos nuotraukos ir bet kokio garso, kyla akivaizdžios deepfake rizikos, nors autorius mano, kad kol kas apgautų žmonių skaičius neturėtų kelti nerimo. Modelis prieinamas per BytePlus ir jų API.

Pasaulio modeliai: WorldCrafter ir ByteDance6:43

Trečioji dalis skirta pasaulio modeliams — DI modeliams, generuojantiems vaizdo pasaulį, kuriame galima judėti. Tencent ARC Lab išleido WorldCrafter, pradedantį nuo vienos nuotraukos arba vienos teksto eilutės. Pagrindinė pasaulio modelių problema buvo ta, kad nusukus žvilgsnį ir vėl atsisukus objektas dažnai dingdavo ar pasikeisdavo, nes modelis prisimena tik paskutines kelias sekundes. WorldCrafter sprendimas — atmintis, kurios ieškoma pagal kameros poziciją: nukreipus kamerą ištraukiami praeities vaizdai, atitinkantys žiūrėjimo kryptį, ir perduodami atgal generatoriui.

Nuoseklumas įrodinėjamas atkuriant 3D taškų debesį iš sugeneruoto vaizdo įrašo — jei pasaulis būtų nenuoseklus, rekonstrukcija išeitų netvarkinga, o čia gaunama švari geometrija ir sutampantis kameros kelias grįžtant į tą pačią vietą. Modelis susitvarko ir su judančiais objektais, pavyzdžiui, arklys lieka scenoje, nors buvo išėjęs iš kadro ir judėjo. Savo benchmarke su 145 scenomis kūrėjai teigia pranokstantys kitus modelius pagal sugrįžimo nuoseklumą ir kameros valdymą, tačiau tai jų pačių benchmarkas, tad vertintina atsargiai. Kodas yra GitHub, o Hugging Face yra ir versija išbandymui, nors generavimas nėra greitas.

ByteDance taip pat pristatė savo pasaulio modelio versiją renginyje Pekine; medžiagą, nufilmuotą renginio metu, paskelbė Timas iš Theoretically Media. Įspūdingiausia demonstracija — scena iš Stepheno Chow filmo „King of Comedy“, kuriai sugeneruota visiškai nauja kameros judėjimo trajektorija, tarsi iš naujo nufilmuojant prieš dešimtmečius nufilmuotą kadrą ir gaunant naujus rakursus. Taip pat galima įvesti aprašymą ir gauti pasaulį — pavyzdžiui, sukurti milžinišką šaukštą, juo užlipti ir pereiti per portalą iš kambario į kosmosą. Tačiau modelis dar neprieinamas, neturi viešo pavadinimo nei išleidimo datos.

Rėmėjo intarpas: OpenAI „dots“9:49

Įrašo viduryje autorius pristato rėmėjo intarpą apie OpenAI funkciją „dots“ — visada veikiančius DI agentus, kuriems galima priskirti nuolatines pareigas ir kurie dirba net tada, kai ChatGPT nenaudojamas. Jis savo dot prijungė prie YouTube kanalo, kad šis trauktų peržiūrų ir įsitraukimo duomenis, ieškotų dėsningumų tarp pavadinimų, temų, kampų ir paskelbimo laikų, o bendroje erdvėje su komanda kurtų naujus puslapius su savaitinėmis ataskaitomis bei vaizdo įrašų idėjomis.

Kiekvienas dot turi savo debesų kompiuterį, gali naudoti ChatGPT darbo funkcijas ir Codex, veikia GPT-6 Astra pagrindu ir mokosi iš preferencijų, tad gali proaktyviai siūlyti dalykus.

Žaidimų varikliai su DI perpiešimu10:50

Kitas aptariamas projektas — Skywork Matrix Game 4.0, kuris renkasi kitokį kelią ir apskritai neprašo DI įsiminti pasaulio. Įprastame pasaulio modelyje DI yra ir piešėjas, ir fizikos variklis, ir taisyklės, ir atmintis, todėl iš ekrano dingę daiktai linkę išnykti. Čia darbas padalinamas: įprastas žaidimo variklis seka, kur yra priešai, kas vyksta šaunant ir kas yra už nugaros, ir nupiešia pigią low poly scenos versiją, o vaizdo modelio darbas — tą kampuotą kadrą perpiešti, kad atrodytų užbaigtas. Pavyzdžiuose apačioje dešinėje matoma variklio piešiama versija, kairėje — galutinis vaizdas.

Kadangi variklis viską seka, pasaulis nepamiršta — piramidė už nugaros lieka žemėlapyje, nesvarbu, ar DI ją atpiešia. Toks pat principas rodomas ir automobilių žaidime. Papildomas elementas: paprašius ko nors, ko žaidimo taisyklės neapima, kodavimo agentas įrašo naujas taisykles į variklį ir atnaujina vaizdo modelio promptą, tad pasaulis gali keistis žaidimo viduryje. Demonstruojami trys žaidimai — viduramžių pilies šaudyklė, senovės Egipto šaudyklė ir miesto lenktynės, o ilgos sesijos galėjo trukti maždaug iki pusantros minutės be nukirtimų.

Trūkumai: kiekvienas žaidimas turi atskirą, maždaug 5 milijardų parametrų modelį, apmokytą būtent tai scenai, tad tai ne universalus „sukurk bet kokį žaidimą“ sprendimas; išvestis yra 480 x 864. Projekto puslapyje minimas veikimas viename RTX 5090, bet modelio kortelėje negarantuojamas nei kadrų dažnis, nei tilpimas į vartotojiško GPU atmintį, nei tikslus scenos atkūrimas, o greiti kameros judesiai ir ilgos sesijos gali sukelti dreifą. Mokymo kodas neįtrauktas, bet svoriai ir inferencijos kodas prieinami pagal Apache 2.0 licenciją, tad galimas komercinis naudojimas; yra ir Hugging Face erdvė su iš anksto įkeltais pavyzdžiais.

Autoriaus nuomone, variklio ir DI „dažų sluoksnio“ derinys yra realistiškesnis kelias link DI žaidimų nei prašyti modelio daryti viską.

Panašiu keliu eina ir Nvidia Stream Render H3. Čia irgi kodas sukasi pasaulį, o vaizdo modelis jį piešia realiu laiku, bet žaidimas modeliui perduoda dar mažiau informacijos: ne kampuotą 3D renderį, o spalvomis koduotą žemėlapį, kuriame kiekvienas pikselis yra plokščia spalva, reiškianti kelią, žolę, barjerą ar varžovo automobilį — be apšvietimo ir tekstūrų. Viską, ką matome, nupiešia vaizdo modelis. Kadangi žemėlapyje nėra informacijos apie išvaizdą, visą žaidimą galima perstilizuoti pakeitus vieną referencinį paveikslėlį: tas pats važiavimas atvaizduojamas skirtingose aplinkose, vietose ir paros metu.

Viena sunkiausių vietų — spalvų žemėlapyje visi varžovų automobiliai nudažyti ta pačia spalva, tad modelis pats turi prisiminti, kuris automobilis yra kuris, ir išlaikyti tą patį dažų raštą. Įdomi detalė: greitesnį vaizdo dekoderį kūrėjai pavedė sukurti Claude Code, ir maždaug per 3 valandas pipeline'e veikė veikianti versija. Reikalavimai dideli: kiekvienas atvaizdavimo žingsnis trunka apie 218 milisekundžių, ir tai su aštuoniais GB 2000 GPU, t. y. duomenų centrų lustais, o ne namų žaidimų kompiuteriu. Be to, modelis kol kas apmokytas tik lenktynėms.

Tad Matrix Game taikosi į vieną vartotojišką GPU su žemesne raiška, o Nvidia siekia fotorealizmo su duomenų centro įranga.

Odyssey ir musės smegenys16:35

Kiek keistesnis radinys — pasaulio modelių kompanijos Odyssey, neseniai pristačiusios Odyssey 3, klipas, kuriame teigiama, kad į pasaulio modelį įdėtos vaisinės muselės smegenys ir dabar jos pačios skraido po įsivaizduotus pasaulius. Pačios smegenų simuliacijos Odyssey nekūrė — ją pagal pilną vaisinės muselės smegenų žemėlapį sukūrė kompanija Eon Systems; maždaug 140 000 neuronų ir 50 milijonų jungčių. Odyssey pakeitė virtualų kūną ir prijungė smegenis prie kameros, judančios per Odyssey 3 pasaulį.

Nėra nei straipsnio, nei kodo, nei paaiškinimo, kaip abu dalykai sujungti, o komentaruose žmonės pastebėjo, kad musė niekada nebando niekur nutūpti, nors tikra musė tikriausiai bandytų. Tai sukėlė diskusijų apie simuliacijos teoriją — ar musė tiki esanti realiame pasaulyje ir ką tai reikštų žmonėms. Su pačiu Odyssey 3 pažaisti galima adresu experience.odysseys.systems: įvedus promptą galima sąveikauti su pasauliu, autorius demonstruoja, kaip valdo lapę, liepia jai šokti, nurodo judėjimo kryptį ir keičia kameros kryptis.

3D įrankiai: Telescope ir Gaussian Animate18:07

Toliau pereinama prie 3D. Japonijoje įsikūrusi Preferred Networks išleido Telescope — įrankį, iš vietovės nuotraukų rinkinio sukuriantį detalų 3D tinklelį, nuo vieno objekto iki ištisų miesto kvartalų. Įprastai aukštos kokybės tinkleliui gauti reikia ilgai derinti modelį prie konkrečios scenos; Telescope to atsisako — tai generatyvus modelis, išmokęs, kaip apskritai atrodo paviršiai, ir užpildantis spragas ten, kur nuotraukų trūksta. Jis susitvarko ir su blizgiais bei stikliniais paviršiais, kurie paprastai gadina nuotraukomis paremtą 3D.

Pavadinimas atspindi metodą: pirmiausia sukuriama visa scena su mažu detalumu, tada priartinamos ir patikslinamos sritys, kurioms reikia daugiau detalių, o spalvos rodo, iš kurio lygio kiekvienas paviršius atsirado. Palyginimuose su standartiniu Gaussian splatting metodu Telescope rezultatai gerokai detalesni. Trūkumas — reikia daug nuotraukų: vienam pavyzdžiui prireikė 256, kitam irgi 256, o vienam pakako 56. Atkurti galima tik tą sritį, po kurią kamera iš tikrųjų judėjo. Įrankis dar neprieinamas, kodas žadamas netrukus.

Kitas projektas — Gaussian Animate, skirtas 3D personažams animuoti ir „riginti“ personažus, kurie iš išorės minkšti, o viduje standūs: žmones laisvais drabužiais, gyvūnus ar pačius drabužius. Įprastas animacijos skeletas suteikia kontrolę, bet laisvi marškiniai ar šuns pilvas juda ne taip kaip kaulai, todėl pridedama daug papildomų plaukiojančių mazgų, pagaunančių virpėjimą, tekėjimą ir papildomą audinio fiziką. Sistema pirmiausia randa formą, tada į vidurį įdeda skeletą, kad suprastų, kurios dalys turi būti standžios, ir nustato, kurie taškai turi tekėti už kaulų ribų.

Pavyzdžiuose rodomas apsirengęs žmogus su skeletu, kaulais ir „skinning“, kur suknelė atrodo plaukianti. Reikalingas užfiksuotas personažo judesio sekos įrašas — iš vienos nuotraukos neveiks. Kodas prieinamas GitHub ir skirtas tyrimams.

World Gasha miestų generatorius21:11

Paskutinis pristatomas dalykas nėra DI — tai World Gasha, nemokamas naršyklės įrankis iš japonų kūrėjo, atsitiktinai generuojantis išgalvotus regionus su kalnais, upėmis, pakrantėmis, miesteliais, geležinkeliais, ryžių laukais ir kita, piešiamus manga stiliaus linijine grafika. Galima įjungti linijas, liniją su tonu (nespalvota versija) arba molio režimą, mesti kauliukus ir gauti visiškai naują miestelį ar miestą, perjungti į „downtown“ režimą su dangoraižiais, priartinti, žiūrėti iš viršaus arba iš akių lygio nuo gatvės ir vaikščioti po miestą. Viskas generuojama iš atsitiktinių skaičių ir matematikos, be jokių išorinių duomenų.

Patikusią sceną galima eksportuoti kaip PNG, SVG ar 3D objekto failą, tad teoriškai pasaulį galima įtraukti į Unreal Engine ir jame statyti žaidimą. Autorius siūlo mintį tokį primityvų miestą vėliau perdengti DI vaizdų ar video modeliais, kuriant realistiškas scenas filmams ar animacijoms.

Kanalo planai ir naujienlaiškis23:46

Pabaigoje Wolfe primena, kad jo kanalo tema yra apskritai šaunūs internete randami dalykai, ne vien DI. Jis aiškina, kad kas penktadienį daro savaitės naujienų įrašą, kuriame bando atskirti signalą nuo triukšmo ir orientuojasi į didžiausias istorijas, darančias poveikį daugiausiai žmonių, todėl kartais praleidžia mažesnius tyrimų projektus. Prieš maždaug trejus metus jis apie tokius dalykus kalbėdavo dažniau, kol didžiosios laboratorijos nepradėjo kas savaitę skelbti naujų paleidimų. Jis planuoja prie šių šaknų grįžti ir daryti bent po vieną tokį įrašą per mėnesį, o jei žiūrovams patinka, ir dažniau.

Taip pat primena apie du kartus per savaitę leidžiamą nemokamą naujienlaiškį adresu futuretools.io.

Dalintis:

Originalas: AI Breakthroughs Everyone Missed (Matt Wolfe YouTube kanalas)

Visos 2026 m. spalio 21 d. naujienos · Archyvas