
Matt Wolfe apžvelgia mažiau pastebėtus DI leidimus: Drama 3, OmniHuman 2.0, pasaulio modeliai
Apžvalgoje pristatomi ne didžiųjų laboratorijų, o mažesnių komandų ir tyrimų rezultatai: Fish Audio Drama 3 text-to-speech modelis, kuriame vaidybos nurodymai rašomi laužtiniuose skliaustuose paprasta anglų kalba, ir ByteDance OmniHuman 2.0, iš vienos nuotraukos bei garso takelio generuojantis iki penkių minučių vientisą kalbančio ar dainuojančio veikėjo vaizdo įrašą. Pateikiami ir praktiniai duomenys: Drama 3 yra 36 mlrd. parametrų atviro svorio modelis, pirmaujantis tarimo vertinime, bet nusileidžiantis aklųjų palyginimų arenoje, o OmniHuman kaina sumažėjo nuo 12 iki 7 centų už sekundę. Toliau apžvelgiami pasaulio modeliai, žaidimų varikliai ir 3D rekonstrukcijos įrankiai.
Video eiga 10 skyrių
- Mažiau pastebėti DI atradimai — kodėl verta žiūrėti ne tik į OpenAI, Anthropic ar Google, bet ir į smulkesnius tyrimus bei įrankius
- Fish Audio Drama 3: DI balso vaidyba — text-to-speech modelis, kuriame emocijos ir garso efektai nurodomi tekstu, su keliais kalbėtojais, atviru svoriu ir API kainodara
- OmniHuman 2.0: kalbančios nuotraukos — ByteDance modelis iš vienos nuotraukos ir garso sukuria iki 5 min. 720p vaizdo įrašą, valdomą ir tekstinėmis užuominomis
- WorldCrafter: DI pasauliai, kurie prisimena — apie generuojamas aplinkas, išlaikančias būsenos nuoseklumą
- ByteDance naujas pasaulio modelis — ByteDance pristatytas pasaulio modeliavimo darbas
- OpenAI Dots (rėmėjas) — vaizdo įrašo rėmėjo intarpas apie OpenAI Dots funkciją
- Matrix Game 4.0: žaidimų varikliai susitinka su DI — interaktyvaus žaidimų generavimo modelio pristatymas
- NVIDIA StreamRender-H3 — NVIDIA srautinio atvaizdavimo tyrimas
- Odyssey: vaisinės muselės smegenys DI pasaulyje — eksperimentas, kuriame biologinis smegenų modelis patalpinamas į simuliuotą aplinką
- 3D rekonstrukcija, animacija ir pasaulių kūrimas — naujausi įrankiai trimačiams objektams ir scenoms kurti











