Matt Wolfe apžvelgia 12 mažiau pastebėtų AI demonstracijų ir įrankių

Apžvalgoje surinkti pastarojo mėnesio AI projektai, nepatekę į savaitines naujienas: papildytos realybės personažai telefone, Tencent pasaulio modelis, vaizdo redagavimo ir balso sintezės įrankiai bei robotikos demonstracijos. Autorius pats išbando kelis iš jų ir nurodo, kur demonstracijos dar neatitinka pažadų.
Dessa balso modelis apmokytas vien iš žmonių pokalbių be teksto ir be kalbos modelio – todėl skamba žmogiškai, bet prasimano turįs žmoną ir sūnų.
Video eiga
- AI proveržiai, kurių tikriausiai nepastebėjote — įvadas į dvylika po radaru praslydusių projektų: pasaulio modelius, žmogiškai skambančius balsus, akinius, neva nuskaitančius netartus žodžius, ir robotus
- Simulan: AI personažai jūsų kambaryje — telefono programėlė įstato 3D personažus į realią aplinką ir po įrašymo debesyje perpiešia sceną taip, kad personažas reaguotų į rankas, daiktus ir kalbą
- Tencent pasaulio modelis Hynomus — modelis generuoja ištisinį pasaulį penkių sekundžių gabalais, kurį galima toliau valdyti tekstu, išlaikant scenos nuoseklumą apsisukus kamerai
- Reshoot 4D: vaizdo įrašo kameros kampo keitimas — įrankis leidžia perrinkti jau nufilmuotos scenos kameros poziciją
- Movie Edit: AI montažas per kelis kadrus — demonstruojamas redagavimas, apimantis ne vieną, o kelis skirtingus kadrus
- Desa: žmogiškai skambantis AI balsas — balso modelis, kurio įrašus sunku atskirti nuo tikro žmogaus kalbos
- Haru 4B: parsisiunčiamas pokalbių AI — lokaliai paleidžiamas pokalbių modelis
- Fish Audio Live 3: AI balso agentai — realaus laiko balso agentų platforma
- Subvocal: akiniai, dekoduojantys netartą kalbą — įranga, teigianti atpažįstanti žodžius, kurių naudotojas garsiai neištaria
- Budget3D: nuotraukų vertimas 3D modeliais — įrankis iš paveikslėlių generuoja 3D objektus
- NVIDIA MotionBricks: AI personažų animacija — NVIDIA sprendimas personažų judesiams generuoti
- Flash Aloha: robotai, gaudantys ir tvarkantys — robotų demonstracijos, kuriose jie pagauna skrendantį kamuolį ir atlieka tvarkymo užduotis žmogui artimu greičiu
Pilna santrauka
Vaizdo įrašo tikslas0:00
Matt Wolfe pristato ne savaitines AI naujienas, o per pastarąjį mėnesį surinktus projektus, kurie į reguliarias apžvalgas nepateko. Tarp jų – nauji pasaulio modeliai, itin žmogiškai skambanti balso technologija, akiniai, neva atpažįstantys negarsiai ištartus žodžius, kamuolį ore pagaunantis robotas ir vaikštantis robotas, kurio „smegenys“ – senas Android telefonas.
Simulon ir papildyta realybė1:02
Pirmasis įrankis – telefono programėlė Simulon, per kamerą įkelianti 3D personažus į tikrą kambarį. Nauja funkcija leidžia padėti personažą, įjungti įrašymą, suvaidinti sceną, o personažas reaguoja į tai, ką darote ir sakote. Demonstraciniame filmuke urvinis žmogus vaikšto po tikrą aplinką tarp tikrų žmonių, įsėda į Uber ir sąveikauja su realiai ten stovinčiu automobiliu, nors pabaigoje parodoma, kad originalioje medžiagoje nieko nebuvo.
Kitame klipe personažas važiuoja nuotoliniu būdu valdomu automobiliuku per stalą, jo apsiaustas plevėsuoja, o automobiliui nuvažiuojant per stalo kraštą personažas nušoka – įkūrėjas teigia, kad nieko iš to prompt’e nebuvo nurodyta. Viskas prasidėjo nuo vienos nuotraukos.
Procesas vyksta ne gyvai: įrašomas dublys, siunčiamas į debesį, o programėlė perpiešia visą vaizdo įrašą, atsižvelgdama į sceną – stalą, automobilį, rankas, ištartus žodžius.
Autorius pats išbando programėlę: pasirenka baltą gorilą iš bibliotekos (savo personažui reikia prenumeratos), sumažina ją, pastato ant stalo, įrašo vaizdą, kuriame ją paglosto ir bakstelėja rašikliu. Renderis trunka porą minučių, o rezultate gorila reaguoja į ranką ir atmuša rašiklį. Reagavimo funkcija kol kas veikia tik iPhone, Android žadama netrukus. Duodama 100 nemokamų kreditų, kurie greitai išsenka, toliau – 15 dolerių per mėnesį. Įkūrėjas siekia, kad ateityje tai veiktų gyvai AR akiniuose.
Tencent HunyuanWorld4:44
Tencent išleido pasaulio modelį HunyuanWorld, kuriame vaizdo įrašas tęsiasi, o vartotojas nuolat duoda nurodymus: pridėti šunį, paleisti sniegą, pasukti kamerą. Pasaulis išlieka tas pats – demonstracijoje astronautas apsidairo, o atsisukęs atgal mato tą pačią aplinką, kitaip nei ankstesniuose modeliuose, prarandančiuose nuoseklumą.
Modelis kuria vaizdą 5 sekundžių gabalėliais; kiekvienas naujas perima naujausią nurodymą (tekstą, kameros judesį ar abu) ir peržvelgia viską, kas jau sugeneruota – ši atmintis išlaiko pasaulio pastovumą. Trukmė – iki maždaug minutės. Skirtingai nei anksčiau nagrinėti pasaulio modeliai, šis neturi žaidimų variklio – atmintį laiko pats vaizdo modelis.
Autorius išbando: pasirenka trečiojo asmens perspektyvą, vešlų žalią mišką ateityje ir mažą skruzdėlę; sistema pati praplečia ir detalizuoja sceną. Pridėjus pro šalį bėgantį elnią vaizdas tęsiasi nuo tos pačios vietos, nors elnias atrodo keistokai. Kamera valdoma rodyklių bei W ir D klavišais, tačiau valdymas painus (W juda į dešinę, A – pirmyn), o rezultatas – vidutiniškas. Modelis visiškai atviras: kodas ir svoriai nemokami, leidžiamas ir komercinis naudojimas. Tencent teigia, kad jis veikia su viena RTX 4090, bet tai suspausta, lėtesnė versija; realaus laiko sąranka buvo testuota su aštuoniais duomenų centro GPU.
Palyginamųjų skaičių su kitais pasaulio modeliais nepaskelbta, tad nuoseklumo teiginiai remiasi tik jų demonstracijomis. Autorius mato pritaikymą kadrų planavimui prieš tikras filmavimo sesijas, nors kokybė produkciniam darbui nepakanka.
Reshoot 4D – kameros perkėlimas8:21
Reshoot 4D leidžia perfilmuoti jau nufilmuotą vaizdo įrašą iš naujo kampo – apskrieti žmogų, prisiartinti, padaryti krano ar bullet time judesį. Panašią ByteDance demonstraciją autorius rodė praėjusį mėnesį, bet jos niekas negalėjo naudoti; šį įrankį galima atsisiųsti jau dabar.
Veikimas – keturi žingsniai: sukuriama scenos 3D fiksacija laike (nustatoma originali kamera ir objekto judesys); nustatoma virtuali kamera (pozicija, objektyvas, fokusas arba išankstiniai nustatymai – orbita, kranas); scena perfilmuojama iš naujo kampo, atsirandant neryškumui ir artefaktams fone; galiausiai atviru modeliu LTX atliekamas galutinis apdorojimas, pašalinantis keistumus nuo kraštų.
Demonstraciniame redaktoriuje galima matyti orbitas ir kamerų pozicijas su raktiniais kadrais, tačiau savo medžiagos dar įkelti negalima. Trūkumai: modelis nesukuria nieko naujo už objekto, tad užkadrinės detalės (pavyzdžiui, vaizdas už lango) keičiasi nuo kampo prie kampo; greitas judesys gali išlieti veidą keliems kadrams. Reikia Nvidia vaizdo plokštės ir Comfy UI įgūdžių. Įrankis nemokamas ir open-source, sukurtas vieno kūrėjo, kuris teigia viską padaręs su Claude Code ir Codex.
MovieEdit iš Adobe10:24
MovieEdit – Adobe ir vieno Korėjos universiteto tyrimų modelis, keičiantis tai, kas yra kadre. Pateikus vieną instrukciją (pavyzdžiui, pašalinti vyrą juodu taktiniu kostiumu) jis pašalina objektą iš kiekvieno scenos kadro. Sprendžiama sena problema, kai AI redagavimas dirba tik su vienu kadru ir po montažo pjūvio pakeitimas dingsta. Galima ir parodyti norimą rezultatą: suredagavus vieną kadrą Photoshop’e pakeitimas perkeliamas per visą klipą ir visus pjūvius. Modelis tvarkosi su iki 25 sekundžių klipais ir pirma sukuria greitus grubius juodraščius patikrinimui.
Kol kas tai tik mokslinis straipsnis su pavyzdžiais – atsisiunčiamo modelio nėra, neaišku, ar atsiras Premiere.
Dessa balso modelis11:26
Dessa – balso modelis iš mažos tyrimų laboratorijos Block viduje (Jacko Dorsey įmonė), leidžiantis vesti abipusį pokalbį. Demonstraciniame klipe modelis atkakliai vadina pašnekovą Ronaldo, nors tas aiškina esąs Dever, o pokalbio pabaigoje pavadina jį Renato. Modelis prasimano visą gyvenimą: pasakoja apie spalio 20-ąją gimusį sūnų Darių Johnsoną, nuovargį nuo darbo renkant daržoves, žmoną ir verkiantį kūdikį.
Toks elgesys kyla dėl architektūros: dauguma balso AI verčia kalbą tekstu, leidžia jį per kalbos modelį ir vėl paverčia garsu. Dessa apmokytas nuo nulio iš žmonių pokalbių įrašų – be teksto ir be kalbos modelio po apačia. Todėl jis negavo asistento asmenybės, o išmoko, kaip skamba dviejų žmonių telefoninis pokalbis. Jis taip pat gali klausytis ir kalbėti vienu metu – girdėti, kaip pašnekovas murma „taip“ ir „aha“ modeliui tebekalbant.
Modelio dar negalima naudoti: tai tyrimų peržiūra, prieiga suteikta tik nedidelei AI saugumo tyrėjų grupei. Teigiama, kad jis gali veikti MacBook Pro su M4 Max lustu, bet to niekas už Block ribų nepatikrino. Autorius vadina tai žmogiškiausiai skambančiu AI pokalbiu, kokį girdėjęs, ir priežastimi laiko tai, kad modelis nesistengia padėti kaip asistentas. Akivaizdus minusas – sukčiavimo skambučių potencialas, dėl ko ir ribojamas išleidimas.
Haru 4B15:04
Haru 4B – japonų startuolio Higurashi atviras modelis su ta pačia idėja: klauso ir kalba vienu metu, be teksto žingsnio. Demonstracijoje jis atsako į klausimą apie mėgstamiausią romantinę komediją („Kaip atsikratyti vaikino per 10 dienų“), o pašnekovo įterpiami „okay“ ir „taip“ nenutraukia kalbos.
Kiekviename žingsnyje modelis sulygiuoja tris dalykus – vartotojo garsą, savo garsą ir sakomus žodžius – ir daro tai maždaug septynis kartus per sekundę, todėl žino, kada įsiterpti, o kada tik numykti. MacBook kompiuteryje visas ciklas trunka maždaug penktadalį sekundės. Tai bazinis modelis, skirtas kūrėjams, tad protingų ChatGPT ar Claude lygio atsakymų tikėtis neverta. Modelis jau Hugging Face, kodas – GitHub, yra ir Hugging Face erdvė, tačiau autoriui nepavyko joje užmegzti tikro dialogo – atrodo, kad įrašius ar įkėlus garsą modelis tiesiog prideda savo garsą po to.
Įdomiausia – laikas: atviroji versija pasirodė praėjus vos trims savaitėms po uždarojo Dessa.
Fish Audio Live Three16:47
Trečiasis garso modelis – Live Three iš Fish Audio, tos pačios įmonės, kuri sukūrė Drama 3. Jis skirtas verslui: palaikymo skambučiams, rezervacijoms. Demonstracijoje restorano „drive-thru“ darbuotojas paaiškina, kad trigubo sūrainio nėra (didžiausias – dvigubas už 4,99 dolerio), atsisako pridėti papildomą paplotėlį, priima užsakymą ir informuoja, kad Oreo kokteilių nėra – tik vanilinis, šokoladinis ar braškinis.
Modelį galima pertraukti ir kalbėti jam kalbant. Jis veikia daugiau nei 30 kalbų, kainuoja apie 3,5 cento už minutę, bet tai ribotos trukmės pasiūlymas – metų pabaigoje kaina padvigubės. Testavimui duodama 5 dolerių nemokamo kredito. Atsisiunčiamo modelio nėra, viskas veikia per svetainę ir API prenumeratos principu. Autorius pastebi, kad per maždaug tris savaites nueita nuo įspūdingos tyrimų demonstracijos prie beveik tiek pat gerai veikiančio atviro modelio ir mokamo produkto.
Subvocal akiniai18:39
Subvocal – dviejų Georgia Tech studentų įmonė dabartinėje Y Combinator grupėje, pradėta vasario hakatone. Jų akiniai leidžia kalbėtis su AI neskleidžiant garso: demonstracijoje žmogaus lūpos juda, garso nėra, o pasakyti žodžiai rodomi ekrane – be kameros ir be mikrofono. Technologija remiasi RF jutimu: per veidą siunčiamos mažos galios radijo bangos, matuojama, kaip jos keičiasi judant raumenims, o modeliai iššifruoja signalus į tekstą.
Pristatymo vaizdo įrašas X platformoje surinko per 12 milijonų peržiūrų. Įmonė teigia pasiekianti daugiau nei 200 žodžių per minutę su bet kokiu žodynu, nors paskelbti tyrimai apie tokį radijo jutimą pasiekia daugiausia 50 žodžių žodyną – atotrūkis didelis, o nepriklausomai akinių dar niekas netestavo. Įkūrėjai pripažįsta, kad dabartinis 3D spausdintas prototipas atrodo gerokai prasčiau už svetainėje rodomus akinius. Išankstinis užsakymas – 199 doleriai (grąžinamas užstatas iš 499 dolerių kainos), pristatymas numatytas 2027 m. pirmąjį ketvirtį.
Autorius norėtų, kad tai būtų tikra (patogu diktuoti kavinėje ar lėktuve), bet laukia nepriklausomo testo.
Budget 3D20:44
Budget 3D iš vieno vaizdo sukuria 3D objektą, o išskirtinumas – slankiklis, kuriuo pasirenkama, kiek skaičiavimo galios sunaudoti. Sumažinus jis veikia maždaug dvigubai greičiau ir naudoja mažiau atminties, bet nukenčia kokybė. Pavyzdžiuose su kaubojaus žaislu ir žaisliniu traukiniu pilnas tokenų biudžetas duoda gerą rezultatą, o nuleidus iki 40 % kokybė tampa prasta.
Įprastai tokie modeliai vienodai paskirsto pastangas visoms dalims, įskaitant tuščią erdvę aplink objektą; šis suranda nuobodžias sritis, sugrupuoja jas ir sutelkia pastangas ten, kur yra detalių. Autorius išbando Hugging Face erdvėje: su maksimaliu biudžetu priekis atrodo neblogai, bet pakaušis plokščias, nes modelis nežino, kaip galva atrodo iš nugaros; su minimaliu biudžetu generuojama kur kas greičiau, bet rezultatas prastas. Puslapyje rodomas greičio skirtumas, tačiau kokybės metrikų nėra – spręsti tenka akimis. Lokaliai paleisti reikia mažiau nei 8 GB VRAM, kodas – GitHub, svoriai – Hugging Face, nemokamai galima išbandyti naršyklėje.
Nvidia Motion Bricks23:18
Nvidia tyrimų komandos Motion Bricks animuoja personažą realiu laiku: jį valdote kaip žaidime, o kiekvienas judesys generuojamas vietoje, be jokių rankomis darytų perėjimų. Įprastai animatoriai sukuria šimtus atskirų klipų ir rankomis juos sujungia, o tai reikalauja daug ekspertinio darbo. Šis modelis išmoko iš maždaug 350 000 judesių klipų ir tarpinius etapus susitvarko pats.
Yra dvi dalys. Judėjimas: nurodomas greitis, kryptis ir stilius, kurį galima keisti skrydyje – zombio ėjimas, sužeistos kojos, šuoliavimas. Objektai: užmaskuojamos kelios pagrindinės pozos (ranka ant kardo, sėdėjimas ant suoliuko), o modelis užpildo priėjimą, kontaktą ir judesio užbaigimą – matyti, kaip personažas nueina ir pakelia objektą ar atsisėda. Tas pats modelis veikia kaip judesių sluoksnis Nvidia humanoidinių robotų sistemoje Groot. Unreal Engine viduje to dar naudoti negalima, bet kodas ir apmokyti modeliai jau yra GitHub – pavieniams žaidimų kūrėjams tai personažų animacija be animatoriaus biudžeto.
Flash ALOHA iš Stanfordo24:52
Flash ALOHA – dviejų rankų robotas, kuris pats meta kamuoliuką ir jį pagauna be žmogaus valdymo. Gaudymas robotams sunkus, nes nėra laiko mąstyti, o įprastas mokymas per nuotolinio valdymo įrangą yra lėtas ir nerangus dideliu greičiu, todėl robotai tampa daug lėtesni už žmones.
Sprendimas – rankos, kurias žmogus gali paimti ir judinti ranka: užduotis atliekama visu greičiu, robotas ją įrašo, o nedidelė programinės įrangos dalis išlygina trūkčiojančias vietas atkartojimo metu. Robotas taip pat sulanksto šortus, įdeda baterijas į prietaisą ir nuvalo stalą po valgio. Kiekvienai užduočiai užteko vos 50 demonstracijų, naudojamos tik įprastos kameros. Nurodoma, kad pavyksta daugiau nei 80 % atvejų (vadinasi, vienas gaudymas iš penkių nepavyksta) ir kad greitis artimas žmogaus, nors tiksliau nepaaiškinta. Kodas – GitHub, dokumentacijoje išvardyta visa reikalinga aparatūra.
Autoriui labiausiai įspūdį padarė gaudymo greitis – tokio iš demonstracijų išmokusio roboto jis dar nematė.
Phonebot iš UCLA26:25
Phonebot – UCLA robotikos laboratorijos vaikštantis robotas, apie kurį autorius padarė vieną viraliausių savo shorts. Jis maždaug pusantros pėdos aukščio, o jo smegenys – Android telefonas: kamera veikia kaip akys, ekrano sukimo jutiklis naudojamas pusiausvyrai, o per internetą jungiamasi prie GPT paslaugos, valdančios mąstymą ir judėjimą. Visa kita – maždaug 400 dolerių vertės detalės: 13 mažų variklių, baterija ir 3D atspausdintas korpusas. Testuota su keliais senais išankstinio mokėjimo Android telefonais už 50–80 dolerių.
Robotas eina pirmyn ir atgal, apsisuka, seka žmogų kamera, o nukritęs ant veido pats atsikelia. Vaikščioti jis išmoko simuliacijoje bandymų ir klaidų būdu: taškai už išlikimą vertikaliai ir tempo išlaikymą, baudos už kojų vilkimą. Autorius pastebi problemą – nors nurodomi reikalingi failai ir yra CAD failai, spausdinamų dalių ir pamokos mygtukai nepaspaudžiami, tad įrašymo metu 3D spausdinimo failų ir surinkimo instrukcijos gauti negalima. Robotas kol kas vaikšto tik lygiu paviršiumi ir neturi rankų.
Apibendrinimas ir kvietimas28:30
Autorius siūlo įsivaizduoti derinį: Nvidia judesių modelis, jau valdantis humanoidinius robotus, atsisiunčiamas žmogiškai skambantis balso modelis ir 400 dolerių robotas su telefonu vietoje smegenų – galbūt tai taps būsimo vaizdo įrašo idėja. Jis kviečia komentaruose parašyti, kurį įrankį žiūrovai bandytų pirmiausia, ir pasiūlyti nepastebėtų projektų kito mėnesio apžvalgai, primena apie penktadieninius naujienų vaizdo įrašus ir nemokamą naujienlaiškį futuretools.io.
Originalas: Insane AI Breakthroughs Nobody Is Talking About (Matt Wolfe YouTube kanalas)