Wes Roth kuria animuotą klipą Genspark Media Studio su agento pagalba

Wes Roth rodo, kaip savo AI valdomos fantasy football lygos „Gridiron Guild“ reklaminį animuotą klipą sukūrė vienoje Genspark Media Studio darbo erdvėje, bendraudamas su agentu. Platformoje sudėti įvairūs modeliai – Seedance, Kling, VEO vaizdo įrašams, Nano Banana, Flux, GPT Image vaizdams, ElevenLabs balsui bei Marble ir Tripo 3D – tad personažų nuoseklumą, „story bible“ taisykles, kadrų blokavimą ir muziką galima tvarkyti neperkeliant failų tarp įrankių. Video yra remiamas Genspark.
Pilna santrauka
Projektas „Gridiron Guild“ ir užduotis0:00
Wes Roth pristato savo jau kurį laiką kuriamą projektą darbiniu pavadinimu „Gridiron Guild“ – tai amerikietiško futbolo žaidimas, perkeltas į Dungeons & Dragons visatą, kur komandas treniruoja, valdo ir rungtynes žaidžia pati AI, o lyga progresuoja savarankiškai. Kadangi žaidimas gana sudėtingas, jam prireikė reklaminio 30–90 sekundžių animuoto klipo, kuris kartu paaiškintų taisykles – tokio, kokį padarytų studija.
Problema ta, kad produkcijos komandos samdymas brangus, animacijos įgūdžių jis neturi (teigia niekada gyvenime net neatidaręs After Effects), o darant pačiam su AI reikėtų bent penkių atskirų prenumeratų: vaizdams, video, balsams, o nuoseklumui – dar ir 3D variklio. Tada tektų tampyti failus tarp įrankių ir rezultatai vis tiek nederėtų tarpusavyje. Sprendimas – Genspark Media Studio, viena darbo erdvė su visais modeliais; video reklamuoja Genspark.
Platformos modelių pasirinkimas1:01
Vaizdo generavimui prieinami Seedance (C Dance), Kling, VEO ir kiti; vaizdams – Nano Banana, Flux, GPT Image, Grok, Imagine, Ideogram, Seedream; balsui – ElevenLabs; 3D – Marble ir Tripo. Visą produkciją planuoja ir vykdo agentas, techninių žinių nereikia. Autorius sako viską padaręs nuo pradžios iki pabaigos tiesiog susirašinėdamas su agentu kaip su bet kuriuo pokalbių robotu.
Vaizdų skiltyje matomi variantai: GPT Image 2, naudojantis nemokamą kvotą (savaitinė nemokama kvota skirta tik nariams, nemokamos paskyros jos negauna), Nano Banana 2 Flashlight už 17 kreditų už vaizdą, Nano Banana 2.1 ir ByteDance Seedream 5.0 Pro. Agentui taip pat galima pasirinkti modelį; autoriui tokiam darbui geriausiai tiko Fable (Claude Fable 5.1), kurį jis vadina šiuo metu bene geriausiu tokiam darbui, tačiau pataria jį taupyti ilgesnėms ir sudėtingesnėms užduotims.
Personažų eskizai ir nuoseklumas2:38
Darbas pradedamas nuo personažų išvaizdos eskizų – kuo anksčiau pavyksta užfiksuoti stilių, tuo lengviau išlaikyti nuoseklumą visuose kadruose. Pradžioje generuojamos žemos raiškos juodraštinės versijos. Autorius rodo, kaip derino pečių apsaugų dydį, agentui duodamas paprastus nurodymus tipo „padaryk didesnį ir pavojingesnį“ – nereikia būti dizaineriu ar žinoti tikslios terminologijos, agentas pats parašo promptus.
Agentas „užšaldo“ pradinį stilių ir naudoja jį kaip referencinį vaizdą, iš kurio kuria naujas variacijas su nedideliais pakeitimais. Anksčiau tam reikėdavo rankomis rašyti šešis atskirus promptus šešioms variacijoms, o ar nauja variacija atitiks referenciją – būdavo monetos metimas, jei apskritai buvo galima įkelti referencinį vaizdą. Čia tas pats personažas išlieka tas pats, tik su skirtingais šarvų variantais. Kai išvaizda patvirtinama, kuriami aukštesnės raiškos kadrai iš skirtingų kampų su detalėmis: plaukais, veidu, pečių apsaugomis, batais.
Story bible kūrimas6:20
Tokie personažų lapai vėliau pažymimi kaip „canon“ – priimta tiesa kuriamoje visatoje. Autorius juokauja apie skirtumą tarp „canon“ ir „cannon“ (istorinio pabūklo) bei apie ginčą, kas pirmas šovė – Greedo ar Han Solo: filme pasirinkti negalime, o Genspark Media Studio – galime, nes čia kuriamas „story bible“, kuriame iš karto surašomos visatos taisyklės.
Demonstracijai jis atidaro naują projektą ir paprašo sukurti anime stiliaus mumijas, žaidžiančias fantasy football. Agentas užduoda patikslinamųjų klausimų: kokį modelį naudoti juodraščiams (pasirenkamas GPT Image 2.5), ar kalbama apie nešiojamus kompiuterius ir draft lentą, ar apie tikras mumijas, žaidžiančias senovinėje arenoje, kokio kraštinių santykio reikia ir koks stilius (pasirenkamas 90-ųjų cel-shaded komedinis anime). Tai sutaupo daug laiko, nes vaizdo modelis pats tokių skirtumų nebūtinai suprastų.
Gavęs juodraštį, autorius liepia paimti mumiją su kamuoliu kaip šabloną ir sukurti aukštos kokybės personažo lapą story bible – stovinčią pozą be kamuolio, kad dėmesys būtų tik personažui (kamuolio išvaizda prireikus kuriama atskirai ir įkeliama atskirai). Mazgai (nodes) drobėje susijungia, rodydami srautą nuo vieno vaizdo prie kito; sudėtingesniuose darbuose tokių sujungtų mazgų būna labai daug.
Story bible turi produkcijos aprašą (production brief), stiliaus apibrėžimą, ir į jį galima tiesiog sumesti aplanką su visais referenciniais vaizdais; Genspark taip pat turi savo AI Drive, kur kaupiasi sugeneruoti failai. Autorius įkėlė komentatorius, įvairius žaidėjus, ištisas komandų sudėtis ir „slaptus ginklus“. Tikslas – kad pasakius „naudok wood elf komandą“ variklis žinotų, ką tai reiškia. Nustatoma tonas, epocha, žanras, išvesties formatas, laiko juosta, o kiekvienas personažas paverčiamas atskiru įvardintu veikėju.
Autorius pabrėžia, kad nieko iš to neįvedė ranka – tik įkėlė vaizdus, o sistema pati atspėjo, kas yra kas, kurie veikėjai geriečiai, kurie blogiečiai; neteisingus dalykus lengva pataisyti patvirtinant arba prašant pakeitimų.
3D scenos ir kadrų blokavimas9:54
Atskira 3D skiltis leidžia aprašyti norimą 3D objektą ir jį sugeneruoti; numatytasis modelis – Marble 1.1 Plus. Autorius nustebo tai radęs, nes Marble 3D pasaulių generavimo variklis yra iš World Labs, už kurio stovi Fei-Fei Li.
Čia naudojama kino terminologija – blocking, t. y. aktorių pozicijų ir judėjimo kadre numatymas dar prieš filmavimą. Prompto šablonas: „block out [kas scenoje] on a white stage“, paskui „shoot the final [kaip atrodo galutinis kadras]“. Režisierius dirba dviem etapais: pirma išdėsto aktorius baltoje scenoje, paskui antru praėjimu užpildo detales. Autorius nurodo du tamsiųjų elfų žaidėjus, bėgančius per aikštę, o galutiniam kadrui – niūrų naktinį fantasy futbolą, tirštą rūką ir lietų, aikštę, stadioną ir žemą sekančią kamerą.
Variklis sukuria 3D sceną su fonu ir atmosfera; paspaudus „open stage“ galima paleisti animaciją, kurioje personažai begaliniu ciklu bėga link kameros, o kamerą galima judinti, priartinti ar atitolinti, ieškant tinkamo kampo – pavyzdžiui, bendro planą nustatančio kadro arba kelių aukštyje atbulomis traukiamos kameros. Tada į 3D sceną įstatomi personažai pagal referencinius lapus (moteriškas personažas ir jam sukurtas vyriškas atitikmuo). Pirmas juodraštis generuojamas su Seedance 480p raiška, jis atitinka 3D pozicijas; foną galima keisti – pirmasis variantas autoriui nepatiko, perdarytas patiko labiau.
Galiausiai galutinis klipas generuojamas 1080p.
Muzikos kūrimas13:30
Muzikai Media Studio siūlo kelis modelius: Murika (pilnos dainos su vokalu, galima įkelti referencinį takelį – net paprastą niūniavimą ar ritmo bakstelėjimą, ant kurio statoma visa kita), ElevenLabs Music, MiniMax Music 3.0, Google Lyria 3.5 ir Cassette AI (tik instrumentalai, be vokalo). Šiuo konkrečiu atveju autoriui labiausiai patiko Lyria 3.5; ElevenLabs norimam stiliui nepasiteisino, nors anksčiau kūrė puikią muziką.
Jo patarimas: nesitikėti hito iš pirmo karto, dirbti kiekybe, bandyti skirtingus stilius ir tekstus. Iš patirties jis įvardija tipines didžiųjų kalbos modelių klaidas rašant dainų tekstus: per dažnas „aš“ ir „tu“ vartojimas, pastangos išlaikyti gramatinį taisyklingumą, per didelis tų pačių žodžių kartojimas (prašant dainos apie futbolą priedainyje nuolat skambės „football“) ir perdėtas tiesmukumas vietoj poetiškumo. Todėl jis rekomenduoja tekstus kurti kitur, juos išgryninti ir tik tada nešti į muzikos modelį. Pademonstruojamos kelių sekundžių ištraukos, pabrėžiant, kad prastas rezultatas viename stiliuje nereiškia, jog modelis blogas.
Patikus takeliui, agento galima paprašyti padėti jį į foną ir sutvarkyti garsumą taip, kad muzika prityltų, kai kalba balsas, ir atvirkščiai.
Perdangos ir kauliuko metimas17:16
Aiškinamiesiems video pravartu naudoti perdangas – tekstą, vaizdus ir panašiai. Pavyzdžiui, reikėjo parodyti kauliuko metimą realiu laiku: autorius turėjo du klipus, kurių vieno pabaiga buvo kito pradžia, ir nurodė agentui tarp jų įterpti kauliuko metimą – klipas baigiasi, metamas kauliukas, o antrasis klipas parodo rezultatą. Pirmą kartą sistema pati parodė dvidešimties sienų kauliuką, ko paprastai ir tikiesi. Taip pat paminima „get inspired“ skiltis su bendruomenės kurtais video, tarp jų realistiškesnio stiliaus darbais, TikTok šokiais ir judesių perkėlimu iš vieno video į kito žmogaus atvaizdą.
Montažas viename lange18:49
Atskiro video redaktoriaus nereikia – Video Composer leidžia montuoti tiesiog drobėje. Du būdai: sujungti mazgus arba atidaryti kompozitorių ir į jį tiesiogiai pridėti medijos. Paspaudus klipus, jie keliauja į laiko juostą, kur juos galima vilkti ir pertvarkyti, pridėti subtitrus, muziką, apkarpyti, keisti eiliškumą, greitį ir eksportuoti. Autorius parodo, kaip iš sekos, kurią sudaro bendras planas, komandų rikiuotė, raudonos ir mėlynos komandų „stulpai“ bei veiksmas, pašalina rikiuotės dalį – arba padalijant ir ištrinant, arba naudojant „trim left“ ir „trim right“. Tada eksportuoja atgal į drobę.
Jis pastebi, kad agentus varantys modeliai darosi tikrai geri video montaže, o Fable esąs aukščiausio lygio.
Galutinis klipas ir siūlymas išbandyti20:59
Be trumpo intro, autorius padarė ir ilgesnį variantą – aiškinamąjį klipą su dviem komentatoriais, grafu Vespera ir Snickett, kurie paaiškina taisykles: dvi komandos, vienas dygliuotas kamuolys, kurį reikia nunešti į varžovų zoną; treneriai eina paeiliui po vieną žaidėją (judėti, smūgiuoti, mesti); kiekvienas rizikingas veiksmas yra kauliuko metimas, o nesėkmė baigia visą ėjimą ir atiduoda kamuolį; blokuojant metami blokavimo kauliukai, stipresnis žaidėjas meta jų daugiau ir renkasi rezultatą; parkritus metama prieš šarvus, o jiems neatlaikius – prieš traumą (apsvaigimas, nokautas, išnešimas su medikais goblinais).
Pristatomi komandų skirtumai: miško elfai puikiai meta, driežažmogiai greitai bėga, nykštukai užsispyrę ir šarvuoti, žiurkėžmogiai labai gausūs, maro komanda smirdi, o goblinai veikiau daro nusikaltimus šalia žaidimo (grandininis pjūklas, teisėjo papirkinėjimas, garvežys-volas). Pasitaiko ir minios įsiveržimas, o trolis gali sviesti komandos draugą: metus du ar daugiau goblinas nuskrenda ir pelno taškus, o metus vienetą trolis jį suvalgo.
Pabaigoje autorius apibendrina: viena idėja, viena darbo erdvė ir užbaigtas reklaminis klipas jo projektui, kurio kitaip nebūtų padaręs nesamdydamas žmogaus. Jis nurodo, kad Genspark Media Studio nuoroda yra aprašyme, o registruojantis per ją gaunami nemokami kreditai išbandymui, dar kartą padėkoja rėmėjui Genspark ir sako, kad kurdamas labai smagiai praleido laiką.
Originalas: AI video just got scary good... (Wes Roth YouTube kanalas)