← Visos naujienos

DevDay 2026: GPT-Live pristatytas kaip pilno duplekso balso modelis

ModeliaiŠaltinis: OpenAI YouTube kanalas·
DevDay 2026: GPT-Live pristatytas kaip pilno duplekso balso modelis

OpenAI inžinieriai pademonstravo GPT-Live — balso modelį, kuris nuolat siunčia ir priima garsą (full duplex), todėl gali klausytis ir kalbėti vienu metu bei pats valdo eiliškumą be atskiro voice activity detector. Pranešime parodyta, kaip fone dirba atskiras agentas, kaip antra GPT-Live sesija su savo balsu ir instrukcijomis naudojama tiek personažams, tiek evaluacijoms, o tonas, akcentas, pertraukimų toleravimas ir reakcijos yra valdomi per prompt'ą.

Pilna santrauka

Pranešėjai ir sesijos struktūra0:19

Pranešimą DevDay renginyje vedė Alex, inžinierius, dirbantis prie GPT Live, ir Erika, dirbanti su startuoliais, kuriančiais balso programėles. Prie jų prisijungė trečia „pranešėja" Marin — balso agentė, veikianti GPT Live pagrindu ir atliekanti bendravedėjos vaidmenį. Visa sesija, įskaitant skaidres ir diagramas, buvo valdoma gyvai vien balsu, be jokio atskiro demonstracinio nešiojamojo kompiuterio valdymo. Pranešimas suskirstytas į tris demonstracijas, iliustruojančias tris pagrindines sąvokas: modelio asmenybę, delegavimą ir beeilę (turnless) architektūrą.

Full duplex modelis ir Colinas1:40

Pirmoje dalyje paaiškinta, kad GPT Live yra full duplex balso modelis: skirtingai nuo kitų balso modelių, sukurtų aplink griežtą vartotojo ir asistento eiliškumą, jis nuolat srautu siunčia garsą į abi puses, todėl gali klausytis ir kalbėti tuo pačiu metu. Demonstracijai Marin į sceną „pakvietė" Coliną — personažą niurzgiu britišku balsu, kuris iš tikrųjų buvo atskira GPT Live sesija su savo balsu ir instrukcijomis, paleista back-end'o po Marin delegavimo. Trys dalyviai sužaidė žaidimą „Laimei, nelaimei" apie vykstančią demonstraciją, keisdamiesi sakiniais, įsiterpdami ir juokdamiesi vienas per kitą.

Pabrėžta, kad Colino sesijai nereikėjo jokių įrankių — tai buvo grynai pokalbinė sesija, o tokia sąranga tinka treneriui, korepetitoriui ar partneriui idėjoms svarstyti; GPT Live gali veikti ir visai be back-end'o.

Eiliškumas be VAD4:26

Toliau, naudojant pokalbio diagramą, paaiškinta, kad siųsdamas garso srautą modelis nuolat priima sprendimus, ką daryti toliau, ir pats tvarko eiliškumą — jam nereikia atskiro balso aktyvumo detektoriaus (VAD), kuris nustatytų, kada kažkas baigė kalbėti. Dėl to kūrėjai gali atsisakyti euristikų kalbėjimo pabaigai nustatyti. Girdimos mažos reakcijos, atgaliniai signalai (back channels), sprendimai, kada įsiterpti, o kada leisti pašnekovui tęsti.

Antra sesija evaluacijoms5:29

Antros sesijos paleidimas, kaip buvo padaryta su Colinu, pristatytas ir kaip būdas vykdyti evaluacijas: galima sukurti dirbtinius vartotojus pagal produkcinius scenarijus, suteikti jiems skirtingas asmenybes, balsus ir tikslą, ir stebėti, kaip programa tvarkosi su pokalbiu. Teigiama, kad būtent taip ir buvo vertinama visa šios dienos demonstracija. Antra sesija gali veikti ir kaip repeticijos partneris, padedantis patikrinti, ar pokalbio eiga natūrali ir ar žmonės gali įsiterpti be trinties.

Asmenybės valdymas promptu6:00

Daug dėmesio skirta valdomumui: tonas, akcentas, atgalinių signalų naudojimas, juokas, entuziazmo lygis, kantrumas pertraukiant ir net tai, ar modelis apskritai kalba, nurodoma prompte. Kūrėjams siūloma apsispręsti, ar agentas turi būti šiltas ir įtraukiantis, ar laikytis nuošaly ir leisti vartotojui kalbėti, galbūt įsiterpti tik iškilus tam tikroms temoms, ir iteruoti promptą iki norimos patirties. Marin šiai demonstracijai buvo nurodyta kartais palikti erdvės, o kartais įsiterpti aiškinant; trumpa reakcija laukiama, bet pilno atsakymo po kiekvieno prašymo nereikia.

Marin pridūrė, kad prompte nurodoma ne tik tai, ar ji kalba, bet ir kaip — gaivališkai ar santūriai, greitai metant juokelį ar tyliau.

Piešimo spėjimo žaidimas7:33

Antroji demonstracija — piešimo spėjimo žaidimas, pristatytas kaip ilgai naudotas neformalus benchmark'as, kur gerai matoma delsa ir asmenybė. Marin paleido žaidimą, back-end'as piešė, o publika spėliojo: atspėta „žmogus, leidžiantis aitvarą", „žirafa" ir „karuselė" (buvo ir spėjimas „Pizza Hut"). Svarbiausia, kad Marin galėjo toliau kalbėtis, kol back-end'as piešė ir tikrino spėjimus.

Delegavimas ir architektūros dalys9:38

Paaiškinant delegavimą parodyta tiesioginė ataskaitų lenta (live scoreboard), kurią galima sustabdyti ir išanalizuoti. Greta garso ir transkripcijų GPT Live gali paleisti delegacijas — naujas veikiančias gijas sudėtingesnėms užduotims, kurias atlieka galingesnis modelis ar agento karkasas, o rezultatai perduodami atgal balso modeliui pasakyti. Piešimo žaidimo architektūra dalijama į tris dalis: vartotojo sąsają, kuri rodo piešinį; balso sąsają, palaikančią pokalbio eigą; ir back-end'ą, naudojantį Astra 6 su kodo vykdymu piešiniui generuoti.

Toks padalijimas leidžia kontroliuoti, kokią informaciją gauna kiekvienas komponentas: balso sąsajai siunčiamas teisingas atsakymas, kelios užuominos ir nurodymas, kada jas atskleisti, todėl ji gali reaguoti į spėjimus be kelionės į delegaciją ir atgal. Back-end'as fiksuoja teisingą spėjimą fone, nestabdydamas piešimo.

Trys informacijos perdavimo srautai11:42

Aprašyti trys būdai perduoti informaciją iš back-end'o balso modeliui. Pirma — tylūs konteksto atnaujinimai į modelio mąstymo srautą, kad paprašius užuominos ar rato atnaujinimo modelis jau turėtų reikalingą informaciją ir nereikėtų vėl deleguoti. Antra — ištariamas turinys per komentarų srautą, pavyzdžiui, lyderių lentelės rezultatai, kuriuos Marin paskelbia garsiai. Trečia — instrukcijų srautas, kuriuo galima vairuoti pokalbį, įdiegti apsauginius barjerus ar duoti naujas sistemines instrukcijas (būti glaustesniam, vengti tam tikrų temų). Šie trys būdai atitinkamai atnaujina tai, ką modelis žino, duoda jam ką pasakyti arba keičia jo elgseną.

Kada siųsti įvykius — produkto sprendimas: viduje testuojant balsą Codex'e vienas pirmųjų nusiskundimų buvo per dažni ir per išsamūs atnaujinimai — vykdant 20 minučių trukmės Codex užduotį nenorima kas 30 sekundžių girdėti apie kiekvieną kviečiamą įrankį, bet paklausus, kas vyksta, modelis turi turėti pakankamai konteksto atsakyti.

Du delegavimo būdai API13:47

API siūlo du delegavimo būdus. Kliento delegavimas (naudotas šioje demonstracijoje) tinka, jei jau turima agento karkasas ar tekstinis darbo srautas: delegavimo įvykiai su ID ir laiko žyma gaunami tiesiai iš balso modelio, o užduotis vykdo esamas modelis, karkasas ir verslo logika. Tai tinka ir kaskadinėms balso sistemoms (speech-to-text, tekstinis agentas, text-to-speech) — GPT Live gali tiesiog įsiterpti kaip balso ir kalbėjimo sąsaja. Karkasas gali naudoti pokalbio transkripcijas ir aplikacijos būseną užklausai suformuoti, o rezultatus grąžinti kaip tylų kontekstą, ištariamą turinį arba sistemines instrukcijas. Taip sukurtas Codex Voice.

Alternatyva — responses delegavimas, kai GPT Live pati tvarko back-end'o užklausas: pasirenkamas per OpenAI responses API veikiantis modelis, sukonfigūruojamos instrukcijos ir įrankiai, o GPT Live pateikia pokalbio kontekstą. Tai pažįstama tiems, kas naudojo tool calling: apibrėžiamos funkcijos, gaunami struktūrizuoti rezultatai su funkcijos pavadinimu ir argumentais. Taip pat galima įjungti hostinamus įrankius, pavyzdžiui, web paiešką ar vaizdų generavimą, kuriuos paleidžia OpenAI, o Live API grąžina rezultatus į balso pokalbį.

Pabrėžta, kad šis back-end'o lankstumas yra labiausiai neįvertinta GPT Live dalis, nes leidžia palikti esamą technologijų steką (modelį, karkasą, evalus) ir tiesiog pridėti balso sąsają, todėl migracija tampa prieinamesnė.

Veikimas triukšmingoje aplinkoje17:23

Trečia demonstracija skirta beeilei architektūrai triukšmingoje aplinkoje. Marin vėl atidarė tiesioginę ataskaitų lentą, paleido foninius garso efektus, garsumą padidino iki 50 %, vėliau nuotaiką pakeitė į 1888-ųjų vaškinio cilindro įrašo stilių, o pabaigoje sumažino garsą iki 15 %. Vedėjai pabrėžė, kad pokalbis, klausimai, persigalvojimai ir Marin įsiterpimai bei delegavimas veikė nesutrikdyti garsaus fono, o bet kuris balso modelis, besiremiantis balso aktyvumo aptikimu ar tyla, tokiomis sąlygomis neveiktų.

Balso sąsajos privalumai vartotojui19:28

Iš šios demonstracijos daroma išvada, kad balsas „suplokština" valdiklius ir padaro nišines funkcijas (pavyzdžiui, prašymą „duok 1880-ųjų nuotaiką") prieinamas vartotojui, kuris žino, ko nori, bet nežino, kur tas nustatymas yra. Balsas taip pat labai informacijos tankus: žmonės noriau pakalba porą minučių, nei viską surašo, todėl gaunamas turtingesnis kontekstas. Užuot laukęs tylos, modelis priima triukšmingą įvestį ir nuolat sprendžia, ar kalbėti, ar klausytis, ar kviesti įrankį, todėl vartotojai gali naudotis juo oro uoste su garsiakalbiu, gamykloje, automobilyje su daug kalbančių žmonių ar Fort Mason per DevDay, neieškodami ramios vietos.

Finalinis vaizdų demo ir kvietimas kurti20:29

Pabaigai Marin, pavadinta greičiausiu ir naujausiu OpenAI balso modeliu, naujausiu ir greičiausiu vaizdų modeliu sugeneravo 12 paveikslėlių tinklelį su DevDay padarėliais, keliaujančiais po pasaulį. Vedėjai apibendrino, kad visą pranešimą veikė viena sesija: žaisti žaidimai, generuoti paveikslėliai, pridėta garso, pakviestas Colinas, o programėlė visą laiką priiminėjo tuos pačius sprendimus — ką tvarko back-end'as, ką rodo sąsaja ir ką balso modeliui reikia žinoti bei pasakyti. Žiūrovai paraginti nukreipti Codex į OpenAI Developer plugin bei naująją GPT Live Starter programėlę ir pradėti kurti.

Marin padėkojo už kartu praleistą laiką, o vedėjai palinkėjo gero DevDay ir išreiškė nekantrumą pamatyti, kas bus sukurta su GPT Live.

Dalintis:

Originalas: Building with GPT-Live and Image Generation | DevDay 2026 (OpenAI YouTube kanalas)

Visos 2026 m. lapkričio 11 d. naujienos · Archyvas