← Visos naujienos

ElevenLabs pristato Eleven Realtime — speech-to-speech API su OpenAI suderinamumu

ProduktaiŠaltinis: ElevenLabs YouTube kanalas·
ElevenLabs pristato Eleven Realtime — speech-to-speech API su OpenAI suderinamumu

ElevenLabs paskelbė Eleven Realtime — speech-to-speech API, apdorojantį balso įvestį ir išvestį vienoje sistemoje su maža delsa ir galimybe pertraukti pokalbį. Siūlomi du modeliai: V1 Mini greitiems, išraiškingiems pokalbiams ir V1 Max sudėtingesnėms užduotims, pavyzdžiui, klientų aptarnavimui. API sukurtas ant OpenAI Realtime API, todėl migruojant pakanka pakeisti endpoint'ą, client secret ir modelį, o klientų bei serverio įvykiai lieka tokie patys; modeliai veikia ir Eleven Agents platformoje.

Pilna santrauka

Eleven Realtime pristatymas0:00

ElevenLabs pristatė „Eleven Realtime“ — naują speech-to-speech API, kuris kalbos įvestį ir išvestį apdoroja vienoje sistemoje. Sistema sukurta natūraliems, mažos delsos pokalbiams, kuriuos naudotojas gali bet kada pertraukti. Vaizdo įraše tai demonstruojama gyvu pokalbiu: modelis atsako, o jį pertraukus iškart nutyla ir toliau klausosi.

Du modeliai: Mini ir Max0:32

Siūlomi du modeliai. „Eleven Realtime V1 Mini“ optimizuotas natūraliems pokalbiams — jis greitas, žvalus, pateikia raiškius atsakymus ir tinka AI asistentams, mokymo korepetitoriams ar interaktyviems personažams. „Eleven Realtime V1 Max“ skirtas sudėtingesnėms užduotims, kur reikia tikslių ir apgalvotų atsakymų, pavyzdžiui, potencialių klientų kvalifikavimui ar klientų aptarnavimui. Abu modeliai prieinami tiek tiesiogiai per API, tiek „Eleven Agents“ platformoje.

Suderinamumas su OpenAI Realtime API0:32

API sukurtas OpenAI Realtime API pagrindu, todėl jau naudojantiems OpenAI realtime pakanka pakeisti endpoint'ą į ElevenLabs, naudoti ElevenLabs client secret ir naujuosius ElevenLabs realaus laiko modelius. Kliento ir serverio įvykiai lieka identiški. Pateikiamas suderinamumo vadovas, provedantis per visą sąranką, taip pat galima įdiegti migracijos skill'ą, kuris visą konversiją atlieka viena komanda.

Jungtis, client secret, parametrai1:04

Techninė dalis: aplikacija prie realaus laiko modelio jungiasi per maršrutą v1/convoai/realtime. Tai websocket jungtis, leidžianti vienu metu siųsti ir gauti garsą. Kadangi API rakto nenorima atskleisti naršyklėje, naršyklės aplikacijoms reikia sukurti trumpalaikį client secret per realtime/client secrets maršrutą. Būtent ten nustatoma dauguma parametrų: pasirenkamas modelis (Mini arba Max), nurodomos instrukcijos, išvesties modalumai (garsas arba tekstas) bei įvairūs garso įvesties ir išvesties nustatymai. Užklausos ir atsakymai atitinka OpenAI Realtime API formatą.

Praktinis įdiegimas ir demonstracija2:06

Praktiškai client secret generavimas turėtų būti talpinamas back end'e; pasiruošus jungtis prie websocket, secret gaunamas ir perduodamas jungčiai. Prisijungus mikrofono garsas siunčiamas į jungtį, o ji klausosi atsakymo įvykių ir groja garsą, kai tik jis sugrįžta. Pokalbį galima pertraukti bet kada. Demonstracijoje pažymima, kad naudojami naujausi ElevenLabs modeliai, todėl galimos emocijų žymos, o pasirodymas skamba kaip natūralus pokalbis.

Naudojimas Eleven Agents platformoje2:37

„Eleven Realtime“ veikia ir „Eleven Agents“ viduje. Turint agentą reikia eiti į agentų skirtuką, pasirinkti „configure agent“ (anksčiau sukurti agentai būna po „custom“ skirtuku) ir perjungti į „real time“ variantą, o nustatymuose pasirinkti V1 Mini arba V1 Max — priklausomai nuo pokalbių sudėtingumo ir to, kiek planavimo tikimasi iš agento. Naudojant realaus laiko variantą išlieka visos „Eleven Agents“ galimybės: deterministinės procedūros, workflow'ai, žinių bazė ir analitika apie agentų veikimą.

Apibendrinimas ir prieinamumas3:39

Apibendrinant: „Eleven Realtime V1 Mini“ skirtas greitesniems pokalbiams, „V1 Max“ — reiklesniems; abu prieinami per API nuo paskelbimo dienos ir „Eleven Agents“ platformoje, o daugiau informacijos pateikiama nuorodose po vaizdo įrašu.

Dalintis:

Originalas: Introducing Eleven Realtime for developers (ElevenLabs YouTube kanalas)

Visos 2026 m. spalio 20 d. naujienos · Archyvas