ElevenLabs pristatė Scribe v3 ir Scribe v3 Live kalbos atpažinimo modelius

ElevenLabs išleido du naujus speech-to-text modelius: Scribe v3 įrašytam garsui daro 27 % mažiau žodžių klaidų nei v2 102 kalbomis, o žemos delsos Scribe v3 Live — 44 % mažiau klaidų 73 kalbomis ir pirmą kartą žymi kalbėtojus pokalbio metu. Pridėta protingesnė kalbėjimo eilės (turn) detekcija, daugiakalbis režimas sakinio viduryje keičiamoms kalboms, raktinių terminų bibliotekos (iki 1 000 ir 10 000 terminų) bei formatavimo taisyklės paprasta kalba. Modeliai veikia su duomenų rezidavimo aplinkomis ES, Indijoje ir Singapūre, turi zero-retention režimą ir yra HIPAA tinkami; API atnaujinimas — vienos eilutės pakeitimas.
Pilna santrauka
Kodėl svarbi transkripcija0:00
ElevenLabs pristatė du naujus kalbos atpažinimo (speech-to-text) modelius – Scribe V3 ir Scribe V3 Live. Įžangoje pabrėžiama, kad kiekvienas garsu paremtas produktas prasideda nuo transkripcijos: susitikimų užrašai, balso agentai, dubliavimas, klinikiniai įrašai. Kiekviena transkripcijos klaida keliauja toliau į kitus procesus, o jos taisymas vėlesniuose etapuose kainuoja vis brangiau. Realus garsas esą netvarkingas: susitikimuose žmonės kalba vienas per kitą, klientas judrioje gatvėje gali stabtelėti sakinio viduryje, o pagalbos skambučiuose dalyviai gali kalbėti skirtingomis kalbomis.
Du nauji Scribe V3 modeliai0:30
Scribe V3 skirtas įrašytam garsui: jis daro 27 % mažiau žodžių klaidų nei Scribe V2 102 kalbomis ir, teigiama, turi tiksliausias kalbėtojų žymes iš visų kompanijos testuotų modelių. Scribe V3 Live yra mažos delsos modelis realaus laiko garsui: jis daro 44 % mažiau klaidų nei Scribe V2 Realtime 73 kalbomis ir pirmą kartą žymi, kas ką pasakė, žmonėms dar tebekalbant.
Penki kūrėjų prašymai1:00
Abu modeliai gimė iš penkių dažniausiai pasikartojančių prašymų, kuriuos komanda girdėjo iš su Scribe kuriančių kūrėjų: susitikimų programėlės norėjo geresnių kalbėtojų žymių, kai kalba trys ar daugiau žmonių; balso agentų komandos – kad skambinantieji nebūtų nutraukiami stabtelėjus; realaus laiko produktai – kad realaus laiko tikslumas prilygtų įrašyto garso tikslumui; komandos Indijoje – kad hindi kalba prilygtų anglų kalbai net tada, kai skambinantysis sakinio viduryje pereina į kitą kalbą; visi norėjo daugiau kontrolės, ką gauna atgal.
Kalbėtojų atpažinimas ir eilės aptikimas1:31
Dėl kalbėtojų žymių: įrašuose su trimis ar daugiau kalbėtojų, kur dauguma modelių nepavyksta, Scribe V3 daro 17 % mažiau kalbėtojų klaidų nei Scribe V2. Pateikiamas demonstracinis pokalbio pavyzdys su keliais kalbėtojais, derinančiais išleidimo datą (ketvirtadienis ar penktadienis) ir pranešimą palaikymo komandai. Scribe V3 Live šias kalbėtojų žymes perkelia į realų laiką.
Kita naujovė – kalbėjimo eilės (turn) aptikimas. Dauguma balso agentų nusprendžia, kad žmogus baigė kalbėti, po tylos ruožo, tačiau trumpa tyla nutraukia sakinio viduryje stabtelėjusį kalbėtoją, o ilgesnės tylos laukimas verčia agentą atrodyti lėtą. Scribe V3 Live klausosi ne tik garso, bet ir paties pokalbio konteksto, todėl skambinantysis, sustojęs sąskaitos numerio viduryje, išlaiko savo eilę. Tai tas pats eilės aptikimas, kurį jau naudoja ElevenLabs agentai.
API valdikliai ir raktiniai terminai2:03
API lygmenyje kūrėjai gauna daugiau kontrolės. Scribe V3 atpažįsta, kokių kalbų gali būti įraše, leidžia pasirinkti, ar skaičiai grąžinami skaitmenimis, ar žodžiais. Raktinių terminų pateikimas (key term prompting) priima iki 1 000 terminų, kurių tikimasi įraše, pavyzdžiui, prekių ženklų pavadinimų ar žargono. Transkripcijos redagavimai gali sekti formatavimo taisykles, parašytas paprasta anglų kalba, pavyzdžiui, nurodymą kiekvieną datą rašyti formatu metai, mėnuo, diena.
Scribe V3 Live papildomai turi daugiakalbį režimą skambučiams, kuriuose kalba keičiasi sakinio viduryje, ir raktinių terminų biblioteką iki 10 000 terminų; modelis ją tikrina tik išgirdęs tikėtiną atitikmenį, todėl skambutyje galima naudoti visą medicinos žodyną ar produktų katalogą.
Testų rezultatai pagal kalbas3:05
Abu modeliai buvo vertinami prieš Scribe V2 ir kitus populiarius modelius su tais pačiais duomenų rinkiniais. Scribe V3 turi mažiausią kalbėtojų klaidą iš visų testuotų modelių esant bet kokiam kalbėtojų skaičiui 102 kalbomis ir sumažina žodžių klaidų dažnį 27 %, o pagerėjimas matomas kiekvienoje kalboje: anglų – 23 %, hindi – 39 %. Didžiausi pokyčiai – mažų išteklių kalbose: kantoniečių kalboje klaidų dažnis krinta nuo 22,9 % iki 4,1 %. Realiu laiku Scribe V3 Live sumažina semantinį žodžių klaidų dažnį (vertinantį, ar išlieka prasmė) 44 %, pranoksta visus šešis testuotus realaus laiko modelius, o graikų kalboje pagerėja 69 %.
Ką procentai reiškia praktiškai3:36
Siekiant paaiškinti procentus, pateikiamas valandos trukmės susitikimo pavyzdys – maždaug 9 000 žodžių. Skirtumas tarp 4 % ir 2 % žodžių klaidų dažnio yra 180 klaidingų žodžių, po tris kiekvienai kalbėjimo minutei. Kiekvienas kalbėtojų klaidos procentas atitinka 36 sekundes kalbos, priskirtos ne tam vardui. Klaidos telkiasi varduose, skaičiuose ir žargone: pelno rezultatų skambutyje 15, išgirstas kaip 50, atsiduria analitiko modelyje.
Duomenų sauga ir prieinamumas4:07
Abu modeliai pagal nutylėjimą veikia JAV, su izoliuotomis aplinkomis ES, Indijoje ir Singapūre duomenų rezidavimui. Nulinės saugojimo trukmės (zero-retention) režimas ištrina garsą ir tekstą vos užbaigus užklausą, abu modeliai yra HIPAA tinkami. Scribe V3 Live jau veikia ElevenLabs agentuose, o Scribe V3 tapo numatytuoju modeliu ElevenLabs programėlėje. Atnaujinimas per ElevenLabs API yra vienos eilutės pakeitimas – model ID nustatomas į Scribe V3 arba Scribe V3 Live.
Originalas: Introducing Scribe v3 for developers (ElevenLabs YouTube kanalas)