← Visos naujienos

Google paaiškina EmbeddingGemma 2 — atvirą multimodalinį embedding modelį

ModeliaiŠaltinis: Google for Developers YouTube kanalas·
Google paaiškina EmbeddingGemma 2 — atvirą multimodalinį embedding modelį

Google pristato, kaip EmbeddingGemma 2 tekstą, kodą, vaizdus, video ir garsą atvaizduoja vienoje bendroje embedding erdvėje: modalumams skirti enkoderiai paruošia įvestis, o dvikryptis transformer jas sulieja į vieną vektorių. Modelis inicijuojamas iš Gemma 4, distiliuojamas iš Gemini Embedding 2 ir apmokomas contrastive bei spread‑out nuostoliais. Matryoshka reprezentacijos ir INT4 kvantavimo mokymas leidžia jį paleisti ribotų resursų ir edge įrenginiuose; svoriai prieinami Hugging Face ir Kaggle.

Saulėlydžio nuotraukos vektorius atsiduria šalia teksto „golden hour“ — tekstas, garsas ir vaizdas gyvena vienoje erdvėje, o garsas prieš tai virsta spektrograma.

Pilna santrauka

Kas yra embeddings0:00

Vaizdų paieška, šlamšto aptikimas pašto dėžutėje ar vaizdo įrašų rekomendacijos dažnai remiasi embeddingais. Embedding — tai skaičių sąrašas, didelio matmenų skaičiaus vektorius, perteikiantis duomenų prasmę. Kuo du vektoriai erdvėje arčiau vienas kito, tuo semantiškai panašesni jų atstovaujami duomenys.

Bendra multimodalinė erdvė0:34

EmbeddingGemma 2 atvaizduoja tekstą, kodą, vaizdus, video ir garsą į vieningą embedding erdvę. Dėl to saulėlydžio nuotraukos embedding atsiduria šalia teksto „golden hour“. Į vieną įvestį galima sujungti kelis modalumus: modelis savaime supranta persipynusias skirtingų modalumų sekas ir sukuria vieną bendrą turinio reprezentaciją. Tokius embeddingus galima naudoti dokumentų paieškai pagal užklausą, klasifikavimui, grupavimui į klasterius ir kitoms užduotims.

Modalumų enkoderiai1:04

Kaip ir ankstesnėje EmbeddingGemma versijoje, galutines reprezentacijas kuria vienas neuroninio tinklo karkasas. Skirtumas — kaip apdorojamos įvestys prieš generuojant embeddingą. Vietoje to, kad viskas iškart patektų į vieną modelį, neapdorotos įvestys pirmiausia praeina per konkrečiam modalumui skirtus enkoderius. Vaizdo enkoderis paveikslus ar video kadrus suskaido į mažus patch'us. Garso enkoderis neapdorotas garso bangas paverčia vizualia reprezentacija — spektrograma — ir ją supjausto į trumpus segmentus.

Kiekvienas enkoderis išveda vektorius: po vieną kiekvienam vaizdo patch'ui ir po vieną kiekvienam 40 milisekundžių garso intervalui, ir projektuoja juos į bendrą erdvę, tarnaujančią kaip bendra kalba, kuria karkasas apdoroja visus modalumus kartu.

Transformer ir embeddingo sudarymas1:35

Branduolyje veikia dvikryptis transformer, kuris įvertina skirtingų įvesties dalių svarbą, jas kontekstualizuoja ir sulieja informaciją tarp modalumų. Tada trys žingsniai tarpinę transformerio išvestį suspaudžia į vieną embeddingą: mean pooling suvidurkina vektorius, suspausdamas seką į vieną reprezentaciją; dense sluoksnis projektuoja suvidurkintą vektorių į galutinę formą; normalizavimas perkelia vektorių ant vienetinės sferos, o tai užtikrina mokymo stabilumą ir efektyvų palyginimą.

Vienas svarbus patobulinimas — per-layer inputs. Vietoj to, kad įvesties kontekstas į transformerį būtų paduodamas tik kartą, pritaikyta įvesties versija įterpiama kiekviename sluoksnyje, taip užtikrinant, kad pirminis signalas neprarandamas net giliausiuose sluoksniuose. Dėl šių ir kitų patobulinimų EmbeddingGemma 2 išlieka lengvesnis ir greitesnis už pirmtaką.

Mokymo procesas2:37

Mokymas vyksta dviem etapais: pre-finetuning ir finetuning. Modelis nemokomas nuo nulio — jis inicijuojamas iš iš anksto apmokyto Gemma 4 dekoderio modelio, tad dar prieš embeddingų mokymą paveldi platų pasaulio žinojimą. Vėliau per distiliaciją EmbeddingGemma 2 mokosi iš daug didesnio mokytojo — Gemini Embedding 2 — embedding erdvės.

Finetuning etape reprezentacijos tikslinamos naudojant contrastive ir spread-out nuostolių tikslus. Contrastive loss paaštrina embedding erdvę, mokydamas panašumo ir priešpriešos sampratų: teigiamos poros traukiamos arčiau, neigiamos stumiamos tolyn. Taip pat naudojami same tower negatives — pridedama daugiau neigiamų porų tarp to paties modalumo elementų, kad jie būtų atstumti vienas nuo kito. Tai esminga tikrai omnimodalinei paieškai, kad rezultatai nebūtų pakrypę į kurį nors vieną modalumą.

Spread-out loss užtikrina, kad embeddingai būtų išsklaidyti ir visiškai išnaudotų embedding erdvės išraiškingumą, todėl juos galima efektyviai ieškoti vektorinėse duomenų bazėse, o jie patys atsparūs kvantavimui.

Matryoshka ir kvantavimas3:39

Kuo daugiau modalumų galima embedinti, tuo daugiau galima indeksuoti, o milijonų vektorių saugojimas greitai išnaudoja saugyklą. Matryoshka Representation Learning leidžia įdėti vienus į kitus mažėjančio dydžio embeddingus: nuostolių funkcijos taikomos embeddingų prefiksams, kad net sutrumpintos versijos būtų galingos ir pilnavertės reprezentacijos. Taip galima pasirinkti kokybės ir našumo kompromisą be modelio permokymo ar keitimo.

Su vieningu modeliu vos keliomis Python eilutėmis galima vykdyti multimodalinę paiešką, pavyzdžiui, ieškoti video bibliotekoje pagal garso įrašą arba surasti garso efektus pagal tekstinį prompt'ą. Dėl quantization aware training, suspaudžiančio modelio apimtį iki INT4, EmbeddingGemma 2 veikia dar greičiau edge įrenginiuose.

Prieinamumas4:10

EmbeddingGemma 2 yra mažesnis ir greitesnis, o dabar dar ir mato, girdi bei skaito. Modelį galima atsisiųsti iš Hugging Face ir Kaggle, pradžiai siūlomi cookbooks, o daugiau modeliavimo detalių pateikiama techninėje ataskaitoje.

Dalintis:

Originalas: EmbeddingGemma 2: How natively multimodal embeddings work (Google for Developers YouTube kanalas)

Visos 2026 m. lapkričio 17 d. naujienos · Archyvas