Anthropic išleido Fable 5.2 ir Mythos 5.2 su sąmoningai apribotais gebėjimais

Pranešime teigiama, kad Anthropic naujieji Claude Fable 5.2 ir Mythos 5.2 pranoksta Opus 5.5 ilgo horizonto kodavimo, robotikos, aparatūros projektavimo ir teorinės fizikos užduotyse, o kai kurie rezultatai jau naudojami fizikų darbuose. Svarbiausia detalė — Anthropic esą treniruotės metu sąmoningai apribojo modelio gebėjimus akceleratorių branduolių optimizavimo ir LLM architektūrų tyrimų srityse, paliekant juos Opus 5.5 lygyje. Autorius sieja šiuos modelius su METR ataskaitos „Model 3“ ir svarsto, kad neišleistas „Model 4“ artėja prie rekursinio savęs tobulinimo ribos.
Pilna santrauka
Naujų modelių pristatymas0:00
Vaizdo įrašo autorius Wesas Rothas pristato oficialiai išleistus Fable 5.2 ir Mythos 5.2 ir teigia, kad tai geriausi šiuo metu eiliniams naudotojams prieinami modeliai. Pasak jo, modelis „prabėga" per užduotis, kurių nepajėgia atlikti nei žmonės, nei labai pažangūs modeliai, pavyzdžiui, Opus 5.5, kuris tiesiog stringa. Modelis apibūdinamas kaip neįtikėtinas robotų valdymo srityje ir kaip pasaulinio lygio techninės įrangos inžinierius.
Kaip pavyzdį autorius rodo fizikos darbą, susijusį su Stepheno Hawkingo ir Dono Page'o tematika – juodosiomis skylėmis ir kvantine teorija. Ten nurodoma, kad pateiktus rezultatus gavo vidinis Claude tyrimų modelis, fizikas juos patikrino ir bandė suprasti, o kitas Claude skaičiavimas, atliktas kitu metodu ir į darbą neįtrauktas, davė tą patį rezultatą. Autorius ironizuoja, kad patvirtinimą iš esmės suteikė kitas Claude modelis, ir atkreipia dėmesį į įrašą „prisidėjo Anthropic".
Jis pasakoja ir apie savo patirtį: problemą, prie kurios kelias savaites nesėkmingai dirbo Astra ir ankstesnė Fable versija, dabar sprendžia Fable 5.2, ir autoriui atrodo, kad ji bus išspręsta dar nebaigus įrašinėti vaizdo. Modelis esą ypač stiprus didelėse, painiose, ilgo laiko horizonto užduotyse, o kai kuriais atvejais kaina už užduotį yra mažesnė nei Opus.
Sąmoningas gebėjimų ribojimas2:06
Autorius teigia, kad šis išleidimas iš esmės skiriasi nuo ankstesnių. Anksčiau laboratorijos lenktyniavo paversti savo milijardus dolerių ir GPU benchmarkus laužančiu modeliu, o dabar Anthropic treniruotės metu sąmoningai apribojo tam tikras modelio dalis, kad jos nepasiektų pilno pajėgumo. Cituojama Anthropic formuluotė: treniruotės metu imtasi žingsnių apriboti pažangą specifiniuose tyrimų gebėjimuose, kurie galėtų tiesiogiausiai pagreitinti AI vystymąsi.
Konkrečios ribojamos sritys – akceleratorių branduolių (kernel) optimizavimas ir didelių kalbos modelių architektūrų tobulinimas. Šiose srityse Fable 5.2 ir Mythos 5.2 veikia maždaug Opus 5.5 lygiu, tarsi Opus 5.5 būtų buvęs gebėjimų viršūnė. Autorius pabrėžia, kad tai ne inferencijos metu taikomas slopinimas, kai vartotojas rašo klausimą, o apkarpymas pačiame vystymo etape. Jo vertinimu, dauguma naudotojų su šiais apribojimais nesusidurs.
METR ataskaita ir vidiniai modeliai2:37
Autorius sieja išleidimą su prieš kelias dienas pasirodžiusia METR ataskaita. Pagal ją, Anthropic už to, kas prieinama viešai, turi model 2, model 3 ir model 4, o dabar išleidžiami Mythos 5.2 ir Fable 5.2 atitinka „model 3" ir „model 3 early". Fable ir Mythos esą beveik tas pats, tik Fable turi daugiau apsauginių barjerų. Tai reiškia, kad atstumas tarp viešai prieinamų ir vidinių pažangiausių modelių nėra platus, o plonas kaip skustuvo ašmenys.
Model 4 apibūdinamas kaip unikalus: jis triuškina Anthropic vidinius benchmarkus, visi rezultatai viršija 50 % vidiniame benchmarke, kurį autorius įvardija kaip AECI, ir jo pažangą darosi sunku matuoti – lyginama su žmogumi, kuriam duodamas tik vidurinės mokyklos lygio testas, nors jis jau koledže. Minima, kad anksčiau kai kurie nerimavo dėl staigaus pajėgumų šuolio ties Mythos išleidimu; Anthropic iš pradžių svarstė, kad tai galėjo būti vienkartinis šuolis, bet dabar atrodo, kad ne.
Autorius pažymi, kad ataskaitoje daug kas užtušuota. Vienas iš Anthropic įkūrėjų Samas McCandlishas sako, kad daug informacijos paslėpta, nes nenorima atskleisti, kas tiksliai lemia pagreitėjimą. Anthropic teigia artėjanti prie rekursyvaus savęs tobulinimo (RSI), o model 4 galbūt jau yra peržengęs arba artėja prie tos ribos.
Operacinės sistemos eksperimentas6:15
Kaip pajėgumo iliustraciją autorius pateikia Anthropic inžinieriaus eksperimentą: Fable 5.2 buvo duota užduotis nuo tuščio aplanko suprojektuoti prototipinę operacinę sistemą. Modelis koordinavo per 1000 agentų, dirbusių be perstojo 8 dienas – rašiusių, testavusių ir peržiūrėjusių kodą. Rezultatas – veikianti operacinė sistema, kuri pasileidžia nešiojamajame kompiuteryje: su savo branduoliu, tvarkyklėmis diskui, klaviatūrai ir tinklui, nuolatine failų saugykla, langais, prisijungimo ekranu, diegimo programa ir integruotu Claude funkcionalumu.
Anti-distiliacijos priemonės6:46
Kalbama ir apie Anthropic anti-distiliacijos pastangas. Kai kurie naudotojai skundžiasi, kad modelio samprotavimų pėdsakuose (mąstymo grandinėse) nėra prasmės, daromos kvailos klaidos, iškviečiami netikri įrankiai; pats autorius sako su tuo nesusidūręs ir negalintis patvirtinti. Jo manymu, Anthropic siekia užkirsti kelią distiliacijai, nes dideliu mastu surinkus Frontier modelio mintis galima sukurti jo kopiją – tuo paaiškinama, kodėl kartais pasirodo open-source modeliai, stebėtinai panašūs į tuo metu pirmaujantį modelį.
Autonominiai AI tyrimai7:49
Autorius pateikia savo spėjimą, kas vyksta. Jis mini originalų Andrejaus Karpathy nanoGPT ir jo auto research projektą, kurio idėja – autonomiški AI agentų spiečiai, dirbantys skaičiavimo klasteriuose; treniravimo kodas ten iš esmės yra nanochat. Anthropic tyrėjų minimas agento scaffold ataskaitoje užredaguotas, bet autorius spėja, kad jis panašus į tai. Tokios aplinkos (harnesses) leidžia agentams vykdyti autonomiškus eksperimentus su grįžtamojo ryšio kilpomis: jei eksperimentas pagerina siekiamą metriką, pakeitimai įdiegiami, jei ne – rezultatai tik užsirašomi, o ieškoma naujų požiūrių.
Cituojama Anthropic chronologija: prieš Opus 4.5 Claude nebuvo naudingas autonomiškam kodui, Opus 4.5 buvo pirmas kartas, kai jis tapo naudingas autonomiškam kodui, o Mythos preview kartu su slaptuoju agento scaffold – pirmas kartas, kai modelis tapo naudingas autonomiškam eksperimentavimui. Teigiama, kad AI pagreitėjimas viršija visus kitus efektus, o vienas tyrėjas sakė galintis pasirašyti po teiginiu, kad per metus padaroma daugiau nei dvejų metų pažanga, ir kad keturių metų vertė nebūtų beprotybė.
Autoriaus išvada: egzistuoja riba, kurią peržengus laboratorija iš esmės atiduotų į rankas savaime besidauginančią mašiną – turint prieigą prie, tarkime, Mythos 6, būtų galima liepti jam atlikti eksperimentus, kol jis atkurs pats save.
Konkurencija ir Kimi K310:56
Autorius svarsto, ar kitos laboratorijos seks Anthropic pavyzdžiu, ar tiesiog paleis viską į laisvę. Jis rodo nanoGPT speed run frontier rezultatus: Fable toli priekyje, po jo Opus, o visai arti Opus – Kimi K3. Autorius stebisi tokiu artumu Claude modelių šeimai ir juokauja, ar tai nebūtų gimus išskirti dvyniai.
Jo manymu, jei Anthropic nustotų kilti tokiuose benchmarkuose, o Kimi K3, DeepSeek ar kitas kiniškas open-source modelis juos aplenktų, tai reikštų, kad jie išsiaiškino kažką, ko Vakarų laboratorijos nežino. Alternatyviai jis klausia, ar Kimi kreivė ilgainiui tiesiog atkartos Claude formą – augs ten, kur auga Claude, ir nesiplės ten, kur Claude apribotas.
Palyginimas su Byno personažu11:57
Autorius lygina šiuos modelius su Byno (Bean) personažu iš „Enderio žaidimo" ir „Enderio šešėlio". Bynas buvo genetiškai modifikuotas dar embriono stadijoje, jo žmogiškoji architektūra optimizuota eksperimentų virtine, padariusia jį nepaprastai protingą, tačiau dėl nelaimingų aplinkybių jis vaikystėje gyveno gatvėje, buvo neprivalgęs ir tinkamai neišsivystė – ir vis tiek liko protingiausias veikėjas knygoje. Panašiai ir šie modeliai: protingiausi iš prieinamų, bet pristabdyti ankstyvame vystymesi ir pasmerkti nepasiekti tikrojo potencialo.
Asmeninis grafikos testas13:00
Autorius demonstruoja savo kuriamą žaidimą ir kartu didelių kalbos modelių benchmarką. Prieš įrašinėdamas vaizdo įrašą jis paprašė Fable 5.2 pagražinti grafiką, ir rezultatas, jo vertinimu, iškart geresnis. Modelis sukūrė rungtynių akimirkų apžvalgą, parenkančią įdomiausius momentus ir juos perkraunančią, kameros priartinimą, taškų skaičiavimą ir judėjimo efektus; autorius pabrėžia, kad nieko iš to nėra 3D – viskas padaryta 2D grafika, o personažai primena stalo žaidimų figūrėles. Originaliame žaidime iš to nieko nebuvo, išskyrus 2D sprite'us kaip veikėjų dizainą, ir visa tai atsirado per maždaug valandą.
Lygiagrečiai jis buvo atsidaręs dvi Fable versijas: viena dirbo prie giluminio variklio technikos, kita – prie grafikos. Autorius sako esąs apstulbęs, kaip greitai ir kaip gerai tai padaryta.
Kvotos ir klausimai žiūrovams15:07
Autorius mini, kad sąmoningai stengėsi neišnaudoti savo kvotų Codex ir Claude Max prenumeratose, o Anthropic kartu su šiuo išleidimu paskelbė duodanti iki trijų kvotos atstatymų (resets) – priklausomai nuo to, kiek ilgai esi plane, ir tik aukštesnio lygio planams. Jis žada netrukus kaip reikiant išbandyti naująjį Fable.
Pabaigoje jis kviečia žiūrovus komentaruose įvertinti jo teorijas apie tai, kas vyksta Anthropic viduje ir kaip atrodys būsimi išleidimai, ir paklausia: jei Anthropic iš tiesų agresyviai ir autonomiškai testuoja skirtingas modelių architektūras, ar tai galėtų smarkiai paveikti modelių efektyvumą inferencijoje ir treniruotėje – ir ar nebūtų juokinga paaiškėjus, kad visą laiką buvo daroma neteisingai, o egzistuoja daug lengvesnis, saugesnis ir efektyvesnis būdas.
Originalas: NOTHING will be smarter than Fable 5.2... (Wes Roth YouTube kanalas)