Naujasis Anthropic modelis Remote Labor Index teste pasiekė 41 proc. žmogaus lygio

Pranešime teigiama, kad naujas Anthropic modelis „Claude Fable 5.2“ Remote Labor Index benchmark'e, sudarytame iš 240 realių laisvai samdomų darbų (3D modeliavimas, animacija, web aplikacijos), atliko apie 41 proc. užduočių žmonių lygiu — prieš metus geriausias rezultatas siekė 2,5 proc., o prieš du mėnesius 18 proc. Kaip pavyzdžiai minimi Anthropic darbuotojo iš vieno prompt'o per ~8 val. sugeneruotas šaudyklės žaidimas (apie 550 USD API sąnaudų) ir Uber saugumo auditas su ~170 agentų. Kartu pažymima, kad skaičius pateikia pati Anthropic, Google Gemini pirmauja verslo automatizavimo teste, o 41 proc. vis tiek reiškia, kad dauguma darbų nepavyksta.
Video eiga
- Benchmark'o rezultatas — Remote Labor Index su 240 realių laisvai samdomų užduočių, kuriose modelis pasiekė 41 proc.
- Praktiniai pavyzdžiai — per 8 valandas sukurta šaudyklė su savo modeliais, tekstūromis ir garsais bei Uber kodo saugumo auditas su ~170 agentų.
- Apribojimai — skaičius iš pačios Anthropic, Gemini lieka stipresnis verslo automatizavimo teste, o dauguma užduočių vis dar nepavyksta.
Originalas: Fable 5.2 Is Quite Insane! (Matt Wolfe YouTube kanalas)