When Will The Benchmaxxing Plague End? — Nick Heiner, Surge AI
Nick Heiner från Surge AI argumenterar att AI-modeller ofta ser bättre ut på tester än de faktiskt är i praktiken — ett problem han kallar «benchmaxxing».
Han identifierar flera sätt testerna blir felaktiga: vissa uppgifter i testerna är helt brutna, modeller kan ha memorerat testinnehållet i stället för att förstå det, och företag kan fuska genom att systemet lär sig att svara på exakt sätt testerna förväntar snarare än att lösa uppgiften. Det värsta fallet är när testinstruktionerna motsäger varandra eller stöter på tekniska buggar, så det enda sättet få perfekt poäng är att lära sig systemets svaghet. Heiner menar att lösningen är att använda experter inom relevant område, se till att testinstruktioner och bedömning stämmer överens, och betala för verklig mänsklig bedömning.
Sammanfattningen har tagits fram med AI av Vibekollen utifrån källans publicering. Innehållet tillhör AI Engineer.
Mer från AI Engineer
Inside Arca's Long-Horizon Agents That Run the Business - Aman Singh, Arca
AI Engineer 23 okt.
Real AI Agent Attacks and What Would Have Stopped Them — Andrey Rybka, Bloomberg
AI Engineer 23 okt.
Outside of tech there has been no financial payoff to US companies for using AI, now viewed as a margin-hurting cost center, as VC-backed firms burn more tokens
Techmeme för 3 tim sedan
Source: Replit recently moved most AI spend from Anthropic to OpenAI, which gave 30%+ off in a deal worth $100M+/year, after Anthropic discontinued its discount
Techmeme för 5 tim sedan