What We Learned by Reproducing 2,200 papers from ICML
Artikelbild eller återanvändbart omslag för Hugging Face
Hugging Face körde en stor hackathon under sommaren 2026 där communityn försökte återskapa resultaten från 2 226 av ICML-konferensens 6 352 accepterade papers — totalt 34 procent av konferensen.
Med hjälp av AI-agenter (som Claude Code och andra) checkade deltagarna 35 908 påståenden från dessa papers. Resultatet var blandat: 51 procent av papers hade minst ett påstående som verifierades, men 23 procent hade minst ett påstående som motbevisades eller ifrågasattes. Det visar att vetenskaplig reproducerbarhet är mer komplicerat än bara sant eller falskt — flera oberoende team kom ofta fram till motsatta slutsatser om samma påståenden.
Checking a paper carefully used to cost a reviewer a weekend; an agent can attempt it in an afternoon, in parallel, thousands of times over.
Sammanfattningen har tagits fram med AI av Vibekollen utifrån källans publicering. Innehållet tillhör Hugging Face.
Mer att läsa
Outside of tech there has been no financial payoff to US companies for using AI, now viewed as a margin-hurting cost center, as VC-backed firms burn more tokens
Techmeme för 3 tim sedan
Source: Replit recently moved most AI spend from Anthropic to OpenAI, which gave 30%+ off in a deal worth $100M+/year, after Anthropic discontinued its discount
Techmeme för 5 tim sedan
A look at Alpha School, a network of private schools that claims to teach kids 2x as fast using AI; data shows ~50% of K-8 students missed this goal in math
Techmeme för 7 tim sedan
Block’s new voice model sounds eerily human
TechCrunch AI för 9 tim sedan