What We Learned by Reproducing 2,200 papers from ICML
Bild från huggingface.co
Hugging Face körde en stor hackathon under sommaren 2026 där communityn försökte återskapa resultaten från 2 226 av ICML-konferensens 6 352 accepterade papers — totalt 34 procent av konferensen.
Med hjälp av AI-agenter (som Claude Code och andra) checkade deltagarna 35 908 påståenden från dessa papers. Resultatet var blandat: 51 procent av papers hade minst ett påstående som verifierades, men 23 procent hade minst ett påstående som motbevisades eller ifrågasattes. Det visar att vetenskaplig reproducerbarhet är mer komplicerat än bara sant eller falskt — flera oberoende team kom ofta fram till motsatta slutsatser om samma påståenden.
Checking a paper carefully used to cost a reviewer a weekend; an agent can attempt it in an afternoon, in parallel, thousands of times over.
Sammanfattningen är skriven av Vibekollen utifrån källans egen publicering. Innehållet tillhör Hugging Face.
Mer från Hugging Face
IBM releases SOTA Granite Time Series PatchTST-FM-r2 model with commercial-friendly license
Hugging Face för 7 tim sedan
Safety for Whom? Refusing the Right Subset of a Topic, Not the Whole Topic
Hugging Face 8 sep.
v0.34.0
Ollama för 18 min sedan
The exact tools used to port a massive codebase in days #programming #typescript #dev
AI Engineer för 3 tim sedan