Making Knowledge Distillation Cheap Enough to Run at Scale
Artikelbild eller återanvändbart omslag för Hugging Face
Knowledge distillation — träning av mindre AI-modeller för att matcha större modellers prestanda — är dyrbar att genomföra i praktiken.
Forskare från Hugging Face har utvecklat två tekniker för att minska kostnaden drastiskt: att cacha lärarmodellens viktigaste förutsägelser en gång istället för att räkna om dem varje gång, och en ny sparsammare beräkningsmetod för träningsförlusten som aldrig håller hela ordförråds-matrisen i minnet samtidigt. Tillsammans minskar dessa förändringar minnesförbrukningen från omkring 250GB till omkring 128GB per träningssteg, vilket gör det möjligt att träna på en enda GPU istället för hundratals.
Our latest paper, Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss, tackles this with two systems changes: caching the teacher's top-K logits once so the teacher never has to sit in memory alongside the student, and a new, memory-efficient KL-divergence loss that avoids ever m
Sammanfattningen har tagits fram med AI av Vibekollen utifrån källans publicering. Innehållet tillhör Hugging Face.
Mer att läsa
Outside of tech there has been no financial payoff to US companies for using AI, now viewed as a margin-hurting cost center, as VC-backed firms burn more tokens
Techmeme för 3 tim sedan
Source: Replit recently moved most AI spend from Anthropic to OpenAI, which gave 30%+ off in a deal worth $100M+/year, after Anthropic discontinued its discount
Techmeme för 5 tim sedan
A look at Alpha School, a network of private schools that claims to teach kids 2x as fast using AI; data shows ~50% of K-8 students missed this goal in math
Techmeme för 7 tim sedan
Block’s new voice model sounds eerily human
TechCrunch AI för 9 tim sedan