Same Cluster, 33 Points More Utilization: What Changed Was the Order
Bild från huggingface.co
Hugging Face-teamet byggde en smart GPU-fördelningssystem som ordnar vilka jobb som får använda grafikkortet — och i vilken ordning.
Istället för att bara fylla upp efter ankomstordning, ser systemet till att viktiga jobb prioriteras och att resurser som är reserverade för trafiktoppar kan användas under lågtrafik. I tester på samma hårdvara med samma arbetsbelastning ökade GPU-användningen med upp till 33 procentenheter och värdet av genomförda jobb steg i genomsnitt 52 procent — bara för att man ändrade ordningen på besluten.
On identical hardware, running identical workloads, GPU utilization rose by as much as 33 percentage points, and priority-weighted output rose in every one of them, by as much as 105%. Nothing about the hardware changed. What changed was the order in which allocation decisions get made.
Sammanfattningen är skriven av Vibekollen utifrån källans egen publicering. Innehållet tillhör Hugging Face.
Mer från Hugging Face
IBM releases SOTA Granite Time Series PatchTST-FM-r2 model with commercial-friendly license
Hugging Face för 7 tim sedan
Safety for Whom? Refusing the Right Subset of a Topic, Not the Whole Topic
Hugging Face 8 sep.
v0.34.0
Ollama för 20 min sedan
The exact tools used to port a massive codebase in days #programming #typescript #dev
AI Engineer för 3 tim sedan