AI Infra Summit: NVIDIA Vera Rubin and DSX Platform Advancements Showcase Energy Efficiencies of Optimizing Tokens Per Watt for AI Factories
Artikelbild eller återanvändbart omslag för NVIDIA
NVIDIA presenterade på AI Infra Summit sina senaste framsteg för energieffektivare AI-infrastruktur.
Fokus ligger på att maximera antal AI-tokens (svar från AI-modeller) per megawatt ström i stället för bara processorkraft. Lambda förbättrade prestanda per watt med 23 procent med NVIDIAs DSX MaxLPS-mjukvara, och Emerald AI visade hur AI-fabriker kan anpassa sin strömförbrukning efter elnätets behov. NVIDIA DSX MaxLPS kan leverera upp till 1,4 gånger fler tokens per megawatt genom fabriksomfattande optimering, och kan ge upp till 40 procent mer GPU-kapacitet inom samma strömbudget för Vera Rubin-system.
The metric for AI infrastructure is fast shifting from peak performance to validated agentic tokens per megawatt.
Sammanfattningen har tagits fram med AI av Vibekollen utifrån källans publicering. Innehållet tillhör NVIDIA.
Mer att läsa
Building advertising for the way people use AI
OpenAI för 1 tim sedan
Server-Side Code Execution Tools for AI Agents, Compared
OpenRouter för 11 tim sedan
v0.40.0
Ollama för 11 tim sedan
Google froze its open source bug bounty program due to a ‘significant rise’ in AI submissions
TechCrunch AI för 15 tim sedan