What's New in Inference Engineering — Philip Kiely, Baseten
Philip Kiely från Baseten beskriver hur inference engineering — processen att köra färdiga AI-modeller — utvecklas olika vägar för lokala datorer versus stora datacenter.
En teknik som TurboQuant, som minskar minneskravet för modeller, blev viral i mars, men Kiely visar att den är långsam för datacenter även om den fungerar bra hemma. Han presenterar tre huvudsakliga förbättringar: kvantisering (att göra modeller mindre genom att använda färre bitar per siffra), cacheoptimering (att lagra och komprimera beräkningsdata smart), och spekulation (att små hjälpmodeller gissar nästa tokens snabbt, vilket datacenter nu tränar speciellt för). Den största trenden är att dessa tekniker tränas upp som en egen process snarare än att appliceras efteråt.
Sammanfattningen har tagits fram med AI av Vibekollen utifrån källans publicering. Innehållet tillhör AI Engineer.
Mer att läsa
When AI Labs Rival Nations
The AI Daily Brief för 53 min sedan
Experts say AI has made planning cyberattacks on industrial equipment faster by helping attackers read manuals and research past accidents more quickly
Techmeme för 3 tim sedan
Current and former officials from the US and other countries describe the Chinese spy agency MSS' campaign to help Chinese companies acquire advanced AI chips
Techmeme för 7 tim sedan
Tesla rolls out FSD v15, featuring a photorealistic rendering of car surroundings; Elon Musk says it is real-time AI video generation without using game engines
Techmeme för 7 tim sedan
