Model Routing Is Simple. Until It Isn’t.
Bild från huggingface.co
Ett blogginlägg från IBM Research om hur man väljer mellan olika AI-modeller i agentbaserade system.
Författarna visar att val av modell är mycket mer komplicerat än man skulle tro: faktiska kostnader beror på cachning (återanvändning av kontext), inte bara listpriser, och svårigheten på en uppgift går ofta inte att veta innan den löses. Samtidigt måste routern jonglera med kostnad, latens, regelefterlevnad och tillförlitlighet. Istället för att klassificera vilken modell som är "bäst" för en uppgift behandlar de routing som ett optimeringsproblem över hela systemet.
Actual cost depends on the interaction between the model, the workload, and the serving infrastructure.
Sammanfattningen är skriven av Vibekollen utifrån källans egen publicering. Innehållet tillhör Hugging Face.
Mer från Hugging Face
IBM releases SOTA Granite Time Series PatchTST-FM-r2 model with commercial-friendly license
Hugging Face för 6 tim sedan
Safety for Whom? Refusing the Right Subset of a Topic, Not the Whole Topic
Hugging Face 8 sep.
The exact tools used to port a massive codebase in days #programming #typescript #dev
AI Engineer för 2 tim sedan
v2.1.267
Claude Code för 2 tim sedan