Preferences Over Benchmarks: Model Routing — Archana Kamath & Tyler Gillam, DigitalOcean
Archana Kamath och Tyler Gillam från DigitalOcean presenterar en router som automatiskt väljer vilken AI-modell som ska använda för varje uppgift, istället för att alltid köra samma modell.
I en demo bygger två terminaler samma app — den ena använder en dyr premiummodell för allt, den andra använder routern. Båda tar ungefär lika lång tid, men routern kostar 8 cent mot routerns 25 cent. Routern baserar sitt val på vad du faktiskt behöver: uppgiftstyp, kostnad, hastighet, systemkonfiguration och vad användaren vill ha. Det finns inget enkelt svar på vilken modell som är bäst — det beror på sammanhanget.
Sammanfattningen har tagits fram med AI av Vibekollen utifrån källans publicering. Innehållet tillhör AI Engineer.
Mer från AI Engineer
Inside Arca's Long-Horizon Agents That Run the Business - Aman Singh, Arca
AI Engineer 23 okt.
Real AI Agent Attacks and What Would Have Stopped Them — Andrey Rybka, Bloomberg
AI Engineer 23 okt.
Outside of tech there has been no financial payoff to US companies for using AI, now viewed as a margin-hurting cost center, as VC-backed firms burn more tokens
Techmeme för 3 tim sedan
Source: Replit recently moved most AI spend from Anthropic to OpenAI, which gave 30%+ off in a deal worth $100M+/year, after Anthropic discontinued its discount
Techmeme för 5 tim sedan