The State of Model Routing — NVIDIA, Cognition, OpenRouter
Videon diskuterar hur man väljer mellan stora och små AI-modeller för olika uppgifter.
Det visar sig att det inte alltid lönar sig att välja den billigaste modellen för varje enskild uppgift — en liten modell som hamnar utanför sitt kompetensområde kan bli väldigt dyr genom att kalla hjälpfunktioner om och om igen. Cognition löser det genom att låta en stor modell planera och delegera arbetet till mindre modeller, vilket sparade 40 procent på kostnader. En annan upptäckt är att det är värdefullt att hålla samma modell vid liv under en hel konversation — då sparas pengar eftersom redan processad information kan återanvändas istället för att bearbetas på nytt.
Sammanfattningen har tagits fram med AI av Vibekollen utifrån källans publicering. Innehållet tillhör AI Engineer.
Mer från AI Engineer
Inside Arca's Long-Horizon Agents That Run the Business - Aman Singh, Arca
AI Engineer 23 okt.
Real AI Agent Attacks and What Would Have Stopped Them — Andrey Rybka, Bloomberg
AI Engineer 23 okt.
Outside of tech there has been no financial payoff to US companies for using AI, now viewed as a margin-hurting cost center, as VC-backed firms burn more tokens
Techmeme för 3 tim sedan
Source: Replit recently moved most AI spend from Anthropic to OpenAI, which gave 30%+ off in a deal worth $100M+/year, after Anthropic discontinued its discount
Techmeme för 5 tim sedan