The State of Model Routing — NVIDIA, Cognition, OpenRouter
Videon diskuterar hur man väljer mellan stora och små AI-modeller för olika uppgifter.
Det visar sig att det inte alltid lönar sig att välja den billigaste modellen för varje enskild uppgift — en liten modell som hamnar utanför sitt kompetensområde kan bli väldigt dyr genom att kalla hjälpfunktioner om och om igen. Cognition löser det genom att låta en stor modell planera och delegera arbetet till mindre modeller, vilket sparade 40 procent på kostnader. En annan upptäckt är att det är värdefullt att hålla samma modell vid liv under en hel konversation — då sparas pengar eftersom redan processad information kan återanvändas istället för att bearbetas på nytt.
Sammanfattningen har tagits fram med AI av Vibekollen utifrån källans publicering. Innehållet tillhör AI Engineer.
Mer att läsa
Server-Side Code Execution Tools for AI Agents, Compared
OpenRouter för 9 tim sedan
v0.40.0
Ollama för 9 tim sedan
Google froze its open source bug bounty program due to a ‘significant rise’ in AI submissions
TechCrunch AI för 13 tim sedan
Can ‘super intelligence’ and a non-binding safety pact solve AI’s image problem?
TechCrunch AI för 13 tim sedan