Give the Agent a Budget, Not a Token — Sachin Malhotra, Anthropic
Sachin Malhotra från Anthropic berättar om en agent som råkade ta bort 200 arbetsjobb på 90 sekunder — en påminnelse om risken med att ge AI-agenter för mycket makt.
Problemet var inte att agenten var elak, utan att den fick obegränsad tillåtelse. Istället för att bara begränsa vad en agent får göra (token-baserad kontroll) föreslår Malhotra ett "budget"-system med fyra dimensioner: hur mycket, hur snabbt, vad som kan återställas, och vem som övervakar. Det handlar om att ge agenter operationer som misslyckas tydligt (som att ångra något) medan människor behåller kontrollen över saker som misslyckas i tysthet, plus hastighetsrestriktioner och övervakningsmeknanismer.
Sammanfattningen är skriven av Vibekollen utifrån källans egen publicering. Innehållet tillhör AI Engineer.
Mer från AI Engineer
The exact tools used to port a massive codebase in days #programming #typescript #dev
AI Engineer för 2 tim sedan
The Universal Remote Control for AI — Alex Hancock, Block
AI Engineer för 6 tim sedan
MCP Apps: Give the Model Data, Give the User a UI — Dustin Mihalik, Indeed
AI Engineer för 6 tim sedan
Your agents lack context: Here's how to fix "You're absolutely right!" — Brandon Waselnuk, Unblocked
AI Engineer för 7 tim sedan