Your Agent Didn't Fail. Your Harness Did. — Vinoth Govindarajan, OpenAI
Videon handlar om fel som uppstår inte i AI-modellen själv utan i systemet omkring den — det som kallas "harness failures".
Problemet är att agenter kan svara självsäkert från gammal data medan två processer skriver över varandra utan att krascha, eller när ett verktyg anropas men aldrig får svar. Lösningen är att se det som: modellen föreslår, systemet genomför, och en kvittans bevisar att det faktiskt hände. Föreläsaren visar vanliga misstag som felaktig tillåelse, saknade deadlines och state som aldrig sparas, och presenterar fem frågor man bör ställa för varje incident: vad startade det, vilken state ärvde det, vilken behörighet användes, vad kördes, och vilken bevis finns kvar.
Sammanfattningen har tagits fram med AI av Vibekollen utifrån källans publicering. Innehållet tillhör AI Engineer.
Mer från AI Engineer
Inside Arca's Long-Horizon Agents That Run the Business - Aman Singh, Arca
AI Engineer 23 okt.
Real AI Agent Attacks and What Would Have Stopped Them — Andrey Rybka, Bloomberg
AI Engineer 23 okt.
Outside of tech there has been no financial payoff to US companies for using AI, now viewed as a margin-hurting cost center, as VC-backed firms burn more tokens
Techmeme för 3 tim sedan
Source: Replit recently moved most AI spend from Anthropic to OpenAI, which gave 30%+ off in a deal worth $100M+/year, after Anthropic discontinued its discount
Techmeme för 5 tim sedan