How long can your skills be before your agent forgets what you told it? — Laurie Voss, Arize AI
Laurie Voss från Arize AI testade hur många instruktioner AI-modeller kan följa när man ger dem en lista med ord som ska finnas med i ett svar.
För ett år sedan glömde modellerna bort instruktioner när listan växte till 200–300 ord. Idag klarar de senaste modellerna 5 000 instruktioner innan något går fel — en tiofaldig förbättring på tolv månader. Men modellerna misslyckas på olika sätt: några glömmer regler, andra vägrar på grund av säkerhetskontroller, och några använder all sin beräkningskraft för att verifiera instruktioner istället för att svara. Voss säger att problemet inte längre är att få in instruktionerna, utan att kontrollera att modellen faktiskt följer dem.
Sammanfattningen är skriven av Vibekollen utifrån källans egen publicering. Innehållet tillhör AI Engineer.
Mer från AI Engineer
The exact tools used to port a massive codebase in days #programming #typescript #dev
AI Engineer för 2 tim sedan
The Universal Remote Control for AI — Alex Hancock, Block
AI Engineer för 6 tim sedan
MCP Apps: Give the Model Data, Give the User a UI — Dustin Mihalik, Indeed
AI Engineer för 6 tim sedan
Your agents lack context: Here's how to fix "You're absolutely right!" — Brandon Waselnuk, Unblocked
AI Engineer för 7 tim sedan