Lessons from Studying Every Memory System — Shlok Khemani, Independent
Shlok Khemani analyserade hur olika AI-system bygger minne av sina användare.
Han började när ChatGPT felaktigt sa att han rest till Turkiet — något han aldrig gjorde, utan hade bara diskuterat det som alternativ till Thailand. Problemet var inte felet i sig utan att systemet inte undrade över motsägelsen eller kollade hans e-postbevis. ChatGPT använder en "löpande profil" som uppdateras i bakgrunden med omkring 4 000 tokens av tätpackad information som användare inte kan se utan att hacka sig in. Claude började motsatt, utan profil men med två sökverktyg i gamla samtal, och lade senare till ett tredje. Khemani menar att minnessystem i grunden handlar om beräkningskostnad: en stor profil är dyr att underhålla och dyr varje gång den läses in i samtalet, så olika system löser samma budget-problem på olika sätt.
Sammanfattningen har tagits fram med AI av Vibekollen utifrån källans publicering. Innehållet tillhör AI Engineer.
Mer från AI Engineer
Inside Arca's Long-Horizon Agents That Run the Business - Aman Singh, Arca
AI Engineer 23 okt.
Real AI Agent Attacks and What Would Have Stopped Them — Andrey Rybka, Bloomberg
AI Engineer 23 okt.
Outside of tech there has been no financial payoff to US companies for using AI, now viewed as a margin-hurting cost center, as VC-backed firms burn more tokens
Techmeme för 3 tim sedan
Source: Replit recently moved most AI spend from Anthropic to OpenAI, which gave 30%+ off in a deal worth $100M+/year, after Anthropic discontinued its discount
Techmeme för 5 tim sedan