Deploy local agents everywhere with LFM2.5-2.6B
Artikelbild eller återanvändbart omslag för Hugging Face
Liquid AI presenterar LFM2.5-2.6B, en liten AI-modell (2,6 miljarder parametrar) som är specialiserad för att köra agenter — alltså AI-system som kan använda verktyg och ta flera steg för att lösa uppgifter.
Modellen är tränad att fungera bra på mobiler och datorer utan större hårdvara, och uppnår hastigheter på 220 tokens per sekund på en Apple M5 Max och 113 på en AMD Ryzen-processor, allt på under 2,5 GB minne. Enligt testerna slår den modeller som är fyra gånger större när det gäller att följa instruktioner och använda verktyg, även om större modeller är bättre på kodning. Modellen är tillgänglig direkt och fungerar med populära ramverk som llama.cpp och vLLM.
Reach for LFM2.5-2.6B when you need on-device agents for high-volume workloads.
Sammanfattningen har tagits fram med AI av Vibekollen utifrån källans publicering. Innehållet tillhör Hugging Face.
Mer att läsa
Outside of tech there has been no financial payoff to US companies for using AI, now viewed as a margin-hurting cost center, as VC-backed firms burn more tokens
Techmeme för 3 tim sedan
Source: Replit recently moved most AI spend from Anthropic to OpenAI, which gave 30%+ off in a deal worth $100M+/year, after Anthropic discontinued its discount
Techmeme för 5 tim sedan
A look at Alpha School, a network of private schools that claims to teach kids 2x as fast using AI; data shows ~50% of K-8 students missed this goal in math
Techmeme för 7 tim sedan
Block’s new voice model sounds eerily human
TechCrunch AI för 9 tim sedan