Deploy local agents everywhere with LFM2.5-2.6B
Bild från huggingface.co
Liquid AI presenterar LFM2.5-2.6B, en liten AI-modell (2,6 miljarder parametrar) som är specialiserad för att köra agenter — alltså AI-system som kan använda verktyg och ta flera steg för att lösa uppgifter.
Modellen är tränad att fungera bra på mobiler och datorer utan större hårdvara, och uppnår hastigheter på 220 tokens per sekund på en Apple M5 Max och 113 på en AMD Ryzen-processor, allt på under 2,5 GB minne. Enligt testerna slår den modeller som är fyra gånger större när det gäller att följa instruktioner och använda verktyg, även om större modeller är bättre på kodning. Modellen är tillgänglig direkt och fungerar med populära ramverk som llama.cpp och vLLM.
Reach for LFM2.5-2.6B when you need on-device agents for high-volume workloads.
Sammanfattningen är skriven av Vibekollen utifrån källans egen publicering. Innehållet tillhör Hugging Face.
Mer från Hugging Face
IBM releases SOTA Granite Time Series PatchTST-FM-r2 model with commercial-friendly license
Hugging Face för 6 tim sedan
Safety for Whom? Refusing the Right Subset of a Topic, Not the Whole Topic
Hugging Face 8 sep.
The exact tools used to port a massive codebase in days #programming #typescript #dev
AI Engineer för 2 tim sedan
v2.1.267
Claude Code för 2 tim sedan