Bringing Nunchaku 4-bit Diffusion Inference to Diffusers
Artikelbild eller återanvändbart omslag för Hugging Face
Hugging Face har integrerat Nunchaku, en teknik för att göra bildgenereringsmodeller snabbare och mindre minnesintensiva, direkt i sitt Diffusers-bibliotek.
Nunchaku använder en metod kallad SVDQuant som komprimerar både vikterna och beräkningarna i modellen till 4-bitar, vilket minskar minnesanvändningen med upp till 50 procent samtidigt som det gör genereringen omkring 30 procent snabbare. Med den nya integrationen kan utvecklare ladda dessa optimerade modeller med en enkel kommando utan att behöva installera separata verktyg eller kompilera kod lokalt.
SVDQuant, the quantization method behind the popular Nunchaku inference engine, takes a different approach. It runs the main transformer layers with 4-bit weights and activations (W4A4), reducing memory while also speeding up the denoising loop.
Sammanfattningen har tagits fram med AI av Vibekollen utifrån källans publicering. Innehållet tillhör Hugging Face.
Mer att läsa
Outside of tech there has been no financial payoff to US companies for using AI, now viewed as a margin-hurting cost center, as VC-backed firms burn more tokens
Techmeme för 3 tim sedan
Source: Replit recently moved most AI spend from Anthropic to OpenAI, which gave 30%+ off in a deal worth $100M+/year, after Anthropic discontinued its discount
Techmeme för 5 tim sedan
A look at Alpha School, a network of private schools that claims to teach kids 2x as fast using AI; data shows ~50% of K-8 students missed this goal in math
Techmeme för 7 tim sedan
Block’s new voice model sounds eerily human
TechCrunch AI för 9 tim sedan