Vals, backed by Andreessen Horowitz, is looking to become the gold standard for AI benchmarking
Artikelbild eller återanvändbart omslag för TechCrunch AI
Vals är ett startup från 2024 som vill förbättra hur AI-modeller testas och utvärderas.
Företaget fick nyligen 40 miljoner dollar i finansiering från Andreessen Horowitz. Medan många gamla test går att fuska på genom att träna modeller mot dem, håller Vals sina testuppgifter hemliga och testar istället om modeller kan utföra verkliga arbetsuppgifter inom områden som juridik, finans och kodning. Vals tjänar pengar genom att ta betalt från företag för att utvärdera deras modeller, ett system som liknas vid SAT-proven. Bolaget växer snabbt — intäkterna är åtta gånger högre än förra året och antalet anställda har tredubblats till 25 personer.
Benchmarking has become the industry norm for how AI companies validate their models' capabilities and, when the metrics swing in their favor, stand out from competitors and advertise their superiority.
Sammanfattningen har tagits fram med AI av Vibekollen utifrån källans publicering. Innehållet tillhör TechCrunch AI.
Mer från TechCrunch AI
Google froze its open source bug bounty program due to a ‘significant rise’ in AI submissions
TechCrunch AI för 14 tim sedan
Can ‘super intelligence’ and a non-binding safety pact solve AI’s image problem?
TechCrunch AI för 14 tim sedan
Trump unveils his new Super Intelligence Force
TechCrunch AI för 19 tim sedan
Amazon responds to data center backlash, says it no longer uses NDAs
TechCrunch AI 3 okt.