Piloting the world's first double-blind AI evaluations
Artikelbild eller återanvändbart omslag för Google DeepMind
Google DeepMind introducerar världens första "dubbelblind" utvärdering av AI-modeller — en metod där utvärderare och modellskapare använder kryptografisk teknik för att testa modeller utan att någon part kan se den andras känsliga data.
Problemet de löser är att AI-modeller kan ha tränat på samma testfrågor som används för att bedöma dem, vilket gör resultaten opålitliga. Genom att använda Googles Confidential Computing kan utvärderare testa Gemini Flash Lite-modellen utan att Google ser testfrågorna och utan att modellen kan optimera sig baserat på dem i förväg.
If a model has already seen the test questions - a problem known as benchmark contamination - the results can only be trusted to an extent.
Sammanfattningen har tagits fram med AI av Vibekollen utifrån källans publicering. Innehållet tillhör Google DeepMind.
Mer att läsa
Experts say AI has made planning cyberattacks on industrial equipment faster by helping attackers read manuals and research past accidents more quickly
Techmeme för 2 tim sedan
Current and former officials from the US and other countries describe the Chinese spy agency MSS' campaign to help Chinese companies acquire advanced AI chips
Techmeme för 6 tim sedan
Tesla rolls out FSD v15, featuring a photorealistic rendering of car surroundings; Elon Musk says it is real-time AI video generation without using game engines
Techmeme för 7 tim sedan
Sources: AI server suppliers like Dell, HPE, Lenovo, and Supermicro are demanding substantially higher prices from buyers, months after contracts were signed
Techmeme för 8 tim sedan
