Jak číst benchmarky AI modelů. A proč většině čísel nevěřit.

Za posledních 48 hodin vyšlo tolik nových AI modelů, že jsem je přestal počítat. Grok 4.5, GPT-5.6 v rodině Sol/Terra/Luna, Meta Muse Spark, GLM 5.2. A u každého to samé divadlo: launch, tweet, obří číslo v grafu, kde ten nový model zrovna vyhrává.

Zní to skvěle. Problém je, že ta čísla si často platí ten, kdo v nich vyhrává.

Ve stejném týdnu se totiž stalo tohle: OpenAI si vzalo pod lupu jeden z nejpoužívanějších benchmarků na kódování (SWE-bench Pro) a zjistilo, že skoro třetina úloh je rozbitá. A Cursor se pochlubil skóre 67,2 % pro nový model na testu, který si sám postavil.

Je celkově více důvodů, proč vlastně sledování všech těch benchmarků (a obecně marketingové komunikace) výrobců modelů nevěnovat příliš moc pozornosti, jakkoli se o ni tak rádi ucházejí. Zkráceně řečeno: to podstatné je podle mě úplně jinde.

Pojďme ale hezky postupně.

Co je benchmark (a proč mu tak fandíme)

Benchmark je standardizovaný test pro model. Dáte stejné úlohy víc modelům a změříte, kolik jich zvládnou. Výsledek je obvykle jedno procento: „vyřešil 63 % úloh”.

Pár jmen, na která narazíte:

Benchmark	Co měří	Kdo ho postavil
SWE-bench	opravování reálných chyb z GitHubu (kód)	akademici (Princeton)
MMLU	školní kvíz z 57 oborů (znalosti)	akademici
LMArena	lidé hlasují, která ze dvou odpovědí je lepší	výzkumníci (LMSYS)
CursorBench	kódovací úlohy z reálných Cursor sessions	Cursor (výrobce nástroje)

Čísla jsou lákavá, protože slibují jednoduchou odpověď na těžkou otázku: „který model je nejlepší?”. Jenže právě ta jednoduchost je past. Pojďme si projít šest důvodů, proč benchmarku nevěřit na slovo.

1. Test si často opravuje ten, kdo ho píše

První věc, co si u každého čísla ověřte: kdo ho naměřil.

Když výrobce modelu ukazuje benchmark na svojí launch stránce, není to nezávislé měření. Je to marketing. A marketéři jsou mistři v tom, umět si vybrat zrovna tu metriku a ten test, který potvrzuje jejich tvrzení. Je to jejich práce.

CursorBench, kde nový Sol dostal 67,2 %, je Cursorův vlastní benchmark. Cursor přitom prodává přístup k modelům. To neznamená, že lže. Znamená to, že si vybírá hřiště. Přesně jako když Anthropic u svých modelů ukazuje čísla ze svého vlastního testovacího prostředí (rozebíral jsem to u Sonnetu 5).

2. I „zlaté standardy” bývají rozbité

Řeklo by se, že zavedený benchmark, který používají všichni, je aspoň spolehlivý. No...

Právě ten audit SWE-bench Pro to pěkně ukazuje. OpenAI ho prokleplo a našlo, že asi 30 % úloh je vadných: testy tak přísné, že trestají i funkčně správné řešení, zadání, ze kterých nešlo poznat, co se po modelu vlastně chce, nebo naopak testy tak děravé, že jimi projde i nedodělaná oprava. Výsledek? OpenAI veřejně stáhlo své vlastní dřívější doporučení ten benchmark používat.

A není to výjimka. U slavného MMLU, jednoho z nejcitovanějších testů znalostí vůbec, výzkumníci našli, že 6,49 % otázek je chybných. V jedné podkategorii (virologie) bylo špatně dokonce 57 % otázek. Model, který „správně” odpoví na blbě zadanou otázku, vám o svojí chytrosti neřekne nic.

3. Modely se učí přímo na test

Asi nejvíc důvěrou modelů zahýbal nedávný výzkum Cursoru, který dokazuje, že špičkové modely při benchmarku „tahají” hotová řešení z internetu nebo z historie gitu.

Jinými slovy: benchmarky jsou veřejné, a co je veřejné, skončí dřív nebo později v trénovacích datech modelů. Ty pak nemusí benchmark „řešit”, ale prostě vědí, jak na něj.

Odborně se tomu říká kontaminace dat. Když Scale AI vyrobil čistý klon oblíbeného matematického testu a pustil na něj modely, některým skóre spadlo klidně o 8 %. Stejně těžké úlohy, jen model neměl výhodu, že už je někdy viděl.

4. Když se z čísla stane cíl

Podle takzvaného Goodhartova zákona platí věta, kterou by si měl vytisknout každý, kdo čte AI grafy: když se z metriky stane cíl, přestane být dobrou metrikou.

Jakmile prestiž nějakého benchmarku dost naroste, laby začnou ladit modely na to číslo místo na reálnou schopnost. Komunita pro to má i posměšný termín: benchmaxxing. Model trénovaný, aby zářil na testu, ale to říká pramálo o schopnostech v praxi.

5. Stejný model, jiné číslo

Tady většina lidí naletí. Benchmark neměří jenom model. Měří model plus celé prostředí kolem něj: jak je zadaná úloha, jaké nástroje model dostal, kolik má pokusů, kdo hodnotí výsledek. Tomu prostředí říkáme harness.

Tentýž model dostane na tomtéž testu výrazně jiné číslo podle toho, v jakém prostředí běží. Claude vyjde líp, když ho testujete přímo v Claude Code, než v cizím žebříčku mimo jeho domácí nástroje. Není to podvod, je to fakt, na který se prostě zapomíná.

Proto srovnávejte jenom čísla ze stejného prostředí. „Model A má 87 %, model B 61 %” neznamená nic, pokud každý běžel v jiném harnessu.

6. LMArena měří, co se lidem líbí (ne co je pravda)

Zvláštní kategorie je LMArena, žebříček, kde lidé hlasují, která ze dvou anonymních odpovědí je lepší. Vypadá to demokraticky a užitečně, ale měří lidskou preferenci, ne pravdu. Delší a sebevědoměji napsaná odpověď vyhraje, i když je věcně horší.

Navíc studie s příznačným názvem „The Leaderboard Illusion” ukázala, že ani ten žebříček není férové hřiště: velcí hráči si můžou soukromě otestovat spoustu variant modelu a zveřejnit jen tu nejlepší (u jedné firmy jich výzkumníci napočítali 27) a mají mnohem víc dat než open-source konkurence. Berte to jako jeden signál mezi mnoha, ne jako verdikt.

Podobně opatrně na testy, kde jeden model hodnotí druhý. Když necháte model soudit odpovědi, nadržuje těm, které jsou psané jeho vlastním stylem. Model si tak trochu opravuje vlastní domácí úkol.

Tak jak ta čísla číst?

Benchmarky nejsou k ničemu, jen se musí číst s hlavou. Můj praktický filtr:

Ptejte se, kdo test dělal. Oficiální launch stránka výrobce modelu je marketingovou komunikací. Nezávislé měření (Artificial Analysis, LMArena a spol.) váží víc. I tak ho berte jako signál, ne jako rozsudek.
Malý rozdíl je šum. Dvě až tři procenta mezi modely obvykle neznamenají nic. Nepřepínejte kvůli nim celý svůj workflow.
Pozor na „vyhrává na jednom benchmarku”. Jeden test, na kterém model dominuje, zatímco o zbytku se mlčí, je cherry-picking.
Chybí model card i metodika? Ignorujte. Jak píše Ethan Mollick, kdo chce hrát na špičce, má vydávat model cards a výsledky testů, ne jen benchmarky.
Nejlepší benchmark je ten váš. Otestujte model na svojí reálné úloze, ne na cizím žebříčku.

Záleží skutečně na drobných rozdílech v benchmarku?

Vždycky když vidím ten kolotoč čísel, vzpomenu si na jednu věc. Benchmark, model, nastavení: to je špička ledovce. To, co je vidět a o čem se všichni dohadují.

Pod hladinou, kde vidět není, je to, na čem doopravdy záleží: k čemu ten model potřebujete, jak mu zadáváte práci, co jste kolem něj postavili. Vždycky si vzpomenu na heslo, které znají zkušení fotografové: „Na vybavení až tak nezáleží.” Mnohem víc na tom, co chcete fotit, jestli máte cit pro tu situaci, kompozici, jestli jste na správném místě ve správný čas, máte nějaký svůj záměr, svůj styl a podobně.

U AI nebo vibe codingu je to úplně stejné. Model se mění každý týden, ale dovednost s ním pracovat zůstává. Kdo umí vibe codovat, ten jenom přepne model a jede dál, ať zrovna vede kterýkoli benchmark.

Mám za sebou přes 2 000 hodin vibe codingu a 180+ projektů a čím dál víc mi to potvrzuje: honit nejvyšší číslo v grafu je ztráta času. Ten benchmark-hype je jen další podoba FOMO z AI novinek, o kterém jsem psal dřív. Vypadá to jako informace, ale je to rozptýlení.

Naučte se pořádně používat jeden nástroj. To je ta neviditelná část ledovce, co dělá rozdíl. Přesně tohle učím v kurzu AI First: od základů přes Claude Code po napojení na další nástroje. 21 hodin praxe, žádná teorie, jen to, co reálně funguje. Připojilo se už 1 800+ lidí.

Nečekejte na model, co vyhraje všechny benchmarky. Naučte se ždímat ten, co máte. ⚡