Není větší lež než benchmarky
Už před lety jsem si pro sebe zadefinoval mantru, že „není větší lži než benchmarkové“. Byla to doba, kdy jsem v průběhu řady měsíců počínaje zhruba testy platformy Haswell-E (zejména fenomenálního Core i7–5960X) a konče u dvou generací GPU AMD a Nvidia zjistil, že spolehlivost stabilnosti měřených hodnot, resp. reprodukovatelnost výsledků testů je opět skokově mizernější.
Tu jsem na daném osmijádrovém CPU 5960X naměřil s příslušnou nově uváděnou hi-end GeForce (tuším, že to tehdy byla GTX 980) nějaké výsledky, avšak po přehození na šestijádrové CPU 5930K byly výsledky měření daleko mizernější, ač žádná z testovaných her se ani neblížila tomu, že by byla CPU-limited. A co hůř, když jsem daný test na 5930K zopakoval desetkrát, dostal jsem 10 různých výsledků. Zkoušel jsem tehdy různé verze OS Windows, zkoušel jsem různé verze ovladačů, zkoušel jsem různé verze nástrojů, nic nepomohlo. Buď byla chyba v matrixu, nebo šlo o prostý pebkac, ale každopádně šlo o můj poslední test grafických karet.
Tři testované GeForce jsem odeslal zpět českému zastoupení, vrátil procesor 5930K a v redakci oznámil, že takhle už ne, že končím s testy CPU a GPU kvůli jejich nespolehlivé reprodukovatelnosti.
Můj obdiv všem testerům, kteří jsou schopni nějaké výsledky naměřit, nicméně stále po celá ta léta (a že už to je asi tak 9 až 10 let) tvrdím, že čím detailnější uděláte recenzi daného CPU, tím rychleji zastará. Změní se scheduler OS (k lepšímu), přijdou první opravy chyb (dojde ke zhoršení), někdy po nich aktualizace oprav (částečný návrat k lepšímu), do toho nová verze kupříkladu SVT-AV1 (pokrok k lepšímu) a tak dále.
Dané CPU když proženete baterií testů v dané aktuální verzi s daným aktuálním balíkem oprav a danou aktuální verzí operačního a jeho částí, dostanete vždy různé výsledky. Všechny recenze z dob uvedení Intel Alder Lake jsou dnes nepravdivé, stejně jako všechny recenze AMD Ryzen 9950X z okamžiku uvedení na trh.
Lunar Lake a ASUS
Tak si vezměme kupříkladu čerstvou mobilní platformu Intelu zvanou Lunar Lake. Tu, která předchází aktuálně probíhajícímu uvedení desktopové platformy Arrow Lake. Něco si na ní můžeme ilustrovat.
Typičtí recenzenti Lunar Lake zrovna moc nechválili. On totiž v testech nebyl lepší než Meteor Lake, dokonce bychom mohli říci, že byl výrazně horší a ani nějaká pozitiva z přechodu na lepší výrobní procesy jednotlivých kousků křemíku se nějak zásadně neprojevily. Do toho ale přichází Intel, který připravuje opravné patche pro notebook Asus, neb ten je jedním z prvních, kteří Lunar Lake ve svých noteboocích nasadil do prodeje. A tak tu máme Phoronix, který v testu konstatuje, že s opravnými patchi Intelu pro stroj Asus dosahuje Lunar Lake o 22 % lepších výsledků. Dvacet dva procent!
V tuto chvíli všechny pár dnů staré testy z doby uvedení Lunar Lake zastaraly. Je zjevné, že je zde prostor pro pohyb výsledků měření vpřed. Dlužno dodat, že výkon je nyní výrazně lepší, ale za cenu jasného nárůstu spotřeby, v součtu ale celkově efektivnějšího chodu. Test je k dispozici na Phoronixu a odkazuje na baterii stovek dílčích měření.
Otázkou tak pouze zůstává, jestli všichni testeři budou v průběhu nadcházejících dnů-týdnů-měsíců-let pravidelně přetestovávat a aktualizovat výsledky svých testů v článcích. Historická zkušenost říká, že minimum, spíše nebudou a pokud tak jen po omezenou dobu (za rok–dva beztak po Lunar Lake neštěkne ani pes). A to je můj osobní problém s benchmarkováním CPU a GPU, jak jsem jej popisoval výše.
Přichází Intel Arrow Lake
Máme tu tedy čerstvě novou generaci desktopových procesorů Intel. Je uvedena, Phoronix má na webu test Core Ultra 9 285K (postaru by se býval tento procesor nejspíš jmenoval Core i9–15900K, ale to už nechme být). Test má 18 stránek a je jasné, že do měsíce zastará také. V tuto chvíli tak můžeme za tyto linuxové testy hrubě konstatovat, že:
- Core Ultra 9 285K dosahuje v průměru stejného výkonu jako AMD Ryzen 7950X (předchozí generace)
- Jeho výkon je na úrovni 85 % výkonu Ryzenu 9950X (na platformě Windows se naopak zdá, že výkon spíše odpovídá právě 9950X)
- V kódování videa někdy vítězí, někdy je srovnatelný s Ryzeny, někdy s nimi prohrává
- V testech AI spíše od Ryzenů dostává na frak, neb mu chybí AVX-512 (výkon je 13 TOPS u CPU části, resp. 36 TOPS za celý procesor, což je méně než požaduje Microsoft pro „Copilot PC“)
- Spotřeba je výrazně lepší než u předchozí 14. generace Raptor Lake (Refresh), ale pořád horší než AMD
Tolik předběžné linuxové testy, ke kterým je ale potřeba dodat naprosto stěžejní informaci: testerům, kteří měli Arrow Lake v první vlně, se tato platforma často chová nestabilně, ale hlavně s velkým rozptylem výsledků při opakování testů. To první pro tuto chvíli smeťme konstatováním, že za to klidně mohou moci Windows 11 (stejně jako Microsoft potrápil AMD při úvodních testech Ryzenů 9000), ostatně výroba jednotlivých kusů křemíku už probíhá takřka kompletně u TSMC, křemík Intelu – konkrétně 22nm – vše jen pospojovává, ale jinak Intel staví Arrow Lake pomocí 3nm, 5nm a 6nm křemíků vyrobených u TSMC. Uvidíme, kolik toho Intel dokáže vyladit aktualizacemi mikrokódu CPU.
To druhé je výrazně zajímavější a opět to vrací k mé mantře. Určité shrnutí v tomto nabízí kupříkladu známá „Youtubová drbna“ MLID. Opakují se mimo jiné porodní problémy platformy Alder Lake, která narážela například na proti-cheatovací a proti-pirátské ochrany her, které se neuměly v době uvedení vypořádat s hybridní architekturou CPU a způsobem, jakým Windows scheduler s takovým CPU pracuje – Arrow Lake zde zavádí další změny, velká jádra nemají HT, malá jádra hodně narostla a jsou efektivnější, ale ve výsledku tak opět jde o jiný typ oříšku pro systémový scheduler a lze předpokládat, že i tohle si bude sedat v řádů týdnů až měsíců .
Další nezdařené uvedení na trh
Tak či onak se na Arrow Lake, primárně v testech reprezentovaný modelem Core Ultra 9 285K spíše kritika. Ta osciluje od velmi ostré (nestabilní chod, špatný běh her, nekonzistentní výsledky testů) až po téměř neutrální (výkon jako předchozí generace, jen trochu úspornější chod, na AMD nemá). Bohužel ale pro Intel to znamená jediné: marketingově se uvedení nepovedlo.
Dle mého názoru Intel uvedl nedodělaný produkt. Arrow Lake je možná hotový z 99 %, ale chtělo to ještě chvíli ladit firmwary, testovat, testovat a ještě jednou testovat. Jak to že v laboratořích nepřišel na to, na co recenzenti přišli v podstatě všichni? Opravdu musel Arrow Lake jít na trh teď? Nemohlo to třeba týden-dva počkat? Já vím, jde o předvánoční trh, ale … achjo.
Takto si lidé z recenzí odnesou negativně znějící informaci, že se to zrovna moc nepovedlo, byť opak mohl být pravdou. Ano, Arrow Lake by neporazil Ryzeny, ale mohl přijít na trh stabilní a s vyladěným schedulerem pro Windows 11. Běžný uživatel neřeší, jestli je nový Intel o 5 % pomalejší, nebo 5 % rychlejší, než AMD. Řeší, jestli mu všechno bude fungovat lépe než s předchozím strojem, jestli bude mít k dispozici nové možnosti (NPU, AV1, H.266/VVC apod.) a řeší cenu.
Mimochodem, 24jádrový Intel Core Ultra 9 285K se objevil v e-shopech k předobjednávce, a to kolem 17 tisíc Kč. Ryzen 9950X stojí o pár stovek méně. Nic, co by rozhodlo o koupi.
Nejlevnějším modelem z nové nabídky Intelu je 14jádrové Core Ultra 5 245K za cenu pod 9 tisíc Kč. U AMD na podobné ceně najdeme 8jádrový / 16vláknový Ryzen 7 9700X – tato srovnávací recenze mě bude zajímat daleko více.
Intel má také v tuto chvíli nevýhodu, že na trh míří nejprve drahé desky s čipsetem Z890 (cena cca 5500 Kč a více), zatímco u AMD už lze sáhnout i po low-endu předchozí generace, typu A620 (cena pod 2 000 Kč, ale bez PCIe5.0), jinak desky s X870 a PCIe5.0 se pohybují od podobné ceny jako Z890 u Intelu.
Jinými slovy: obě nové platformy ve své vyšší verzi vyjdou na stejné peníze. Obě dávají přibližně podobný výkon (záleží na jakou skladbu testů se zájemce zaměří), u Intelu možná trochu horší. Obě mají určitou spotřebu (u Intelu typicky o něco horší, ale už to není tak hrozné jako s Raptor Lake, přechod k TSMC se jednoznačně vyplatil). A to je vlastně ve výsledku zajímavá situace. Bude zajímavé sledovat, jak si v průběhu nadcházejících měsíců obě konkurenční platformy povedou. Jestli se Intelu podaří rychle vyřešit porodní problémy, kam se bude posouvat kvalita scheduleru u Intelu i AMD a samozřejmě i to, jak si povedou ve spotřebitelském AI počítání a jestli se neobjeví nějaké nepříjemné architektonické chyby vyžadující záplaty snižující výkon.
Zkrátka a dobře, kdo má raději ve svém stroji Intel, kupuje Core, kdo AMD, ten volí Ryzen. Obě řešení jsou dnes velmi výkonná a relativně úsporná, u Intelu díky přechodu na výrobní procesy TSMC, takže není důvod se trápit rozptylem výsledků testů, beztak to vše bude za týden-měsíc-rok jinak.
ČLÁNKY DO MAILU