Vůbec nejlepší by bylo nechat přímo hochy od Mrkwo$oftu, ať udělají se svým "zázrakem" co umí a proti nim postavit team lidí od RedHatu, SuSE, IBM, Mandraka etc. a z komunity, ať se taky snaží dle nejlepšího vědomí a svědomí. Problém je, že na posouzení takovéhoto "duelu" neseženete žádného dostatečně nezávislého arbitra (minimálně ne dostatečně neuplatitelného). Možná že by to šlo v malém, například mrkwofilové z WUGu by mohli "vytúrovat" Widle a kluci (a holky :-)) z LUGu zase nějakou adekvátní Linuxovou distribuci. Přinejmenším by to byla alespoň zajímavá show ;-).
Anebo jak říkáte, naklopit tam výchozí instalace - to bude sice přínosné pro manažerské lamy, které nechtějí mít vysoké TCO placením příslušných odborníků, výsledky testů však budou značně zkreslené.
U takovýchto testů je totiž problém, že nikdy stoprocentně neodstraníte srovnávání nesrovnatelného. Je v Linuxu nějaký pendant k ISAPI? Je to CGI? Asi nikoliv. Je to PHP? mod_perl? DSO jako celek? Svým způsobem každý trochu, ale en bloc taky ne. Je nějaký srovnávatelný protějšek k MS SQL? Samba a podobné implementace nativních mrkwosoftích technologií budou mít vždycky handicap "kopie" a u nějakých 3rd party řešení (NFS, AFS, ...) vám M$ řekne, že to jsou technologie, které svým zákazníkům nedoporučuje a tudíž nemá cenu se jimi zabývat. A tak vám opravdu zbude maximálně HTTP obsluha statického contentu, možná ještě tahání přes FTP a odezva na některé jiné standardní TCP/IP služby (třeba DNS nebo DHCP). Pokud má být benchmark férový, měl by obsahovat také nějaký test prověřující stabilitu řešení - simulaci (D)DoS útoku apod.
Obecně bych plédoval pro odzkoušení na různých platformách a architekturách - vedle IA 32 minimálně aspoň na AMD64.