Nevím, zda píšete o oprávněném uživateli nebo útočníkovi.
Oprávněný uživatel musí znát heslo ke klíči. Pokud ho má někde zapsané, musí ho hledat. Nevidím v tom rozdíl oproti situaci, kdy si musí pamatovat nebo hledat heslo k uživatelskému účtu. Nicméně podstatný rozdíl je při používání – klíč načte do SSH agenta a heslo zadá jednou při načtení klíče. Když se přihlašuje heslem, musí zadávat heslo při každém připojení znova.
Pokud jste to myslel z hlediska útočníka – ano, pokud útočník získá soubor s klíčem, může se pokusit uhodnout heslo ke klíči. Úplně stejně, jako by hádal uživatelské heslo. Vymyslí heslo, dešifruje jím soubor a zkusí se připojit k serveru aby vyzkoušel, zda výsledek dešifrování je platný klíč nebo náhodné smetí. A tak může pokračovat stejně dlouho, jako kdyby zkoušel heslo uživatele. Drobný rozdíl je v tom, že ho malinko zdržuje to dešifrování, ale to nestojí za řeč.
Čipové karty moc časté nejsou, ale je to způsob, jak zvýšit bezpečnost. Když se přihlašujete heslem, máte smůlu.
Mimochodem, rozdíl oproti přihlašování heslem je jenom v tom ne moc pravděpodobném případě, kdy útočník může získat soubor s klíčem, ale nedokáže vám na systému nic změnit. Pokud může na disk i zapisovat, změní vám používaného SSH klienta, a heslo k účtu nebo ke klíči mu prozradíte sám.