Máte samozřejmě pravdu, myslel jsem hlavně to ověření/přihlášení: vy věříte serveru, protože má správný certifikát, ale server vám věří "jen" jméno a heslo.
Pokud by byl server v Internetu, nic nebrání, aby to někdo zkoušel (hrubou silou nebo jinak), ale při vynucení klientského certifikátu se nemusí dostat ani na první stránku.