Uvedené pravidlo ukazuje na základní etickou dimenzi systémů s umělou inteligencí, u kterých se předpokládá (a jde o poměrně širokou oblast shody), že na ni není možné nahlížet jako na hodnotově neutrální. Dobře fungující systémy s AI nám mohou v mnoha věcech pomoci, ale současně mohou vést k dosti nepříjemným implikacím.
Než se podíváme na nějaké konkrétní příklady, je dobré alespoň trochu se dotknout celkového myšlenkového rámce. Hannah Arendtová ve své knize Původ totalitarismu ukazuje, že jedno z nebezpečí, které společnosti s rozvinutým systémem byrokratického řízení hrozí, je technokratismus. Ten spočívá v tom, že člověk nemůže být rozhněvaný na žádného konkrétního člověka, nevidí nikoho, kdo by jeho zájem poškodil. Stojí před ním jen systém s anonymními úředníky, kteří říkají, že podle pravidel a zákonů se musí postupovat tak a tak. Občan ztrácí kontrolu nad prostředím, ve kterém se pohybuje, jakkoli to je formálně spravedlivější a objektivnější než všechny ostatní formy společenského uspořádání. Vedlejším efektem takového stavu je náchylnost společnosti na přechod k autokracii.
Arendtová patří nepochybně v evropském prostředí mezi nejčtenější filosofy a skutečnost, že by AI mohla vytvořit jistou technokratickou formu vlády, se zdá být v tomto ohledu poměrně aktuální a nebezpečná. Bude tedy zřejmé, že snaha všech bude dát AI takovou podobu, která bude více servisní a méně exekutivní například ve vztahu k digitalizaci státní správy.
Stephen Jay Gould vydal v roce 1981 nesmírně vlivnou knihu Jak neměřit člověka, která upozorňovala jako jedna z prvních na to, že metody objektivního hodnocení jsou něčím, co na člověka naložit nelze, respektive, že každá snaha o jeho kvantifikaci spojená s porovnáváním mezi širšími kulturními skupinami je metodologicky nemožná. Například u slavných testů inteligence (měření IQ skóre) se ukazuje, že vztah mezi prostředím, kulturou a testem je natolik komplikovaný, že není možné sestrojit nástroj, který by umožnil porovnávat například intelekt Japonců, Britů a Eskymáků. Jinými slovy, kvantifikace výkonu lidí je jistě možná, ale nelze z ní udělat měřítko univerzální a zbavené kontextu. Názorné je to například na Flynnově efektu, který říká, že každých deset let se skóre v IQ testu populace vlivem složitějšího prostředí zvýší o 3 body.
Mimo to je třeba mít na paměti, že důraz kladený na lidský výkon v čistě kvantifikovatelných parametrech je hodně problematický, protože člověka zbavuje toho, co je zřejmě jeho největší devizou vůči AI – schopnosti kreativně myslet, pracovat s chybou, tvořit mentální modely na malých datech nebo tvořit zajímavé otázky. Všechno to jsou syntetizující aspekty, které se nesmírně špatně kvantifikují.
Diskriminace (u Amazonu)
Dva velice pěkné a názorné způsoby práce s AI ve vztahu k lidským zdrojům v nedávné době ukázal Amazon. Tím ale nechceme říci, že by se podobné problémy týkaly jen jeho, ale přesto pěkně ukazují na některá úskalí, která zde mohou nastat.
Asi nejznámější je problém s oddělením lidských zdrojů, které fungovalo tak, že se systém naučil na výběru běžných personalistů pracujících v Amazonu, jakým způsobem vybírají budoucí zaměstnance v závislosti na tom, jak vypadá jejich životopis. Protože data, ze kterých k učení docházelo, byla taková, že mapovala často technické pozice, na které se častěji hlásili muži, došlo k tomu, že systém právě gender označil za jeden z výběrových parametrů a uchazeče, z nichž vybíral CV pro přijetí (nebo pro další kola výběrového řízení) hodnotil tak, že ženám dával záporné body. Rozlišení genderu přitom mohlo probíhat pomocí analýzy školy uchazeče, nebo pomocí ženského tvaru v některých činnostech.
Zajímavé přitom je, že systém vlastně převzal základní strukturu firemního rozhodování, které bylo mužům nakloněno, alespoň dle oficiální verze, pouze tím, že se jich více hlásilo na technické obory, ze kterých systém udělal reprezentativní vzorek, což byla chyba. Přitom takový systém hodnocení může být na první pohled spravedlivější v tom, že bude filtrovat osobní sympatie nebo další „subjektivní“ charakteristiky personalisty nebo umenší prostor pro jeho chybu.
Pokud se říká, že východiskem má být kontrola člověkem, pak je otázka, zda v tomto konkrétním případě by byla platná – poslední kolo výběrového řízení může dělat člověk, ale pokud se mu na stůl dostanou již vybrané životopisy, rozhodnutí AI jen verifikuje tím, že příjme jednoho člověka z uvedeného výběru. Současně se zde dostáváme do situace, kdy se HR zbavují své individuální volby a odpovědnosti a výběr nechávají, tak jako u Arendtové, na byrokratickém aparátu se svými pravidly, která jsou možná natolik komplexní, že jim nikdo nerozumí (nebo alespoň uchazeč a HR manažer ne).
Podle některých zaměstnanců pak v Amazonu o výpovědích rozhoduje systém s AI, nikoli přímý nadřízený. Respektive je to opět tak, že doporučení na výpověď je systémem jasně popsaná, naměřená a zdůvodněná a příslušný manažer či HR by měl zřejmě provést jen kontrolu, případně uvážit další možné vlivy. Výhodou nesporně je, že systém s AI si s velkou pravděpodobností na konkrétního člověka nezasedne, ale referenční rámce hodnot a struktur činností, bude přebírat z nějaké referenční skupiny, což ale opět není možné vnímat jako reprezentativní vzorek. A také by to nemělo znamenat zbavení se odpovědnosti daného jedince za to, že někoho propustí. Podle dat se zdá, tímto způsobem dostalo výpověď asi 300 zaměstnanců firmy v Baltimoru. Amazon tuto skutečnost potvrdil a zdůraznil, že manažer může zasáhnout do výpovědi jen tehdy, pokud by byla neoprávněná (zřejmě nikoli jen ve smyslu zákona, ale ve smyslu fakticity výkonu pracovní pozice).
Oba příklady poměrně pěkně ilustrují, že představa objektivity a měřitelnosti v lidských zdrojích je velice problematická. Současně ale asi nikdo nezpochybní, že zavádění kvantifikátorů nebo objektivizačních hodnocení představuje krok, který může významně pomoci s motivací nebo kariérním rozvojem.
Máme nějaká řešení?
Základním problémem diskriminace je, že jde o model myšlení a chování, který běžně provádíme, aniž bychom si toho byli vědomi. Preferujeme určité hodnoty, kategorie či parametry, aniž bychom dostatečně dokázali dohlédnout, proč tak činíme. Často až to, že na takových datech budeme učit AI, může ukázat, jaké diskriminační strategie vlastně používáme (v pedagogice a psychologii se třeba silně rozvíjí fenomén kulturně nepodmíněného testování).
Cestou může být, že shoda na tom, že nediskriminace není možná a že budeme hledat strategie, které povedou k tomu, že se umělé systémy nebudou chovat hůře než ty lidské. Argument, že sice k diskriminačním analýzám dochází, ale jsou méně špatné než ty lidské, může působit cynicky, ale nesporně představuje jednu z možných cest.
Druhým možným pilířem řešení může být důraz na transparentnost, tedy to, že budeme schopni ze systému AI vyextrahovat to, podle čeho se vlastně rozhoduje, a o těchto vztazích a parametrech můžeme vést diskusi. Do této kategorie patří i podpora obecně otevřených řešení, která umožní širší vývoj, učení se na více datech a širší společenskou kontrolu.
Zdá se, že třetí zásadu je, že vždy je zde člověk, který o dopadech analýzy přemýšlí a rozhoduje se. Informatizace (a ostatně i tlak na to, aby část HR nebo manažerů obecně nahradila AI) ale může vést k takovému přetížení, že s z rozhodování stane čistě formální proces, ne nepodobný tomu, který zmiňuje Arendtová.
Čtvrtým možným rozměrem může být využití AI tam, kde bude více doplňovat nebo rozvíjet lidskou činnost, než že by ji nahrazovala. Taková představa je ale značně iluzorní a současně problém neřeší, protože i tato podpůrná práce může mít diskriminační charakter.
Je také možné jít cestou, kterou hodně řeší současná pedagogika, tedy diferencovat mezi daty o člověku a daty pro člověka. To druhé spolu například s podporou HR může být velice cenné, to první bývá většinou (jak už ukázal zmíněný Gould) hodně problematické. Sebekvantifiační parametry totiž člověka většinou příliš dobře nezměří.
Otázkou je, zda taková opatření stačí. Hlavní problém, totiž vývoj nediskriminujících systémů, totiž dokáží řešit jen málo.
