CAMBRIDGE – Algoritmy jsou předpojaté tak jako data, jimiž se krmí. Předpojatá jsou přitom veškerá data. Ani u „oficiálních“ statistik nelze předpokládat, že přestavují objektivní, věčná „fakta“. Čísla, jež vlády publikují, zachycují společnost, jaká je teď, optikou toho, co za podstatné a důležité považují ti, kdo sestavují údaje. Kategorie a klasifikace používané k orientaci v datech nejsou neutrální. Tak jako měříme, co vidíme, máme také sklon vidět jen to, co měříme.
Jak se do širší škály tvorby politik rozšiřuje algoritmické rozhodování, vrhá nelítostné světlo na společenské předsudky, které bývaly skryté ve stínu shromažďovaných údajů. Napínáním stávajících struktur a procesů do logických extrémů nás umělá inteligence (UI) nutí postavit se čelem tomu, jakou společnost jsme vytvořili.
Problém není jen v tom, že počítače jsou uzpůsobené tak, aby uvažovaly jako korporace, jak tvrdí můj kolega z Cambridgeské univerzity Jonnie Penn. Je také v tom, že počítače přemýšlejí jako ekonomové. Vždyť UI je tak neomylným provedením homo economicus, jak si jen člověk dokáže představit. Jedná se o racionálně kalkulujícího, logicky konzistentního a na výsledek orientovaného činitele, schopného s omezenými výpočetními zdroji dosahovat požadovaných výsledků. Co se týče „maximalizace užitku“, je mnohem efektivnější než kdokoli z lidí.
„Užitek“ je pro ekonomii tím, čím pro chemii kdysi býval „flogiston“. Raní chemici měli hypotézu, že hořlavé látky obsahují skrytý prvek – flogiston – vysvětlující, proč látky při hoření mění podobu. Jenže ať se vědci snažili sebevíc, potvrdit hypotézu se jim nikdy nepodařilo. Vystopovat flogiston nedokázali z téhož důvodu, z jakého dnes ekonomové neodkážou nabídnout míru skutečného užitku.
Ekonomové koncepci užitku využívají, aby vysvětlili, co lidi vede k jejich rozhodnutím – co koupit, kam investovat, jak hodně pracovat: každý se snaží maximalizovat užitek v souladu se svými preferencemi a světonázory a v mantinelech tvořených omezenými příjmy či zdroji. Užitek, ač neexistuje, je vlivná koncepce. Zdá se naprosto přirozené předpokládat, že se každý snaží dělat to nejlepší pro sebe.
Pojem užitku užívaný ekonomy se navíc zrodil z klasického utilitarismu, jehož cílem je zajistit co nejvíc blaha pro co nejvíc lidí. Většina z těch, kdo koncipují algoritmy, jsou, stejně jako moderní ekonomové kráčející ve stopách Johna Stuarta Milla, utilitaristé, přesvědčení, že pokud je „dobro“ známé, lze jej maximalizovat.
Access every new PS commentary, our entire On Point suite of subscriber-exclusive content – including Longer Reads, Insider Interviews, Big Picture/Big Question, and Say More – and the full PS archive.
Subscribe Now
Tento předpoklad ale může přinášet zneklidňující důsledky. Vezměme si kupříkladu, jak se algoritmy využívají k rozhodování, jestli si vězni zaslouží podmínečné propuštění. Důležitá studie z roku 2017 zjistila, že algoritmy dokážou daleko lépe než člověk předpovědět recidivu a lze je využít ke snížení „míry věznění“ o víc než 40 % „bez nárůstu kriminality“. Ve Spojených státech by pak bylo možné snížit počet vězněných, mezi nimiž jsou neúměrně zastoupeni černoši. Co se ale stane, pokud podmínečné propouštění vězňů převezme UI a Afroameričané budou dál vězněni častěji než běloši?
Vysoce efektivní algoritmické rozhodování přináší takové otázky do popředí a nutí nás rozhodnout se přesně, jaké výsledky se mají maximalizovat. Chceme pouze snížit celkový počet vězňů, nebo se máme zabývat i spravedlností? Zatímco politika umožňuje mlžení a kompromisy, jimiž se takové balancování maskuje, počítačový kód vyžaduje jasnost.
Vzhledem k tomuto požadavku jasnosti je těžší ignorovat strukturální prameny společenských nerovností. Ve věku UI nás algoritmy přinutí uvědomit si, jak se prostřednictvím způsobu využívání dat do současnosti přenášejí důsledky minulých společenských a politických střetů.
Díky skupinám jako AI Ethics Initiative a Partnership on AI se začala objevovat širší diskuse o etice UI. Algoritmy UI ale samozřejmě dělají jen to, k čemu jsou naprogramovány. Jádro otázky přesahuje využívání algoritmického rozhodování ve firemní a politické správě a otřásá samotnými etickými základy naší společnosti.
Rozhodně sice musíme vést debatu o praktických a filozofických kompromisech maximalizace „užitku“ pomocí UI, ale musíme se také věnovat sebereflexi. Algoritmy nadnášejí zásadní otázky ohledně toho, jak jsme do současnosti organizovali společenské, politické a hospodářské vztahy. Teď se musíme rozhodnout, jestli opravdu chceme současná společenská uspořádání vetknout do rozhodovacích struktur budoucnosti. Vzhledem k politickému štěpení, k němuž nyní dochází po celém světě, se zdá, že nadešel vhodný okamžik napsat nový scénář.
To have unlimited access to our content including in-depth commentaries, book reviews, exclusive interviews, PS OnPoint and PS The Big Picture, please subscribe
The US retirement system is failing American workers. But after decades of pushing fake fixes – especially forcing people to work longer – US policymakers have an opportunity to make real progress in bolstering Americans' economic security in old age.
proposes a Grey New Deal that would boost economic security for all US workers in old age.
From a long list of criminal indictments to unfavorable voter demographics, there is plenty standing between presumptive GOP nominee Donald Trump and a second term in the White House. But a Trump victory in the November election remains a distinct possibility – and a cause for serious economic concern.
CAMBRIDGE – Algoritmy jsou předpojaté tak jako data, jimiž se krmí. Předpojatá jsou přitom veškerá data. Ani u „oficiálních“ statistik nelze předpokládat, že přestavují objektivní, věčná „fakta“. Čísla, jež vlády publikují, zachycují společnost, jaká je teď, optikou toho, co za podstatné a důležité považují ti, kdo sestavují údaje. Kategorie a klasifikace používané k orientaci v datech nejsou neutrální. Tak jako měříme, co vidíme, máme také sklon vidět jen to, co měříme.
Jak se do širší škály tvorby politik rozšiřuje algoritmické rozhodování, vrhá nelítostné světlo na společenské předsudky, které bývaly skryté ve stínu shromažďovaných údajů. Napínáním stávajících struktur a procesů do logických extrémů nás umělá inteligence (UI) nutí postavit se čelem tomu, jakou společnost jsme vytvořili.
Problém není jen v tom, že počítače jsou uzpůsobené tak, aby uvažovaly jako korporace, jak tvrdí můj kolega z Cambridgeské univerzity Jonnie Penn. Je také v tom, že počítače přemýšlejí jako ekonomové. Vždyť UI je tak neomylným provedením homo economicus, jak si jen člověk dokáže představit. Jedná se o racionálně kalkulujícího, logicky konzistentního a na výsledek orientovaného činitele, schopného s omezenými výpočetními zdroji dosahovat požadovaných výsledků. Co se týče „maximalizace užitku“, je mnohem efektivnější než kdokoli z lidí.
„Užitek“ je pro ekonomii tím, čím pro chemii kdysi býval „flogiston“. Raní chemici měli hypotézu, že hořlavé látky obsahují skrytý prvek – flogiston – vysvětlující, proč látky při hoření mění podobu. Jenže ať se vědci snažili sebevíc, potvrdit hypotézu se jim nikdy nepodařilo. Vystopovat flogiston nedokázali z téhož důvodu, z jakého dnes ekonomové neodkážou nabídnout míru skutečného užitku.
Ekonomové koncepci užitku využívají, aby vysvětlili, co lidi vede k jejich rozhodnutím – co koupit, kam investovat, jak hodně pracovat: každý se snaží maximalizovat užitek v souladu se svými preferencemi a světonázory a v mantinelech tvořených omezenými příjmy či zdroji. Užitek, ač neexistuje, je vlivná koncepce. Zdá se naprosto přirozené předpokládat, že se každý snaží dělat to nejlepší pro sebe.
Pojem užitku užívaný ekonomy se navíc zrodil z klasického utilitarismu, jehož cílem je zajistit co nejvíc blaha pro co nejvíc lidí. Většina z těch, kdo koncipují algoritmy, jsou, stejně jako moderní ekonomové kráčející ve stopách Johna Stuarta Milla, utilitaristé, přesvědčení, že pokud je „dobro“ známé, lze jej maximalizovat.
Subscribe to PS Digital
Access every new PS commentary, our entire On Point suite of subscriber-exclusive content – including Longer Reads, Insider Interviews, Big Picture/Big Question, and Say More – and the full PS archive.
Subscribe Now
Tento předpoklad ale může přinášet zneklidňující důsledky. Vezměme si kupříkladu, jak se algoritmy využívají k rozhodování, jestli si vězni zaslouží podmínečné propuštění. Důležitá studie z roku 2017 zjistila, že algoritmy dokážou daleko lépe než člověk předpovědět recidivu a lze je využít ke snížení „míry věznění“ o víc než 40 % „bez nárůstu kriminality“. Ve Spojených státech by pak bylo možné snížit počet vězněných, mezi nimiž jsou neúměrně zastoupeni černoši. Co se ale stane, pokud podmínečné propouštění vězňů převezme UI a Afroameričané budou dál vězněni častěji než běloši?
Vysoce efektivní algoritmické rozhodování přináší takové otázky do popředí a nutí nás rozhodnout se přesně, jaké výsledky se mají maximalizovat. Chceme pouze snížit celkový počet vězňů, nebo se máme zabývat i spravedlností? Zatímco politika umožňuje mlžení a kompromisy, jimiž se takové balancování maskuje, počítačový kód vyžaduje jasnost.
Vzhledem k tomuto požadavku jasnosti je těžší ignorovat strukturální prameny společenských nerovností. Ve věku UI nás algoritmy přinutí uvědomit si, jak se prostřednictvím způsobu využívání dat do současnosti přenášejí důsledky minulých společenských a politických střetů.
Díky skupinám jako AI Ethics Initiative a Partnership on AI se začala objevovat širší diskuse o etice UI. Algoritmy UI ale samozřejmě dělají jen to, k čemu jsou naprogramovány. Jádro otázky přesahuje využívání algoritmického rozhodování ve firemní a politické správě a otřásá samotnými etickými základy naší společnosti.
Rozhodně sice musíme vést debatu o praktických a filozofických kompromisech maximalizace „užitku“ pomocí UI, ale musíme se také věnovat sebereflexi. Algoritmy nadnášejí zásadní otázky ohledně toho, jak jsme do současnosti organizovali společenské, politické a hospodářské vztahy. Teď se musíme rozhodnout, jestli opravdu chceme současná společenská uspořádání vetknout do rozhodovacích struktur budoucnosti. Vzhledem k politickému štěpení, k němuž nyní dochází po celém světě, se zdá, že nadešel vhodný okamžik napsat nový scénář.
Z angličtiny přeložil David Daduč