Nagsimula nang mag-alok ang Amazon parehong araw na paghahatid sa napiling mga lugar ng metropolitan. Ito ay maaaring mabuti para sa maraming mga customer, ngunit ang rollout ay nagpapakita kung paano ang computerized desisyon-paggawa ay maaari ring maghatid ng isang malakas na dosis ng diskriminasyon.

Siyempre, sinimulan ng kumpanya ang paglilingkod nito sa mga lugar kung saan ang mga gastos sa paghahatid ay magiging pinakamababa, sa pamamagitan ng pagtukoy sa mga kodigo ng ZIP ng mga lugar na may makapal na lugar sa maraming mga umiiral na mga customer ng Amazon na may mga antas ng kita na sapat na mataas upang gumawa ng mga madalas na pagbili ng mga produkto na magagamit para sa parehong araw na paghahatid. Nagbigay ang kumpanya ng isang web page na nagpapahintulot sa mga customer na ipasok ang kanilang ZIP code upang makita kung ang parehong araw na paghahatid ay nagsilbi sa kanila. Ang mga mamamahayag na imbestigador sa Bloomberg News ay gumagamit ng pahinang iyon sa lumikha ng mga mapa ng lugar ng serbisyo ng Amazon para sa parehong araw na paghahatid.

Ang pagsusuri ng Bloomberg ay nagsiwalat na maraming mga mahihirap na lugar sa kalunsuran ay hindi kasama sa lugar ng serbisyo, habang mas mayaman ang mga kalapit na lugar. Marami sa mga hindi kasama na mahihirap na lugar ay tinatahanan ng mga minorya. Halimbawa, ang lahat ng Boston ay sakop maliban sa Roxbury; Kasama sa coverage ng New York City ang halos lahat ng apat na borough ngunit ganap na hindi kasama ang Bronx; Inalis ang saklaw ng Chicago sa mahihirap na South Side, habang ang pagpapalawak ng malaki sa mayaman sa hilagang at kanlurang suburbs.

Bagaman ito ay nakatutukso upang maniwala sa mga desisyon na hinimok ng data ay walang pinapanigan, pananaliksik at talakayan sa pag-aaral ay nagsisimula upang ipakita na hindi makatarungan at diskriminasyon. Sa aking online na kurso sa etika ng data, natututo ang mga estudyante ang mga algorithm ay maaaring magpakita ng diskriminasyon. Ngunit maaaring may isang piraso ng isang silver lining: Bilang nagmumungkahi ang pananaliksik sa Bloomberg, ang pagdedesisyon ng mga desisyon sa data ay maaari ring gawing mas madali upang makita kung kailan lumalabas ang mga biases.

Ang mga bias ay maaaring hindi sinasadya

Ang di-makatarungang tulad nito sa patakaran sa paghahatid ng Amazon ay maaaring lumabas dahil sa maraming mga kadahilanan, kabilang nakatagong biases - tulad ng mga palagay na ang mga populasyon ay ipinamamahagi nang pantay. Ang mga taga-disenyo ng algorithm malamang ay hindi nagnanais na magpakita ng diskriminasyon, at maaaring hindi mapagtanto ang isang problema.

Sinabi ni Amazon sa Bloomberg na walang intensyong ito, at mayroong dahilan upang maniwala sa claim na iyon. Bilang tugon sa ulat ng Bloomberg, lungsod opisyal at ibang mga pulitiko na tinatawag na Amazon upang ayusin ang problemang ito. Ang kompanya mabilis na inilipat upang idagdag ang orihinal na ibinukod na mahihirap na mga ZIP code sa lugar ng serbisyo nito.

Ang isang katulad na tanong ay Nagtanong kay Uber, na mukhang nagbibigay ng mas mahusay na serbisyo sa mga lugar na tinitirhan ng mas mataas na sukat ng mga puting tao. Malamang ay magkakaroon ng mas maraming mga tingi at mga halimbawa ng industriya ng serbisyo ng hindi sinasadyang algorithmic diskriminasyon na natuklasan sa hinaharap.

Humihiling ng masyadong maraming mga algorithm?

Dapat nating i-pause ang isang sandali upang isaalang-alang kung sobra tayong hinihingi ng mga desisyon ng algorithm. Ang mga kumpanya na nagpapatakbo ng mga brick-and-mortar na mga tindahan ay gumawa ng mga pagpapasya sa lokasyon sa lahat ng oras, nang isinasaalang-alang ang pamantayan na hindi naiiba mula sa Amazon. Tinitiyak ng mga tindahan na magkaroon ng mga lokasyon na maginhawa para sa isang malaking pool ng mga potensyal na customer na may pera na gugulin.

Bilang resulta, ang ilang mga tindahan ay pinili upang mahanap sa mga mahihirap na panloob-lungsod kapitbahayan. Lalo na sa konteksto ng mga tindahan ng groseri, ang pangkaraniwang bagay na ito ay pinag-aralan nang husto, at ang salitang "pagkain disyerto"Ay ginagamit upang ilarawan ang mga lugar ng lunsod na ang mga residente ay walang madaling access sa sariwang pagkain. Ito bias ng lokasyon ay hindi gaanong pinag-aralan para sa mga tindahan ng tingi pangkalahatang.

Bilang isang pahiwatig na halimbawa, tiningnan ko ang lokasyon ng 55 Michigan ng Target, isang malaking komprehensibong kadena ng tingi. Kapag inayos ko ang bawat Michigan ZIP code batay sa kung ang average na kita ay nasa itaas na kalahati o kalahati sa buong estado, natuklasan ko na ang 16 lamang ng mga tindahan ng Target (29 porsiyento) ay nasa ZIP code mula sa mas mababang pangkat ng kita. Higit sa dalawang beses ng marami, ang mga tindahan ng 39, ay nakaupo sa mga ZIP code mula sa mas mayaman kalahati.

Pagkilala sa diskriminasyon

Bukod dito, walang mga Target na tindahan sa lungsod ng Detroit, bagama't may ilang sa mga (mayaman) suburbs. Gayunpaman walang popular na pagtawanan na nagpapahayag ng Target na hindi makatarungang pagtatangi sa mga mahihirap sa mga desisyon sa lokasyon ng tindahan. Mayroong dalawang pangunahing dahilan ang mga alalahanin tungkol sa Amazon ay nabigyang-katwiran: ang pagiging matigas at pangingibabaw.

Ang pagiging matigas ay may kinalaman sa parehong mga proseso ng paggawa ng desisyon sa online retailer at may resulta. Ang Amazon ay nagpasiya kung aling mga ZIP code ang nasa lugar ng serbisyo nito. Kung ang isang customer ay nabubuhay sa kabila ng kalye mula sa hangganan na itinakda ng Amazon, siya ay nasa labas ng lugar ng serbisyo at maaaring gumawa ng kaunti tungkol dito. Sa kabaligtaran, ang isang tao na naninirahan sa isang ZIP code na walang isang Target na tindahan ay maaari pa ring mamimili sa Target - bagaman maaaring mas matagal ito upang makarating doon.

Mahalaga rin kung gaano ang dominanteng retailer ang nasa isip ng mga mamimili. Sapagkat ang Target ay isa lamang sa maraming mga kadena ng pisikal na tindahan, tinatangkilik ng Amazon market dominance bilang isang web retailer, at dahil dito ay umaakit ng higit na pansin. Ang gayong pangingibabaw ay isang katangian ng ngayon winner-takes-all mga negosyo sa web.

Habang ang kanilang pagkaligalig at pangingibabaw ay maaaring maging sanhi ng higit na pag-aalala sa amin sa mga online na negosyo, mas mahusay din naming makita ang kanilang diskriminasyon kaysa sa mga tindahan ng brick-and-mortar. Para sa isang tradisyonal na tindahan ng chain, kailangan naming hulaan kung gaano kalayo ang mga mamimili ang gustong maglakbay. Maaaring kailangan din nating malaman ang oras: Limang milya sa susunod na exit ng freeway ay hindi katulad ng limang milya sa pamamagitan ng masikip na kalye papunta sa kabilang panig ng bayan. Higit pa rito, ang oras ng paglalakbay mismo ay maaaring mag-iba nang malaki depende sa oras ng araw. Matapos makilala ang mga posibleng lugar na naglilingkod ang isang tindahan, hindi sila maaaring ma-mapang maayos sa mga heyograpikong yunit kung saan mayroon kaming mga istatistika tungkol sa lahi o kita. Sa maikli, ang pagtatasa ay magulo at nangangailangan ng maraming pagsisikap.

Sa kabaligtaran, kukuha lamang ito ng mga mamamahayag sa Bloomberg ng ilang oras upang bumuo ng isang mapa ng lugar ng serbisyo ng Amazon at iugnay ito sa kita o lahi. Kung ginawa ito ni Amazon sa loob nito, maaari nilang gumanap ang parehong pagsusuri sa ilang minuto lamang - at marahil ay napansin ang mga problema at naitakda ang mga ito bago magsimula ang parehong araw na serbisyo.

Paano naiihambing ang mga tao?

Tingnan natin ang isang napaka iba't ibang halimbawa upang makita kung paano malawakang inilalapat ang parehong mga punto. Kamakailan lamang, inilathala ng ProPublica isang mahusay na pagsusuri ng diskriminasyon sa lahi sa pamamagitan ng isang algorithm na hinuhulaan ang posibilidad ng isang kriminal na lumalabag muli. Isinasaalang-alang ng algorithm ang dose-dosenang mga kadahilanan at kinakalkula ang isang posibilidad na tantiya. Ang pag-aaral ng ProPublica ay natagpuan ang makabuluhang sistematikong lahi sa lahi, kahit ang lahi ay hindi kabilang sa mga partikular na salik na itinuturing.

Kung wala ang algorithm, ang isang hukom ng tao ay magkakaroon ng katulad na pagtatantya, bilang bahagi ng desisyon ng paghatol o paghatol. Ang desisyon ng tao ay maaaring isaalang-alang ang isang mas mahusay na hanay ng mga kadahilanan, tulad ng kilos ng korte sa kriminal. Ngunit alam natin, mula pag-aaral sa sikolohiya, Na Ang paggawa ng desisyon ng tao ay puno ng bias, kahit na sinubukan natin ang ating makakaya upang maging patas.

Ngunit ang anumang mga error na nagreresulta mula sa mga bias sa mga desisyon ng mga hukom ng tao ay malamang na naiiba sa mga hukom, at maging sa iba't ibang mga desisyon na ginawa ng parehong hukom. Sa kabuuan, maaaring mayroong diskriminasyon sa lahi dahil sa subconscious bias, ngunit ang pagtiyak na ito ay totoo ay nakakalito. Ang isang pag-aaral ng Kagawaran ng Katarungan ng US ay napatunayan na ang katibayan ng disparities sa sentencing white and black convicts, ngunit hindi maaaring malinaw na matukoy kung ang lahi mismo ay isang kadahilanan sa mga desisyon na iyon.

Sa kaibahan, ang eksaktong parehong algorithm na nakita ng ProPublica ay ginagamit sa libu-libong mga kaso sa maraming estado. Ang pagiging matigas nito, at ang malaking volume, ay nagpapagaan sa trabaho ng pagtukoy kung ito ay nagpapakita ng diskriminasyon - at maaaring mag-alok ng mga paraan upang mabisang maituwid ang problema.

Ang paggamit ng teknolohiya ng impormasyon ay tila upang gumawa ng mga linya ng mas maliwanag, pagkakaiba-iba starker at data tungkol sa lahat ng ito mas madaling magagamit. Ano ang maaaring brushed sa ilalim ng rug kahapon ngayon clamors para sa pansin. Habang nakikita natin ang higit pa at higit na paggamit para sa mga algorithm na hinimok ng data, hindi pa pangkaraniwan ang pag-aralan ang kanilang pagkamakatarungan, lalo na bago lumabas ang isang bagong data na nakabatay sa serbisyo. Ang pagsasagawa nito ay aabutin ang isang mahabang paraan sa pagsukat, at pagpapabuti, ang pagiging patas ng mga lalong mahalagang pagkalkula ng computer.

Tungkol sa Ang May-akda

HV Jagadish, Bernard A Galler Collegiate Professor ng Electrical Engineering at Computer Science, University of Michigan

Ang artikulong ito ay orihinal na na-publish sa Ang pag-uusap. Basahin ang ang orihinal na artikulo.

Mga Kaugnay Books

at InnerSelf Market at Amazon