Ang mga taong nag-aaplay para sa isang pautang mula sa isang bangko o kumpanya ng credit card, at binabawi, ay may utang na paliwanag kung bakit ito nangyari. Mahusay na ideya - dahil makatutulong ito sa pagtuturo sa mga tao kung paano ayusin ang kanilang napinsalang kredito - at ito ay isang pederal na batas, ang Pantay na Credit Opportunity Act. Ang pagkuha ng sagot ay hindi gaanong problema sa mga nakalipas na taon, nang gumawa ng mga desisyon ang mga tao. Ngunit ngayon, bilang mga artipisyal na sistema ng katalinuhan lalong tumutulong o pinapalitan ang mga tao na gumagawa ng mga desisyon sa kredito, ang pagkuha ng mga paliwanag ay naging mas mahirap.

Ayon sa kaugalian, ang isang opisyal ng pautang na tumanggi sa isang application ay maaaring sabihin sa isang magiging borrower nagkaroon ng problema sa kanilang antas ng kita, o kasaysayan ng trabaho, o anuman ang isyu. Ngunit nakakompyuter system na gumagamit ng kumplikadong machine learning ang mga modelo ay mahirap ipaliwanag, kahit na para sa mga eksperto.

Ang mga desisyon ng kredito ng consumer ay isang paraan lamang ang problemang ito. Katulad na mga alalahanin umiiral sa pangangalaga ng kalusugan, online marketing at kahit kriminal na katarungan. Ang aking sariling interes sa lugar na ito ay nagsimula kapag ang isang grupo ng pananaliksik na ako ay bahagi ng natuklasan gender bias sa kung paano naka-target ang mga online na ad, ngunit hindi maipaliwanag kung bakit ito nangyari.

Lahat ng mga industriya, at marami pang iba, na gumagamit ng pag-aaral ng makina upang pag-aralan ang mga proseso at gumawa ng mga pagpapasya ay may isang maliit na higit sa isang taon upang makakuha ng mas mahusay sa pagpapaliwanag kung paano gumagana ang kanilang mga system. Sa Mayo 2018, ang bago Regulasyon Proteksyon ng Pangkalahatang Data ng European Union may bisa, kabilang ang isang seksyon na nagbibigay sa mga tao ng karapatang makakuha ng paliwanag para sa mga awtomatikong desisyon na nakakaapekto sa kanilang buhay. Anong hugis ang dapat gawin ng mga paliwanag na ito, at maaari ba tayong magbigay ng mga ito?

Pagkilala sa mga pangunahing dahilan

Isang paraan upang ilarawan kung bakit ang isang awtomatikong desisyon ay dumating tulad ng ginawa nito ay upang makilala ang mga kadahilanan na pinaka-maimpluwensyang sa desisyon. Gaano karami ng desisyon ng pagtanggi sa credit dahil ang aplikante ay hindi gumawa ng sapat na pera, o dahil nabigo siyang bayaran ang mga pautang sa nakaraan?

Ang aking pangkat sa pananaliksik sa Carnegie Mellon University, kasama ang PhD na mag-aaral na Shayak Sen at pagkatapos-postdoc na si Yair Zick ay lumikha ng isang paraan upang sukatin ang kamag-anak na impluwensya ng bawat kadahilanan. Tinatawag namin itong Quantitative Input Influence.

Bilang karagdagan sa pagbibigay ng mas mahusay na pag-unawa sa isang indibidwal na desisyon, ang pagsukat ay maaari ding magbigay ng liwanag sa isang pangkat ng mga pagpapasya: Ang isang algorithm ay tumanggi sa credit lalo na dahil sa pinansiyal na mga alalahanin, tulad ng kung magkano ang isang aplikante na utang sa iba pang mga utang? O kaya ay mas mahalaga ang ZIP code ng aplikante - na nagmumungkahi ng higit pang mga pangunahing demograpiko tulad ng lahi ay maaaring dumating sa pag-play?

Pagkuha ng pagsasagawa

Kapag ang isang sistema ay gumagawa ng mga pagpapasya batay sa maraming mga kadahilanan ay mahalaga upang matukoy kung aling mga kadahilanan ang sanhi ng mga desisyon at ang kanilang mga kamag-anak na kontribusyon.

Halimbawa, gunigunihin ang isang sistema ng desisyon ng kredito na tumatagal lamang ng dalawang input, ang ratio ng utang-sa-kita ng aplikante at ang kanyang lahi, at naipakita na aprubahan ang mga pautang para lamang sa mga Caucasians. Ang pag-alam kung magkano ang bawat salik na nakatulong sa desisyon ay makakatulong sa amin na maintindihan kung ito ay isang lehitimong sistema o kung ito ay nakikita ang kaibhan.

Ang isang paliwanag ay maaari lamang tumingin sa mga input at ang kinalabasan at obserbahan ang ugnayan - di-Caucasians ay hindi makakuha ng mga pautang. Ngunit ang paliwanag na ito ay masyadong simple. Ipagpalagay na ang mga di-Caucasians na tinanggihan pautang ay may mas mababang kita kaysa sa mga Caucasians na ang mga aplikasyon ay matagumpay. Kung gayon, ang paliwanag na ito ay hindi maaaring sabihin sa amin kung ang ratio ng lahi o utang-sa-kita ng mga aplikante ay naging sanhi ng mga pagtanggi.

Ang aming pamamaraan ay maaaring magbigay ng impormasyong ito. Ang pagsasabi ng pagkakaiba ay nangangahulugan na maaari naming tiyakin kung ang sistema ay hindi makatwiran sa pagtukoy o pagtingin sa mga lehitimong pamantayan, tulad ng mga pananalapi ng mga aplikante.

Upang sukatin ang impluwensya ng lahi sa isang partikular na desisyon sa kredito, aming pinapagana ang proseso ng aplikasyon, pinapanatili ang ratio ng utang-sa-kita pareho ngunit binabago ang lahi ng aplikante. Kung ang pagpapalit ng lahi ay nakakaapekto sa kinalabasan, alam natin na ang lahi ay isang kadahilanan ng pagpapasya. Kung hindi, maaari naming tapusin ang algorithm ay naghahanap lamang sa impormasyon sa pananalapi.

Bilang karagdagan sa pagkilala ng mga kadahilanan na nagiging sanhi, maaari naming sukatin ang kanilang kamag-anak na pananakit na epekto sa isang desisyon. Ginagawa namin iyan sa pamamagitan ng pag-iiba-iba ng kadahilanan (hal., Lahi) at pagsukat kung gaano ito malamang na baguhin ang kinalabasan. Kung mas mataas ang posibilidad, mas malaki ang impluwensiya ng kadahilanan.

Pagsasama-sama ng impluwensya

Maaari ring isama ng aming paraan ang maraming mga kadahilanan na nagtutulungan. Isaalang-alang ang isang sistema ng desisyon na nagbibigay ng kredito sa mga aplikante na nakakatugon sa dalawa sa tatlong pamantayan: credit score sa itaas 600, pagmamay-ari ng kotse, at kung ang aplikante ay ganap na nabayaran ang isang pautang sa bahay. Sabihin sa isang aplikante, si Alice, na may credit score ng 730 at walang kotse o pautang sa bahay, ay tinanggihan ng kredito. Nagtataka siya kung ang katayuan ng kanyang pagmamay-ari ng kotse o kasaysayan ng pagbabayad ng pautang sa pautang ay ang pangunahing dahilan.

Ang isang pagkakatulad ay maaaring makatulong sa ipaliwanag kung paano namin pag-aralan ang sitwasyong ito. Isaalang-alang ang isang korte kung saan ang mga desisyon ay ginawa ng karamihan ng boto ng isang panel ng tatlong hukom, kung saan ang isa ay isang konserbatibo, isang liberal at ang ikatlong isang boto ng swing, isang taong maaaring makasama sa alinman sa kanyang mga kasamahan. Sa isang desisyon ng konserbatibo ng 2-1, ang hukom ng swing ay may higit na impluwensya sa kinalabasan kaysa sa liberal na hukom.

Ang mga kadahilanan sa aming credit halimbawa ay tulad ng tatlong mga hukom. Ang unang hukom ay karaniwang bumoto sa pabor sa utang, sapagkat maraming mga aplikante ay may sapat na mataas na marka ng kredito. Ang ikalawang hukom ay halos palaging binabalo laban sa pautang dahil napakakaunting mga aplikante ang nagbayad ng isang bahay. Kaya ang desisyon ay bumaba sa hukom ng swing, na sa kaso ni Alice ay tinanggihan ang utang dahil hindi siya nagmamay-ari ng kotse.

Maaari naming gawin ang pangangatwirang ito nang tumpak sa pamamagitan ng paggamit teorya ng laro ng kooperatiba, isang sistema ng pag-aaral ng mas tiyak na kung paano ang iba't ibang mga kadahilanan ay nakakatulong sa isang solong resulta. Sa partikular, pinagsasama namin ang aming mga sukat ng kamag-anak na sanhi ng impluwensiya sa Halaga ng Shapley, na kung saan ay isang paraan upang kalkulahin kung paano mag-attribute ng impluwensiya sa maraming mga kadahilanan. Magkasama, ang mga form na ito ay ang aming Quantitative Input Influence measurement.

Sa ngayon ay sinusuri namin ang aming mga pamamaraan sa mga sistema ng desisyon na nilikha namin sa pamamagitan ng pagsasanay ng mga karaniwang algorithm sa pag-aaral ng machine na may mga totoong data sa mundo. Ang pagsusuri ng mga algorithm sa trabaho sa tunay na mundo ay isang paksa para sa hinaharap na gawain.

Isang bukas na hamon

Ang aming paraan ng pagsusuri at paliwanag kung paano ang mga algorithm na gumawa ng mga pagpapasya ay pinaka-kapaki-pakinabang sa mga setting kung saan ang mga kadahilanan ay madaling maunawaan ng mga tao - tulad ng utang-sa-kita ratio at iba pang mga pamantayan sa pananalapi.

Gayunpaman, ang nagpapaliwanag ng proseso ng paggawa ng desisyon ng mas kumplikadong mga algorithm ay nananatiling isang makabuluhang hamon. Kunin, halimbawa, isang sistema ng pagkilala ng imahe, tulad ng mga iyan tuklasin at subaybayan ang mga tumor. Ito ay hindi masyadong kapaki-pakinabang upang ipaliwanag ang pagsusuri ng isang partikular na imahe batay sa mga indibidwal na pixel. Sa isip, nais namin ang isang paliwanag na nagbibigay ng karagdagang pananaw sa desisyon - tulad ng pagkilala sa mga partikular na katangian ng tumor sa imahe. Sa katunayan, ang pagdidisenyo ng mga paliwanag para sa naturang mga awtomatikong paggawa ng desisyon ay nagpapanatili ng maraming mga mananaliksik abala.

Tungkol sa Ang May-akda

Anupam Datta, Associate Professor ng Computer Science at Electrical at Computer Engineering, Carnegie Mellon University

Ang artikulong ito ay orihinal na na-publish sa Ang pag-uusap. Basahin ang ang orihinal na artikulo.

Mga Kaugnay Books

at InnerSelf Market at Amazon