數據如何導致不平等

http://money.cnn.com/2016/09/06/technology/weapons-of-math-destruction/index.html

不公平的事在美國一直增多並不奇怪, 但我們可能不知到其中部份原因來至於數學.

有本新書 "破壞性數學武器" 凱西.歐尼爾詳細描述數學最後被用來作壞事的所有方法.

由特定性廣告, 保險到教育及治安維持, 歐尼爾關注於演算法及大數據如何只針對窮人, 強化種族主義及放大不公平.

她認為這是 "大規模殺傷性武器", 有三個特點 : 不透明, 可擴展及不平等.

因為性格測驗工作未被錄取 ? 很糟糕 - 演算法說你並不是好的選擇. 被收取較高的貸款利率 ? 因為你所住的地方屬於借款不還的高風險區域. 被判較為苛刻的刑期 ? 事情的真象是 : 你的朋友家人都有犯罪記錄, 所以你有重複犯罪的傾向. (實際真相 : 這些人永遠不會得到這方面的說明及解釋)

歐尼爾書中寫道, 所有要拿來使用的資料都被建成模型分析. 警方分析郵政碼來做成警力佈署, 公司使用信用評等來衡量工作責任, 貸款機構用發薪日來確認信用. 郵政碼還被用來劃分種族, 財富信用評分, 以及分辨能力比較差的移民.

歐尼爾擁有哈佛大學數學博士學位. 曾工作於學術界, 金融危機時任職於對沖基金及一家新創公司負責資料科學. 就在那時, 她的工作和佔領華爾街運動起了連結, 被人們使用數據的方式弄得心灰意冷.

"我很擔心技術模型和活生生的人之間的落差, 以及道德觀點被切割掉" 歐尼爾書中寫道.

他開始寫部落格 - mathbabe.org - 她的失望最後變成 "破壞性數學武器" 這本書.

書最較受人注目的章節是 "累犯模型". 多年以來, 因刑事判決不一致和偏袒少數民族. 所以一些州開始使用累犯模型來當成判決的參考指標. 這個模型會參考一些像是有無前科, 住的地區, 使用藥物酒精的習慣, 之前警務人員的印象, 以及朋友家人的犯罪紀錄.

這些來評分作成判決.

"這是不公平的" 歐尼爾書中寫道. "實際上, 如果檢察官在法院裡試圖利用他親人犯罪紀錄, 或是他住在高犯罪區域, 來說明他也可能因而犯罪, 一位幹練的律師會當場大喊 '反對, 法官大人 !'"

而且使用這種模型, 人們是無法知道是那些因子影響了他或她的量刑 - 當然也絕對不可能從中尋求公平的辯解.

另一個值得考量的是, 近來有一半的美國雇主要求應聘者信用報告, 等同一定要在責任及誠信上有好的評分.

這將 "開始一個危險貧窮的惡性循環" 歐尼爾書中寫道. "如果因為信用記錄不佳, 導致找不到工作, 那這紀錄將變得更糟, 更找不到工作".

她認為, 因為白人黑人家庭貧富差距, 這惡性循環下降曲線因種族不同而不同. 這意味著非裔美國人緩衝帶較小, 他們信用評等下降的斜率較大.

而雇主對於報告數據的信任度更優於面對面對人的判斷 - 且從未質疑這些資料背後的假設.

就理論上來說, 這些模型相當糟糕, 歐尼爾強調 "這些系統的資料就是相互餵來餵去". 教育資料, 就業預估, 債務及不公開, 所有資料都接在一起, 大數據資料使用方式, 使大家更傾向使用這種方式.

"貧苦人可能有不良信貸, 同時住在高犯罪區域, 和其他貧苦人住一起" 她在書中寫道 "一旦 .... 大規模殺傷性武器消化這些數據, 那他的貸款利率將比別人高, 只能念以營利為導向的教育機構. 有事情會有更多警察, 被判的刑期會比別人長."

就是說, 這些大規模殺傷性武器使用這些資料來收取更高利率的抵押, 貸款及保險.

所以你看, 很容易讓人灰心.

然而歐尼爾還是充滿希望, 因為人們開始注意這件事. 一些律師, 社會學家, 統計學家的社群組織正試圖找出資料造成的傷害並要解決它.

他樂觀認為, 像是健康保險可攜與責任法 (HIPAA) 及美國殘疾人法案 (ADA) 將以新方法去保護更多的個人資料, 而像是消費者金融保護局 (CFPB) 及聯邦貿易委員會 (FTC) 這類監管機構將增加他們的監控, 同時標準化資料透明化的需求.

然而還有一項事實, 這些被建立出來的模型還有許多可能性.

試想一下, 如果使用累犯模型來提供監獄犯人輔導及就業訓練的參考. 或在高犯罪郵政碼區域加倍警力巡邏 - 致力於聯繫社區關係而不是因輕微犯罪而去抓人.

或許有注意到這些解決方式是以人為出發, 因為這確實是關鍵. 演算法可以告知, 描繪及補充我們的政策決策. 但要達到不做壞事的結果, 人和資料必須要一起同努力.

"大數據處理的是過去" 歐尼爾書中寫道 "他不會創造未來. 這部分需把道德加進去, 而這件事只有人能完成."