【この連載の前の記事】
顔認識よりもさらに深刻なバイアスも指摘されている。人々の「未来」についての、AIのバイアスだ。
その深刻さが知られるようになる、大きなきっかけとなったのが、米国で導入されている「再犯予測プログラム」のバイアスだ。
刑事事件の被告が将来、再び罪を犯す危険性を、データに基づいてプログラムで自動判定し、評価点を出す。そしてそれをもとに、裁判官が判決を言い渡す─。
スティーブン・スピルバーグ監督、トム・クルーズ主演のSF映画「マイノリティ・リポート」（2002年公開）を思い起こさせる「再犯予測プログラム」。その問題がクローズアップされたのは、一件の銃撃事件の裁判だった。
2013年2月11日の午前2時17分、ウィスコンシン州西部の街、ラクロスで、住宅に向け、車両から2発の銃弾が撃ち込まれる事件が発生。間もなく、2人の容疑者が逮捕される。
このうち運転手役だったとされるのが、当時31歳の男性被告。盗難車両の運転や逃亡などの罪で、一審で6年の有罪判決を受ける。
判決に使われたのが「再犯予測プログラム」だった。
このプログラムには、AIの技術である機械学習が使われていると見られているが、詳細は明らかになっていない。
被告はこれに対し、「再犯予測プログラム」はアルゴリズムが明らかでなく、信頼性を検証できないため、法の適正手続き（デュープロセス）を受けるべき被告の権利を侵害している、と主張。判決を不服として控訴した。
控訴審は、「再犯予測プログラム」の判決への導入についての可否の判断を、州最高裁に委ねた。
一審判決で使われた「再犯予測プログラム」は、米ノースポイント社（現エキバント）が開発した「COMPAS」と呼ばれるものだった。
「COMPAS」とは、被告に137問の質問に答えさせ、過去の犯罪データとの照合により、再び罪を犯す危険性を10段階の点数として割り出すシステムだ。
この質問には、犯罪、保釈の履歴や年齢、雇用状況、暮らしぶり、教育レベル、地域とのつながり、薬物使用、信条、さらには家族の犯罪歴、薬物使用歴なども含まれる。
今回の男性被告の場合、過去に性的暴行の前科があり、性犯罪者データベースに登録されている人物だったという。
このため、「COMPAS」による再犯危険度の点数も高かったようだ。
「COMPAS」は州政府の矯正局が使用し、そのデータが裁判官に提供されている。
2016年7月16日に州最高裁が出した判決では、「COMPAS」の危険度評価を判決で使うことについては、被告が適正手続きを受ける権利を侵害してはいない、とした。
ただし、「判決を、このプログラムに依存することまで認めるわけではない」と指摘。プログラムの使用には前提条件が必要になる、と判断を示した。
まず、「再犯予測」のデータを裁判官に提供する場合には、予測プログラムが非公開のアルゴリズムによること、データにはバイアス（偏り）があり、白人よりも黒人に高い危険性評価が出ることなどの注意書きを明記するように、と指摘。
さらに、量刑の軽重、実刑か猶予かを、このプログラムのみに依拠して判断すべきでない、とした。判決はこう述べる。
「 危険度評価のツールを、量刑の長さや軽重を判断するために使うことは、不適切である。」
再犯予測プログラムをめぐっては、2010年にもインディアナ州最高裁が「量刑判断に取って代わるものではなく、その参考データとして使用すること」とする判決を出している。ウィスコンシン州最高裁の判断も、その流れの中にあるようだ。
被告は連邦最高裁に上訴したが、2017年6月26日に退けられている。
ウィスコンシン州では、「COMPAS」は今回のような判決の場面だけでなく、仮釈放の判断など、犯罪者矯正の幅広い場面で使われている。
このような「再犯予測」プログラムは、このほかにも、アリゾナ、コロラド、デラウェア、ケンタッキー、ルイジアナ、オクラホマ、ヴァージニア、ワシントンの各州で、刑事裁判の判決に導入されているという。
ウィスコンシン州最高裁の判決では、「COMPAS」のアルゴリズムが非公開であるとしながらも、バイアスの存在について言及していた。
その判決に先立つ2016年5月、米調査報道メディア「プロパブリカ」が独自に「COMPAS」の精度を検証し、そのバイアスについて報じていたのだ。
「プロパブリカ」の検証では、白人よりも黒人の再犯危険度が高く示される傾向があった、という。
「プロパブリカ」は、「COMPAS」を導入しているフロリダ州の情報公開法を使って、同州ブロワード郡で2013～2014年に「再犯予測」の評価を受けた1万人を超すデータを請求し、独自に検証した。
フロリダは「COMPAS」の予測を、判決ではなく、主に公判前の保釈の判断に使っているという。
「プロパブリカ」の検証によると、「COMPAS」の再犯予測の精度、すなわち危険度が高いと評価した人物が実際に再犯をした割合は、白人59％、黒人63％とさほどの違いはなかった。
だが、細かく見ていくと、黒人の方がより危険度が高く出る傾向が顕著だった、という。
例えば「再犯予測」後、実際には2年間、再犯のなかった人物が、高い危険度評価を受けていた割合は、黒人が44・9％に対して、白人は23・5％と、2倍近い違いがあった。
逆に、「再犯予測」後、2年以内に再犯があった人物が、低い危険度評価を受けていた割合は、白人が47・7％と高く、黒人は28・0％と、こちらも2倍近い違いがあった、という。
この検証結果は大きな反響を呼び、「COMPAS」はアルゴリズムによるバイアスの代表的な事例として取り上げられるようになる。
ただこの検証結果に対しては、ノースポイントが異議を申し立て、さらに「プロパブリカ」が反論するという応酬が続いた。
また、この議論には専門家らも加わり、黒人の再犯率が実際に高いことから、再犯予測が高く出てしまうのはやむを得ない面がある、との指摘もなされている。
犯罪に関するシステムとしては、このほかにもAIを使って犯罪発生地域を予測する「プレッドポル」が知られている。
過去の犯罪発生データの解析によって、犯罪発生率の高い地域を予測し、パトロールの効率的人員配置を行うというものだ。
「プレッドポル」はカリフォルニア大学ロサンゼルス校（UCLA）とロサンゼルス市警察（LAPD）による、データを使った犯罪発生予測の実験がきっかけになっている。 もとになったのは、地震の余震を予測するアルゴリズム。
「それを活用することで、犯罪発生を阻止する効果は倍増した」─「プレッドポル」の共同創業者でUCLAの人類学の教授でもあるジェフ・ブランティンガム氏は、BBCの取材にそう語っている。
「プレッドポル」では、過去数年間に発生した犯罪の種別、場所、時間のデータを解析し、具体的な犯罪の発生を予測する。
予測結果は地図上に500平方フィート（46平方メートル）の色つきの四角いエリアで表示。赤の四角は、発生危険度が高いことを示しており、警察官は勤務時間の1割を、そのエリアの警戒にあてなければならない。
米国内で50を超す警察が「プレッドポル」を導入しており、英国でも導入され始めているという。
だが、「プレッドポル」の導入によって、かえって特定地域の犯罪・発生率・が上がり、住民への差別や偏見を助長することにつながる─そんな皮肉な問題点も指摘されている。
サンフランシスコの人権団体「ヒューマン・ライツ・データ・アナリシス・グループ（HRDAG）」は2016年10月、「プレッドポル」の予測精度に関する調査結果を公開した。
同グループは、カリフォルニア州オークランド市警察の麻薬摘発データをもとにして、「プレッドポル」に麻薬取引の発生予測を行わせた。さらに、公開されている統計データから、オークランド市内の各地域での麻薬使用者の分布を推計した。
「プレッドポル」の予測は特定地域に集中していたが、居住地近くで取引をするはずの麻薬使用者は、市内の広範囲に分布していた、という。
同グループは、「プレッドポル」の予測のもとになるデータは、犯罪発生そのもののデータではなくて、警察が犯罪発生を覚知したデータであることが、この食い違いの理由だ、と指摘する。
つまり、警察官が集中的に監視する地域は犯罪の覚知率が高くなり、発生予測も高くなる。するとより監視が強まり、さらに犯罪の覚知率は高くなる、という繰り返しになっているのだと。
そのような地域は、大半が低所得層や人種的マイノリティの居住地域だという。警戒の重点化と犯罪覚知率の上昇は、結果として地域住民へのバイアスを固定化することになってしまう、という指摘だ。
ユタ大学などの研究チームは、2017年6月に発表した論文で、この傾向を数理モデルによって証明。警察官が集中的に見回ることによって、特定地域の犯罪発生率の上昇と巡回の重点化が無限に繰り返される「暴走フィードバックループ」が起きる、と指摘している。
AIによる犯罪予測は、日本でも導入が進められている。
京都府警は2016年から、NECと共同開発した「予測型犯罪防御システム」を導入した。過去10年間に府内で起きた犯罪の、種類、場所、時間帯といったデータを分析。犯罪が起こりやすいエリアを数百メートル四方で予測し、警察署や交番のパトロールの重点地域としている。
神奈川県警は2018年2月、東京五輪・パラリンピックが開かれる2020年の試験運用開始を目指して、犯罪・交通事故発生予測システムの導入に乗り出す、と発表した。
また、警視庁も同年7月の隅田川花火大会で、AIを使った人数計測や移動予測の実証実験を行うなどの取り組みを進めている。
ただ米国の警察では、犯罪予測によるバイアスの固定化への懸念から、「プレッドポル」の採用を終了したり、見送ったりしたケースもある。
メディアサイト「マザーボード」によると、カリフォルニア州サンフランシスコ湾岸地域南部のミルピタス市警察は、2014年に「プレッドポル」との契約を解除。北部のリッチモンド市警察は2016年初めにやはり契約を解除している。また、サンフランシスコの対岸、オークランド市警察も2015年の予算で導入を検討したが、最終的に取りやめたという。
犯罪多発地域については、現状でも警察現場は把握している。一方、すでに紹介したように、AIによる犯罪予測は特定の住民への差別や偏見を助長する危険が指摘される。オークランド市警察などでは、それによる地域との信頼関係の悪化というデメリットを懸念したという。
犯罪防止と地域との信頼関係の悪化。そのトレードオフは、米国に限らず、日本でもついて回る課題だろう。
本書は『悪のAI論 あなたはここまで支配されている』（平和博〔著〕、朝日新聞出版）の第2章「差別される―就職試験もローン審査もAI次第？」の転載である。
