AIを活用するリスクに目を向け、アルゴリズムによる加害を止めよ

数学者、データサイエンティストとしての経歴は多彩だ。ハーバード大で数学の博士号を取得し、米名門女子大バーナード・カレッジ教授を経て、ヘッジファンドに転じ、クオンツ(金融工学の専門家)として数兆ドル単位のマネーを動かす演算式を操った。

だが、2008年のリーマン・ショックですべてが変わった。「私が心から愛した数学は、壮大な力をもつがゆえに、テクノロジーと結びついてカオスや災難を何倍にも増幅させた」。その反省を踏まえ、彼女はデータ経済の行く末に警鐘を鳴らす。数学的破壊兵器(Weapons of Math Destruction)を野放しにしたら、どんな未来が待っているのかを……。

■何が起きているのか

――どうしてアルゴリズムに基づくビッグデータ活用に警告を発するようになったのですか。

「それは、ヘッジファンドに勤めた経験が大きい。金融のアルゴリズムは、金もうけには力を発揮するが、リスクの予測には無力だった。リスクを覆い隠す方向に動くよう政治的に仕組まれているのだ。だから金融危機は起き、個人資産のほとんどが不動産関係だった低所得者層を痛撃した。そこに嫌気がさして、『オキュパイ・ウォール街』運動にも参加し、差別や貧困について学んだ」

「データサイエンスの世界に転身したとき、そこの人々は『ビッグデータとAIであらゆる問題を解決し、より良い世の中を実現できるぞ』と熱狂していた。だが、そこでも金融と同じように数学が社会を混乱させていた」

――ビッグデータやAIの活用のどこに問題があるのでしょう。

「機械であるAIが血の通わない数字であるデータを淡々と処理するだけだから、その結果は公平・公正であると思いがちだ。そこに、大きな誤解がある。数学の力で動くアプリケーションがデータ経済を動かすといっても、そのアプリケーションは、人間の選択のうえに築き上げられている。作り手の先入観、誤解、偏見はソフトウェアのコードに入り込む」

「たとえば、生まれ育ちに関するデータを使えば、貧しい地区の出身者は不当に不利に扱われる。さらに問題を大きくするのが、負のフィードバック・ループだ。偏見に基づいて集められたデータを使ったプロファイリングが、ある特定のグループを不利な状況に陥らせ、その結果がデータに反映されて、モデルの偏りを強化する」

「貧困地区では何もしなくても警察に職務質問される可能性が高い。そのデータを使えば、再犯可能性のリスクが高く予測されて刑期が長くなり、社会に戻った時に就職が不利になってまた犯罪に手を染める可能性が高くなるだろう」

「また、AIが、ある人について特定の病気になる可能性が高いと予測したとする。それを医師が治療や健康指導に生かすのであれば、とても有益だ。しかし、保険会社が、その人が病気になるリスクが高いからといって医療保険料を引き上げたら、弱い立場の人がさらに弱くなる」

「結果として、恵まれた人はより恵まれるようになり、不利な状況にある人はより不利になる。ビッグデータを使ったアルゴリズムは、結果を予測しているのではない。そうなるよう仕組んでいるのだ」

■ビッグデータから「痛点」を探すAI

――普通に暮らしていると、あまり影響を感じないのですが。

「そこが問題なのだ。データサイエンスが金融よりタチが悪いのは、結果がより見えにくいことだ。金融危機では低所得者層が自宅を差し押さえられて路頭に迷うようになり悲惨な状況が可視化された。だが、データサイエンスの危機はもっと見えにくい。知らない間に作られたシステムで、私たちの社会の根底から掘り崩されている」

「ネットを使うすべての人は、ターゲット型広告を駆使する業者に狙われる可能性がある。彼らは、ソーシャルメディアや検索履歴など膨大なデータから相手の痛点を探す。たとえば、セックスに自信が持てない人には、勃起不全治療薬を。金欠で困っている人のところには、高金利のローンを売り込む広告が表示される。大きな需要と無知が一緒に存在する場所では、このような略奪型広告がはびこりやすい。情報や教育で弱い立場の人が最も犠牲になりやすい」

■シンギュラリティーの議論は政治的

――あなたのように警鐘を鳴らす同志はいますか。

「いるのだが、文系の社会科学者が多い。シリコンバレーのテクノロジストたちは、技術がわからない文系の人間を相手にしない。理系の人間もいるが、彼らの多くはシンクタンクに属していて、研究費を米国のIT巨大企業から出してもらっているので強いことは言えない。私は彼らにとって不都合な真実を語っているが、存在が無きものとして扱われている」

――シンギュラリティー(技術的特異点)について警鐘を鳴らすイーロン・マスクのような人はいます。

「シンギュラリティーの議論はタチが悪い。私も以前はシリコンバレーのテクノ長者が哲学的な議論を楽しんでいるだけだと思っていたが、実はAIやビッグデータをめぐる議論をハイジャックしようとする政治的な動きだと考えるようになった。彼ら自身は、いま足元で起きているAIによる格差の拡大・固定といった問題からは何の悪影響を受けていない。もしその問題がクローズアップされたら、自分たちの金もうけが規制されてしまう。それが問題として語られないために、シンギュラリティーを議論しているのだ。これは、ノリコ(新井紀子・国立情報学研究所社会共有知研究センター長・教授「A.I. vs. 教科書が読めない子どもたち」著者)とTEDで一緒になったときに意気投合した点だ」

■バーチャルなカゴ、ビッグデータによる監視

――これから20年後、どんなことが起きるでしょうか?

「二つのシナリオを示そう。一つは、人々が『バーチャルなハムスターのカゴ』に入り、そこで自分が気に入った情報や映像だけをずっと見続けるという世界の出現だ。これはかなりの部分、現実化している。地下鉄の中で乗客はみんなスマホに釘づけになっているでしょ。未来ではカゴに入ったまま地下鉄に乗り続ける。最低限の食料だけは与えられて」「ただ、中国のゴマ信用(ソーシャル・スコアリング)はもっとひどいことになる可能性がある。というのは、政府がデータを使って人々の行動を意図的かつあからさまに『修正』し、権力の維持を図ろうとしているように思えるからだ」

――日本でも医療分野で、自助努力して健康でいるインセンティブを与えるため、データを活用しようという話が出ています。

「ビッグデータが監視と結びついたとき、さらに恐ろしいことが起きる可能性がある。たとえば、公的医療保険の運営だ。たばこの購入履歴のデータがある人間には、肺がんになっても治療を受けさせない。肺がんになる可能性が高いことは高い精度で予測でき注意喚起していたのに、それでもたばこを吸ったのは自己責任だからという政策がまかり通るようになるだろう」

■アルゴリズムを監査せよ

――欧州一般データ保護規則(GDPR)は、個人のデータをコントロールする権利を保障しています。アルゴリズムの規制にも効果を発揮しますか?

「それほど効果はないだろう。GDPRは、プライバシーの保護、つまり個人データの収集や保有、提供については対応する。だが、私が指摘しているのは個人レベルの話ではない」

「確かにGDPRには第22条で『プロファイリングを含む個人に対する自動化された意思決定』について、個人に『決定の対象とされない権利』を付与している。企業に個人データの誤りがあった場合のリスクを最小化するため『適切な数学的もしくは統計的な手続き』をとることも求めている。だが、この条項をもとに取り締まりは行われないだろう。アルゴリズムによる加害を防ぐには至らないということだ」

――では、どうしたらいいのでしょうか。

「就職や入試で出自による差別をしてはならないという法律はすでにある。アルゴリズムが差別をしていないかを証明するよう、規制当局が企業に求めるようにすればいいのだ。ただ、トランプが大統領でいる間は難しいが」

「我々は、政府に対して、モデルの使用を規制するよう求める必要がある。業者に対しては、どのデータを使っているかを明らかにさせ、アルゴリズムも定期的に監査しなければならない。決算は監査されているのだから、それと同じようにすればいいのだ」