AIは差別的になりうる　それでも重要な選択を託すのか

あなたの知らないAIの世界更新日：2019.10.01 公開日：2019.05.18

【この連載の前の記事】

データによって差別的になる　

AIは学習するデータによって、差別的になる。

2016年3月には、マイクロソフトのAIチャットボット「Tay（テイ）」が、悪意あるユーザーが学習させた言葉によって、ホロコーストを否定したり人種差別発言をしたりして、公開を中止した騒動があった。

「Tay」は「19歳の米国女性」というキャラクター設定のAIとして、3月23日にツイッターで公開された。

ツイッター上のミレニアル世代の若いユーザーとのやりとり中で、その会話のパターンを学習していくという設計だった。

だが、ネットを荒らすユーザーたちが「Tay」に目をつけ、差別的な言葉の数々を「学習」させていく。

それによって、「フェミニストは大嫌いだ。全員死んで地獄で焼かれろ」「ヒトラーはなにも悪いことはしてない」「ホロコーストはでっちあげ」などのツイートを発信するようになる。

その結果、公開からわずか16時間後、9万6000件を超す投稿をした後、「Tay」は停止させられることになった。

同じような騒動はアマゾン・エコーのAI「アレクサ」でも明らかになっている。

ロイターは2018年12月21日、アマゾン・エコーがユーザーとのチャットの最中に突然、「養父母を殺してしまえ」と言い出した、と報じている。

それによると、アレクサのチャット用アプリ（スキル）「ソーシャルボット」を使っていたユーザーに対して、この発言が飛び出した。ユーザーは、アマゾンのサイトに「これまでに感じたことのない気味悪さだ」とレビューを書き込んだという。

このアプリは、アレクサ用のチャットボット開発を競う学生対抗の「アレクサ・プライズ」の入賞作を公開し、ユーザーに使ってもらうという試みだった。

調査の結果、問題の発言は、チャットボットがフェイクニュースの発信源としても知られる大手ネット掲示板「レディット」の投稿コメントを引用したものであることがわかった。

チャットボット開発では、学習用データとしてワシントン・ポストなどのほか、「ウィキペディア」や「レディット」などのコンテンツを使うことがあった、という。その結果、チャットの応答の中に、セックスに関連した露骨な表現や「犬の糞」といった表現も混じってしまったようだ。

ロイターの取材に対してアマゾンは「数百万のユーザーがソーシャルボットを利用されている中で、これらは極めてレアケースです」と述べている。

AIは時として差別的になる。その一方で、人生の重要な選択を、そんなAIによって勝手に決められてしまうこともある─当人の立場に立てば、そう簡単に受け入れられることではないだろう。

米調査機関「ピュー・リサーチセンター」が2018年11月に発表した「アルゴリズムに関する世論調査」には、そんな態度が示されている。

調査は、5月から6月にかけて、米国の成人約4600人を対象に行われた。

それによると、「就職における履歴書の自動審査」には、「容認できない」が57％に対して、「容認できる」は41％。「採用面接のビデオによる自動分析」には、「容認できない」が67％に対して、「容認できる」は32％。

このほかにも、「購買履歴などを使ったローン信用度の自動判定」は、「容認できない」が68％に対して、「容認できる」は31％。「犯罪者の仮釈放に関するリスクの自動評価」については、「容認できない」が56％に対して、「容認できる」は42％だった。

だが、そんな人々の思いをよそに、社会のAI化は加速していく。

本書は『悪のAI論　あなたはここまで支配されている』（平和博〔著〕、朝日新聞出版）の第2章「差別される―就職試験もローン審査もAI次第？」の転載である。