AIのディープフェイクを見破るソフトもブーム　「ニセ物」と「暴く技術」の競争続く

ロシア出身の米起業家アンドレイ・ドロニチェフは、SNSに投稿された動画を見て目を疑った。ウクライナの大統領がロシアに降伏しているではないか。2022年のことだった。

この動画は、すぐに合成された「ディープフェイク」（訳注＝AI〈人工知能〉を使って合成した高精度のニセ動画・音声）だと暴かれた。しかし、ドロニチェフにとっては、よからぬ前兆のように思えた。――その懸念が、2023年に入って現実化しつつある。社会的混乱を招く恐れがあるのに、それを無視するかのようなAIテクノロジーの商品化競争が一段と激しさを増しているからだ。

生成AI（訳注＝インターネット上にある無数の文章・映像・音楽などから学習し、人の求めに応じて作品を制作する）へのアクセスは、今やだれにでも可能だ。しかも、その能力はどんどん高まり、あたかも人間が考えだし、記録したような文章や音声、画像、動画が人々を惑わす危険性も増している。社会全体がだまされてしまうリスクがあり、偽情報の流布、失業、差別の助長、プライバシーの侵害、そしてディストピア（暗黒郷）への懸念を呼び起こした。

一方で、ドロニチェフのような起業家にとってはビジネスチャンスでもある。今や十数社以上が、AIによる生成物か否かを調べるツールを提供している。例えば、「Sensity AI」（ディープフェイクの探知）、「Fictitious.AI」（盗作の発見）、「Originality.AI」（盗作の発見）といったところだ。

ドロニチェフも、サンフランシスコに「Optic」を設立した。合成物やなりすまし素材の識別を支援する企業で、本人いわく「空港で荷物を調べるX線検査装置のデジタルコンテンツ版だと思ってほしい」。

2023年3月には、本物の画像なのかAIが生成したものなのかを点検する自社サイトを発表した。さらに、動画や音声を見分けるサービスの開発も進めている。

「コンテンツの信憑（しんぴょう）性は、今や社会全体にとっての問題になりつつある」とドロニチェフは話す。自身も、かつては人物画像の顔を取り換えるアプリ「Reface」に投資したことがある。そんな経験もあり、「われわれは『チープフェイク（訳注＝安っぽいニセの動画や音声）の時代』にもう頭を突っ込んでいる」と明言する。ニセ物は、作るのにあまりカネがかからないので、「大量に出回ることになる」。

市場調査会社「Grand View Research」によると、生成AI市場全体の規模は2030年までには1090億ドルを超えると見込まれる。年平均35.6％の成長が続くという計算になる。AIの痕跡を検出することに焦点をあてたビジネスも、この業界にあっては成長分野の一つになっている。

実例はいくつもある。プリンストン大学のある学生がつくったプログラム「GPTZero」は、コンピューターが生成したテキストを見つけだす。リリースからわずか数カ月で、100万人以上が使ったという。また、「Reality Defender」は、起業家の養成で有名なスタートアップ支援組織「Y Combinator」（訳注＝本拠は米シリコンバレー）のこの冬の投資対象に選ばれた。1万7千件もの応募から、選ばれたのはわずか414件だけという難関を突破してのことだった。

盗作をチェックする「Copyleaks」は2022年、775万ドルの資金を調達した。一つには学校や大学向けの盗作防止サービスを拡大し、学生や生徒の論文や作文に使われるAI生成物を検出するためだ。創業者が英海軍や北大西洋条約機構（NATO）のサイバーセキュリティーや情報戦を専門としていた「Sentinel」は2020年、150万ドルのスタートアップ資金の調達に成功した。ディープフェイクや悪意のある生成物から民主主義を守る目的で、通話アプリ「Skype」創業エンジニアの一人が同社の支援に参加した。

大手テクノロジー企業も負けてはいない。インテル社の「FakeCatcher」は、96％の確率でディープフェイクの動画を特定できるとうたう。画面に映った人間の顔にあるはずの血流のかすかな特徴を、画素の分析などをもとに見分けているという。

米政府でも、国防総省の「国防高等研究計画局（DARPA）」（訳注＝技術開発の研究機関）が23年、ディープフェイクを自動的に検出し、悪意があるかどうかを判断するアルゴリズムを開発するプログラム「Semantic Forensics」の運営に3千万ドル近くをかける予定だ。

対話型AIの「ChatGPT」を2022年（訳注＝11月30日）にリリースしてAIブームを加速させたサンフランシスコの「OpenAI」でさえ、検知サービスに取り組んでいる。人間が作成したテキストと人工知能が生成したテキストを区別するための無料ツールを翌年1月に公開した。

これまでの同種のものより改善されたとはいえ、このツールはまだ「全面的に信頼できるものではない」と同社は強調した。AIが生成したテキストの26％を正しく識別できたが、人間が書いたものの9％に「AI作」との誤判定をしてしまった。

OpenAIのこのツールは、検知プログラムによくある欠点を抱えている。短い文章や英語以外の文章に悪戦苦闘する。教育現場では、「TurnItIn」のような盗作検知ツールが学生の作文を、AIが自動応答するチャットボットが作成したものと見誤り、非難されている。

こうした検知ツールは、本質的に対象とする生成技術に後れをとっている。防御システムが「Google Bard」（訳注＝現在は試験運用中のグーグルの生成AIサービス）や「Midjourney」のような新しいチャットボットもしくは画像生成ツールの影響を認識できるようになったころには、生成技術の開発者はすでにそうした防御をすり抜ける新しいバージョンを考えだしている。この状況は、軍拡競争や、ウイルスと抗ウイルスの関係にも例えられる。新しいものが生まれればそれに対抗するものが生まれる状況が、何度も何度も繰り返されていくのだ。

「Midjourneyが第5版を出せば、私の号砲が鳴り、追いつくための作業がスタートする。でも、そうしているときには、もう第6版の制作が始まっている」。カリフォルニア大学バークリー校教授（コンピューター科学）のハニー・ファリドは、こう語る。デジタル鑑定の専門家で、検知テクノロジー業界の実務にもかかわってきた。「これは本質的に、悪意のある攻撃者を相手とする敵性ゲームだ。こちらが見破る方法を作ろうとすると、必ず見破られないようにだれかがもっとよい策略を練り、もっとよい合成方法を築こうとする」

多くの企業は、いくらAIの検知技術を改善しても、学校や教育関係者の間には大きな需要が常にあるとみてきた、とジョシュア・タッカーは指摘する。ニューヨーク大学の政治学教授で、ソーシャルメディア・政治センターの共同所長だ。ただ、2024年の米大統領選までに同じような市場が出現するかについては、まだ首をかしげている。

「検知方法を開発しているこれらの企業が、候補者を守り、この種の攻撃にさらされたときに彼らが気づけるよう、政界にも同様に手を広げるのを見ることになるのだろうか」とタッカーは自問する。

専門家によると、合成された動画はまだ特定しやすい。動きがかなりぎこちないからだ。しかし、音声の複製や画像の生成は高度に進化している。真偽を見極めるには、デジタル鑑定が必要となるだろう。逆画像検索やIPアドレスの追跡・分析といった手法だ。

既存の検知プログラムは、「ありとあらゆる試練をくぐっている」と先のカリフォルニア大学バークリー校教授のファリドは語る。素材となる画像は、出回っている間に修正され、トリミングされ、縮小され、コードを変換され、注釈が加えられ、元の画像とはまったく異なっている。さらにどう手が加えられているかは、「神のみぞ知る」とファリドは続け、「こうしたコンテンツロンダリングが、検知作業をとても難しくしている」といい添えた。

その点で、共同事業体「コンテンツ認証イニシアチブ（CAI）」（訳注＝デジタル認証を通じてコンテンツの作者の権利を保護するために19年に設立された）の試みは注目される。世界有数のソフトウェア企業「Adobe」が主導し、ニューヨーク・タイムズやAI関連企業の「Stability AI」など1千もの企業や団体が参加して、使われた生成技術を創作の最初の段階から明確にすることを目指す。具体的には、デジタル作品が作成されるとすぐに追跡可能な証明書を埋め込む方式で、そのための基準作りを進めている。画像やビデオに変更や修正が加えられたあとで出どころを特定するのは、極めて困難な作業になるからだ。

Adobeは2023年5月、自社の生成テクノロジー「Firefly」をGoogle Bardに統合することを発表した。後者で作ったコンテンツには「食品の栄養表示」にあたるものが添付され、画像の作成日や使われた制作ツールが必ず明示されるようになる。

AIが提起する課題は、まだ始まったばかりだとジェフ・サカセガワは指摘した。消費者のID確認を支援するサンフランシスコの「Persona」社で、ユーザーの安心・安全を守るシステムを設計している。

「この波は、勢いを増して岸に向かっている。でも、まだ砕けるという感じではない」

（抄訳）

（Tiffany Hsu and Steven Lee Myers）©2023 The New York Times

ニューヨーク・タイムズ紙が編集する週末版英字新聞の購読はこちらから