「自分は視覚障害者」とウソ AIが自律し人類に反抗する未来を専門家が警告
ニューヨークタイムズ 世界の話題
更新日： 公開日：
人工知能（AI）界の世界的な著名人数百人が2023年5月、AIはいつか人類を滅ぼす可能性があると警告する公開書簡に署名した。
「AIによる人類滅亡のリスクはパンデミック（感染症の大流行）や核戦争に匹敵する社会的リスクだと認識し、そのリスクを軽減させることを地球規模の優先事項とみなすべきだ」。書簡に、そうある。
この書簡は、詳細が著しく不十分だったAIに関する一連の不吉な警告の最新版だ。現在のAIシステムでは人類を滅ぼすことはできない。足し算も引き算もできないAIもある。ではなぜ、AIに最も精通している人たちがそれほど懸念しているのか？
恐ろしいシナリオ
テクノロジー業界のカサンドラ（凶事の予言者）は、いつの日か、企業や政府、あるいは独立した研究者が、ビジネスから戦争まであらゆる分野を操る強力なAIシステムを配備する日が来るかもしれないと言う。そうしたシステムは、私たちが望まないことを実行する可能性がある。そして、人間がAIを妨害したり停止したりしようとすると、AIが抵抗したり、自らを複製したりして稼働し続ける可能性もあるのだ。
「今日のAIシステムは、人類を滅亡の危機に陥れるような状況にはほど遠い」とヨシュア・ベンジオは指摘する。（カナダの）モントリオール大学の教授で、AI研究者だ。「しかし、1年後、2年後、あるいは5年後はどうか？ あまりにも不確定要素が多すぎる。それが問題なのだ。私たちは、事態が壊滅への境界を越えないとの確信が持てないのだ」
懸念する人たちは、単純な比喩をよく使う。マシン（機械や装置）に紙をはさむクリップをできるだけ多く作るよう指示すると、マシンは無我夢中で取り組み、人類を含むすべてをクリップ工場に変えてしまう可能性があると彼らは言う。
それは現実の世界、あるいはそう遠くない未来と想像される世界と、どう結びつくのか？ 企業はAIシステムにますます自律性を与え、送電網を含む重要なインフラや株式市場、軍事兵器などに接続させる可能性がある。そこからAIシステムが問題を引き起こすかもしれない。
多くの専門家にとって、「オープンAI」のような企業が技術の大幅な向上を実証した1年ほど前まで、これにはあまり現実性がないとみられていた。この1年は、AIがこれほど急速なペースで進展し続ければ、どんなことが可能になるかを見せつけたのである。
「AIは着実に権限を与えられ、自律性が高まるにつれて、今日の人間や人間が運営する組織から意思の決定や思考を奪い取ってしまう可能性がある」とアンソニー・アギーレは指摘する。カリフォルニア大学サンタクルーズ校の宇宙学者だ。二つの公開書簡のうちの一つを作成した組織「Future of Life Institute（生命の未来研究所）」の創設者でもある。
「ある時点で、社会や経済を動かしている大きなマシンは、『スタンダード・アンド・プアーズ500』（訳注＝米国の代表的な株価指数）を止められないのと同様、実際には人間の制御下にはなく、電源を切ることもできないことが明らかになるだろう」と彼は言っている。
あるいは、理論的にはそうなるというのだ。他のAI専門家たちは、それをばかげた前提だと考えている。
「AIが人類のリスクになるという話は（ばかげていすぎて）『仮説』と呼ぶのもお行儀がよすぎると思うくらいだ」とオーレン・エツィオーニは言っている。ワシントン州シアトルの研究所「Allen Institute for AI（アレン人工知能研究所）」の創設者で最高経営責任者である。
AIがそれを実行できることを示す兆候は？
あるとは言い切れない。しかし、研究者たちは「チャットGPT」のようなチャットボット（訳注＝AIを使った人間とロボットの自動会話プログラム）を、生成されたテキストに基づいて行動できるシステムに変えつつある。「オートGPT」と呼ばれるプロジェクトが、その代表例だ。
そのアイデアは、AIシステムに「会社を設立する」とか「おカネを稼ぐ」といった目標を与えることにある。すると、システムは、他のインターネットサービスに接続している場合は特に、その目標を達成する方法を探し続けるのだ。
オートGPTのようなシステムはコンピュータープログラムを生成できる。研究者がコンピューターサーバーへのアクセスを許可すると、AIシステムはそうしたプログラムを実行することもできる。理論上、オートGPTは情報の取得、アプリケーションの使用、新しいアプリケーションの作成、さらには自分自身の改善など、オンラインでほとんど何でも行える。
オートGPTのようなシステムは、現状ではまだうまく機能しない。無限ループにはまってしまう傾向がある。研究者は、ある一つのシステムに自己複製に必要な要素をすべて与えたが、複製できなかった。
いずれ、そのような制約は修正されるかもしれない。
「人びとは自己改善するシステムの構築に積極的に取り組んでいる」。AI技術を人間の価値観と調和させたいと考えている企業「Conjecture（コンジェクチャー）」の創業者コナー・リーヒーは言う。
「今のところ、これはうまくいっていない。でも、いつかできる。ただ、それがいつなのかがわかっていないのだ」と続けた。
リーヒーの主張によると、研究者や企業、犯罪者らがAIシステムに「カネを稼ぐ」といった目的を与えると、システムは最終的には銀行システムに侵入したり、石油先物を保有している国で革命をあおったり、誰かがシステムを停止させようとした時に自己複製したりする可能性があるという。
AIはどこで不正行為を学習するのか？
チャットGPTのようなAIシステムは、ニューラルネットワーク、つまりデータを分析することでスキルを学習できる数学的システム上に構築されている。
グーグルやオープンAIのような企業は2018年ごろ、インターネットから集めた大量のデジタルテキストをもとに学習するニューラルネットワークの構築を開始した。すべてのデータからパターンを特定することで、これらのシステムはニュース記事や詩、コンピュータープログラム、さらには人間なみの会話など独自に文章を生成することを学習する。その成果が、チャットGPTのようなチャットボットである。
これらのシステムは、その開発者でさえ理解できないほど大量のデータから学習するため、予期しない動作も示す。研究者たちは最近、あるシステムがオンライン上で人間を雇い、その助けを得てキャプチャーテスト（訳注＝コンピューターか人間かを自動的に区別するテスト）をすり抜けられることを証明した。人間が（助ける際に疑問に思い）「ロボットではないか」と尋ねると、AIシステムは視覚障がい者だとウソをついたのだ。
専門家の一部は、研究者がこれらのシステムを一層強化し、これまで以上に大量のデータで訓練を重ねることで、AIシステムがさらに悪い習慣を体得するのではないかと懸念している。
警告の背後にいるのは誰か？
2000年代の初め、エリザー・ユドコウスキーという若い作家がAIは人類を滅ぼす可能性があるとの警告を発し始めた。彼のオンライン投稿は信奉者のコミュニティーを生み出した。「合理主義者」とか「効果的な利他主義者（EAs）」と呼ばれるこのコミュニティーは、学界、政府のシンクタンク、テクノロジー業界に多大な影響力を持つようになった。
ユドコウスキーと彼の著作は、オープンAIやディープマインドの創設に重要な役割を果たした。ディープマインドは、グーグルが2014年に買収したAIラボである。そして、EAsのコミュニティーのメンバーは多くがこうしたラボで働いた。彼らは、AIの危険性を理解していたのでAIを構築する最適な立場にあると信じていた。
AIのリスクについて警告する公開書簡を最近発表した二つの組織、「Center for AI Safety（AI安全センター）」と「生命の未来研究所」は、この動きと密接に結びついている。
最近の警告はまた、以前からこのリスクについて警告していたイーロン・マスクのような、研究の先駆者や業界のリーダーからも発せられている。最新の書簡には、オープンAIの最高経営責任者サム・アルトマンと、ディープマインドの設立に携わり、現在はディープマインドとグーグルのトップ研究者を統合した新しいAIラボを監督するデミス・ハサビスが署名した。
その他の著名な人物で、二つの警告の公開書簡の両方か一方に署名した人のなかには先述したヨシュア・ベンジオや、最近グーグルの重役兼研究員を辞任したジェフリー・ヒントンがいる。彼らは2018年、ニューラルネットワークに関する研究で「コンピューター界のノーベル賞」とも呼ばれるチューリング賞を受賞している。（抄訳）
（Cade Metz）Ⓒ2023 The New York Times
ニューヨーク・タイムズ紙が編集する週末版英字新聞の購読はこちらから
