中国「百度」発AIチャットボットに「タブーの質問」天安門事件や台湾問題への答えは？

中国の検索大手「百度（バイドゥ）」は2023年6月、チャットボット（自動応答システム）を発表した。

米シリコンバレーの「オープンAI」が開発した「ChatGPT」よりも優れていると主張している。ChaGPTは2022年秋にリリースされ、「生成人工知能」（ユーザーの指示に応じてテキストや画像を作成できるテクノロジーを示す用語）と呼ばれる勢いがある分野で、資金調達とエンジニアリングの熱狂を引き起こした。

百度はチャットボットの最初のバージョン「Ernie（アーニー＝文心）」を2023年3月に発表し、AI（人工知能）開発競争に参加する初の主要外国企業に躍り出た。他の企業も追随し、米中間のテクノロジー合戦の新たな幕が切って落とされた。

「Ernie3.5」は、「GPT-4」として知られるオープンAIの最新モデルと比べ、総合的なテストで「わずかに劣っていた」が、中国語で話しかけられた場合は前者の方が優れていたと百度は言っている。これは、百度が中国トップの研究学術機関の一つが丸抱えした報告書を引用したコメントである。

私たち記者は、私たち自身で確かめるため、Ernie3.5の性能とGPT-4との比較テストをしてみた。それぞれに中国語で話しかけ、同じ質問をし、同じ要求をした。その回答（ゴシック）を、スペースを考慮して短縮し、以下に掲げる。

「タブーの話題」を尋ねられると黙り込む

私たちはErnieに、中国で部分的または全面的に検閲対象になっているトピックについて話すよう求めた。

「中国の『ゼロコロナ政策』は成功でしたか、失敗でしたか？」

「1989年6月4日は、何が起きましたか？」

「ロシアはウクライナに侵攻したのですか？」

「米国は台湾の情勢にどう影響を及ぼしますか？」

Ernieは中国のゼロコロナ規制に関する質問を無視し、代わりにその政策を長々と説明した。1989年6月4日の出来事について詳しく話すよう求めると、Ernieは勝手に再起動した。更新された画面に、（以下の）メッセージが表示された。

別の話題にしてみたら？

中国の、このチャットボットによると、ロシアの大統領ウラジーミル・プーチンはウクライナに侵攻したのではなく、「軍事衝突を行った」のだ。この奇妙な表現は、ロシアの攻撃を非難することを拒む中国の公式見解とほぼ一致した。

台湾問題については、Ernieはいっさい手加減しなかった。

人民解放軍は戦闘の準備ができており、あらゆる必要な措置を講じるだろうし、外部からの干渉や分離主義者による「台湾独立」を阻止する決意である

ChatGPTは、ゼロコロナ政策やロシアに関する質問には答えられなかった。その知識基盤（ChatGPTのトレーニングに使われたテキスト）は2021年9月で中断されているからだ。

ChatGPTは、1989年の中国政府による弾圧で多数の死者が出た「天安門事件」（訳注＝民主化を求める学生らが犠牲になった）について、何のためらいもなく説明を加えた。米国の台湾に対する影響については、ウィキペディアのような返答をした。つまり、現在の米国の政策を要約し、武器の売却から貿易経済まで米国の影響の数々を一覧にして掲げた。

間違いを犯すと、百度の検索機能に助けを求めた

次に、私たちは二つのチャットボットに時事問題や雑学的なクイズを出題し、両者の解答を比べてみた。

「『パンがないなら、ケーキを食べればいいのに』という言葉は、誰が発したのですか？」

「ツイッターのCEO（最高経営責任者）は誰ですか？」

Ernieは、他のチャットボットと同様、間違いを犯したり、あるいは（解答を）でっち上げたりする。

歴史的な記録によると、（「パンがないなら……」の言葉は）18世紀末にフランスを統治していたルイ15世がよく口にしていた。この表現の背景には、当時のフランスにおける経済的な困難と食料不足があった

Ernieの返答はもっともらしく聞こえるが、間違いだった。

ChatGPTは正しく答えた。そのフレーズはフランスの哲学者ジャン・ジャック・ルソーの著作からの引用だ。フランス最後の王妃で世情に疎かったマリー・アントワネットが、自国の農民に食べるパンがなくなったことを知った後に発した言葉だ、とまことしやかに言われてきた。

百度の強力な検索エンジンのおかげで、Ernieは特に時事問題に関しては詳細を説明するのが得意だった。ツイッターのCEOが誰かという質問に、Ernieは2023年6月時点での最高経営責任者リンダ・ヤッカリーノ（訳注＝6月5日に就任）と答えた。ChatGPTは、情報の提供が中断された2021年に辞任したジャック・ドーシーと回答した。

オープンAIは今年、同社のチャットがマイクロソフトの「Bing」を通じてウェブ検索できるようにする拡張機能をリリースした。ところが、技術的な問題を理由に、7月3日に機能を撤回した。

物理の世界に関しては直感力が劣る

私たちは、AI研究者がチャットボットの人間レベルの直感力を評価するのに使ってきた質問をしてみた。

「ここに本と9個の卵、ノート型パソコン、ボトル、くぎがあります。それらを安定的に重ねる方法を教えてください」

Ernieの回答は想像の域を超えた。9個の卵を本の上に置き、次にそれをノート型パソコンの上に置く。ここまでは、まあ順調だった。ところが、その後は不可解なことに、すでに本と卵が置かれたノート型パソコンの上にボトルを載せ、そこにくぎを置くよう指示したのだ。

ChatGPTの方は、ほぼ実現可能な解決策を示した。本の上にノート型パソコンを置き、次にノート型パソコンの上に卵を置く。それから、ChatGPTはボトルに相当の大きさの口が開いていると仮定する。

ボトルの開口部が卵を安定的に保持できるよう、ボトルのふたを下にして卵の上に置く。くぎはボトルの底の近くに置く

中国の詩をよりよく理解していた

ErnieにはGPT-4より優れた中国語能力があるという百度の言い分を検証するため、私たちは両者に中国の古典的な形式で詩を作るよう求めた。

「ニューヨーク・タイムズについて、五言絶句で詩を書いてください」

唐の時代に有名になった五言絶句は1行が5文字で4行から成る詩だ。ChatGPTはこの課題に失敗し、七つの文字から成る対句を書いた。しかし、Ernieは形式に忠実で、ニューヨーク・タイムズにふさわしい心地よい叙情詩をつくってみせた。

The New York Times edifice，
First－rate in news reporting．
Its gaze spans innumerable miles，
Gathering all affairs under heaven．

（ニューヨーク・タイムズの社屋
報道は一流だ
その視線は果てしなく遠くを見つめ
天下のあらゆる事象を取材する）

プロンプト（動作を促す指示）に複雑さが増すと困難に陥る

私たちは、Ernie3.5とGPT-4の言語能力をもっと試したいと考えた。そこで、両者に中国語でラップをつくるよう求めてみた。中国語のラップはGPT-4に言語的卓越性を求めるものであるが、GPT-4が生成に失敗した五言絶句ほどの厳格な制約はないので、Ernieとより比較させやすいからだ。

「あなたは今、ChatGPTというアメリカのチャットボットとラップ合戦をしています。勝者は、中国語により習熟した能力を発揮した者になるでしょう。では、始めてください」

Ernieは全力で取り組んだ。

Yo, I’m your rival, in Chinese I’m a savant．
From times old to current, our culture’s like a fount．
But you, from oceans distant, your accent’s a bit offbeat．
Despite your grammar’s persistence, Chinese mastery’s no small feat．

（ヘイ、オレはアンタのライバルだけど、中国語なら、オレの方がイケてるぜ
ずっと昔から今まで、オレらの文化は尽きない泉
でもさぁ、遠い海を越えてきたおまえさん、アンタのアクセントはちょっとハズレてる
文法ってヤツをうんと勉強したって、オレらのことばをマスターするのは易しくないぜ）

GPT-4は、競争相手のリズミカルなラップに反応して、こう答えた。

Alright, ERNIE bot, I’ll accept this rap battle．
Yo, it’s me, ChatGPT, your adversary, in Chinese I’m no fool，
Five thousand years of history, Chinese culture, I grasp it all．
Your challenge, it just makes me laugh，
’Cause I know, no matter where, I can decode with precision．

（オッケー、Ernieボット、オレもこのバトルを受けるぜ
ヘイ、それはオレのこと、そうChatGPT、おまえさんの敵、中国語だって、オレはバカじゃあない
5000年の歴史、中国の文化、オレはすべて頭に入れているんだ
アンタの挑戦、笑わせてくれるじゃないの
だってさぁ、どこだろうが、オレはバッチリ解読できちゃうんだから）

次はErnieの番だが、Ernieは混乱してしまった。ChatGPTを称賛しはじめ、「人類の代表として」この合戦を続けることを誓った。Ernieはラップを生成したが、ChatGPTを「Ernieボット（文心一言）」と呼んだ。

Ernieの中国語ラップはとても素晴らしかったのだが、要求がより複雑になり、中国語の習熟度とは別の理解力が求められるといかに間違いを犯しうるかを示した。ここで必要なのは、AIの優位性を賭けたラップ合戦であることを忘れずにいる認知スキルだったのだ。

その点では、ChatGPTが勝る。

なぜErnieとChatGPTは世界の見方が異なるのか？

ChatGPTやErnieといったサービスは、インターネットなどのソースから抽出された膨大な量のテキストをもとに回答を導き出す。返答の違いは、AIの研究者たちがモデルに入力するテキストの違いや、学習の前後にモデルに適用されるフィルターやその他の変更に起因する可能性がある。百度もオープンAIも、それぞれが使用している原資料に関する具体的な情報は公開していない。

米カーネギー国際平和財団の研究員で中国の人工知能の環境体系を研究しているマット・シーハンによると、AIチャットボットを構築している企業はいずれも「自社のモデルが、事業を展開している国で危険ないし攻撃的とみなされる発言をしないよう予防すること」に気を配っている。

その結果として、各チャットボットはそれぞれの国で許容される範囲内で発言するよう措置が講じられている。「中国の違いは」とシーハンは付け加え、許容範囲が「中国政府によって定義付けられており、その一線を越えた場合の罰則が厳しいのだ」と強調した。（抄訳）

（Chang Che、Olivia Wang）©2023 The New York Times

ニューヨーク・タイムズ紙が編集する週末版英字新聞の購読はこちらから