――そもそも、ともにSakana AIを創業したデイビッド・ハさんやライオン・ジョーンズさんとはどうやって知り合ったのですか?
デイビッドは、イギリスで私が働いていた企業の仲間です。デイビッドとライオンはグーグルの元同僚同士で、私はデイビッドを通してライオンと知り合いました。
今のAIの世界について、「現状のままでいいのか」というとても強い問題意識をそれぞれ持っていました。
モデルの規模を大きくするためには、電力がどんどん必要になりますが、いくら革新的な技術とは言え、サステイナブル(持続可能)なのかなという関心が私はありました。
ライオンは、自分がつくった「トランスフォーマー」という2017年のモデルが、2024年になってもまだ革新されていないのは遅すぎると。同じことをやっていても、莫大(ばくだい)な資金が集まり、規模を大きくするだけで許されているのは知的怠慢だという研究者らしい視点を持っていました。
デイビッドはオープンソース(公開)という開発資本に大きなこだわりがありました。一握りの巨大企業だけがAI技術を独占するのではなく、民主的に色々な企業に開発のチャンスが与えられなければいけない。さらに、AIは一部の国の文化や歴史、言語だけを反映するものであってはならないと信じていたのです。
――革新的な技術とアイデアに至った経緯を話してもらえますか?
今のやり方だとサステイナブルじゃないから、まったく逆のことをやらなきゃいけない。「じゃあ、まったく逆とは何か」を定義するわけですね。
まったく逆といっても色々あって、小型モデルもあれば、お金がかからないということもありますし、色々なモデルを混ぜるというのもあります。
その中で我々はまず、小型でオープンソースであるということを追求しようと決めました。
それを実現するためにはどんな仮説があるだろう? この仮説を証明するためにはどんなエンジニアが世界にいるんだろう? というところに行き着くわけです。デイビッドやライオンは、どの分野にとんでもなくとがった技術を持っている方がいるかを把握しています。
そういう方を日本にお招きして、その分野を委ねるのです。五つの分野があれば5人のエンジニアをはりつけて、「自由勝手にやってください。その分野で成果を出してください」と。
我々がやったことは二つだけです。
まずは、そういうエンジニアを日本に連れて来ること。いま、エンジニアの約3分の2が外国籍で、約3分の1が日本国籍です。
もう一つは、小さいモデル同士をくっつけることです。仮説が1、2、3、4、5とあるとすると、1、2、3と別々でやっていたように思うことが、1と2でコラボし始めて、3も入ってきて1、2、3が収斂(しゅうれん)していくのです。それはすごくいいサインで、これを「進化的モデルマージ」と呼んでいます。
これをAI業界では黒魔術と言って、ほとんど成功しないのですが、たまに成功します。われわれは黒魔術を白魔術化するのに成功したのです。くっつけるだけなのですが、成功率を99.9999%に高めるのです。
そのために、何百世代、何千世代にわたって繰り返す「フランケンシュタインマージ」をしたのです。1万種類くっつけた中からトップ10だけを残し、トップ10をまた何千通りとくっつける。これを1000回繰り返しました。
――そもそもモデルとは何でしょうか?
モデルは、人間の「脳みそ」なんです。モデルをつくるために勉強させるのです。データを取ってきて、電力を使ってぐるぐる回すと言っているのはこのことです。
モデルA、モデルB、モデルCっていうのはAさん、Bさん、Cさんそれぞれの「脳みそ」となります。例えば、Aさんは工学部の人間ですが、文系の「脳みそ」を持っています。Bさんは理系で数学の「脳みそ」になっていて、育て方が違います。
色々な方法で育てた色々な「脳みそ」があり、色々な得意技があります。例えば、英語が得意な「脳みそ」、数学が得意な「脳みそ」があります。
我々は今回、日本語で出力した際に精度の高いLLM(大規模言語モデル)のGPT3.5を出そうとしました。日本語が上手な「脳みそ」と、日本語はできないけれども英語で育って、ハーバード大学の研究者論文を読んでいるような「脳みそ」をかけ合わせたのです。
面白いのは、それに加えて、全然関係なさそうな数学の「脳みそ」を入れてみたところ、意外と良かったんです。理由は分からないですが、ここがポイントです。
なぜ1万種類もくっつけて何世代もやるかというと、人間のロジックを介在させないためなのです。
人間のロジックを介在させてしまうと、人間の想像の範囲内でしか「脳みそ」をつくれない。われわれ自身もアッと言わせるためには、とんでもない順列・組み合わせを見つけないといけないのです。
ロジカルな理由は知らないし、興味も無いです。人知を超えてほしいからです。
――AIが自ら選択し、最適なものを見つけていくところに肝があるということなんですね。
どうやって人間を介在させない無限ループに落とし込むかが、飛躍的な成長を達成するための肝です。
最近、エージェントという言葉がはやっています。エージェントにはいろんな方法があって、今我々が言っているような、「お客さんが使いやすいようにAIを実装します」という意味のエージェントもあれば、AI自体をより良いものにしていくために、この無限ループに入れるというのもエージェントです。
AIと人間がAIをトレーニングするのではなくて、AIがAIをトレーニングする未来をどこまで自動化できるのか、今色々な企業がしのぎを削っています。
2024年は私が見る限り、ワークフロー(業務の流れ)とステップを自動化するというのが最先端でかつ地に足の着いたテクノロジーなのだろうと思います。
これがどんどん成熟していくと、社会の期待に応えられるようなAIができるんだろうなと思います。
(複数のAIモデルが役割分担して自動で論文を書く)「AIサイエンティスト」は、グーグルやメタに勝てるヒントを世界中に見せたと思うのですが、そこに目をつけて、まねする会社がどんどん出てくるかもしれません。
競争するのは短期的に言えば怖いし、グーグルが同じことに参入してきたと聞いた時には「あー」と思いました。ただそれはある意味、エンドースメント(承認)でもあり、それを支えてくれる企業や技術が出てくる。
アイデアを独り占めしていてもなかなかうまくいかないところはあるので、精神的には嫌でもロジカルに言うと良いことだと思っています。
――Sakana AIに、米半導体大手エヌビディアが出資したこともニュースになりました。どのように受け止めましたか?
エヌビディアはGPUというチップをつくっている会社です。チップを売りたい会社から、投資してもらったのですが、我々はチップを使わない会社です。私はここがポイントだと思っています。
我々がエヌビディアから投資してもらいましたと言うと、「Sakana AIはまったく逆だよね。エヌビディアが一番嫌いな会社じゃないの?」と言われます。
これまでのまったく逆をやりたいという変な3人組からするともうガッツポーズなのです。エヌビディアはSakana AIが嫌いなはずですが、その会社が投資してくれたというのはこの技術に未来があるということなのです。
ただ、エヌビディアで、アメリカ勢からの投資はおしまい。なぜかと言うと、我々は日本の会社で、日本が本丸なのです。我々は日本の課題を解決したいと思っています。ただ日本の課題をいきなり解決しようと思っても、二つ問題があります。
一つは、我々はグローバルにも戦えるテクノロジーを持った上で、それを日本の課題にぶつけたいということです。
「日本ではナンバーワン」とか、「日本のことは誰よりも知っています」、ということには正直、興味が無いです。
でも、クオリティーでは一切妥協できないので、アメリカから投資してもらって、エンジニアの3分の2も海外から取ってきています。
二つ目は、良くも悪くも日本企業は保守的です。日本企業を批判しているわけではありませんが、我々のしたいことをするために逆算すると、まずエヌビディアに入ってもらい、次に日本企業に入ってもらって、それからグローバルな技術を日本で使うという順番になりました。
――AIは非常に局地的な開発競争になっています。アメリカや中国以外からなかなか出てこなかった。そんな中でのSakana AIの意義をどのように考えていますか?
(国家独自の)ナショナルAIとかソブリンAIがキーワードになっています。例えば、人口が1億人ぐらいいたら自前のAIを持つ環境、必要性がそろっていますよね。
カナダにはコーヒアというチャンピオンがいて、フランスにミストラルAI、イギリスにはディープマインドがあります。インドにはサルバムがあります。
ナショナルAI、ソブリンAI開発の動きには色々な理由があります。自国の文化に根差したものを作りたい。それがないと、アメリカ企業に利用料を払い続けることでデジタル赤字になる。あとは国家安全保障の観点からなどです。
もう一つ、良くも悪くもこれまでのAI開発は、競争に勝てる資金力と技術力を持つアメリカと中国に集中していました。
アメリカと中国、どちらかの陣営に属さないと開発ができないのはファクトとしてあるが、ちょっと不健全でもある。
そんな中でデイビッドの持論は、西側だけれどもアメリカではない、日本という国がAI開発をするのは地政学的な意味も大きいということです。
例えば、グローバルサウスの国にAIを展開するとして、相手の立場に立ってみたら、中国企業でもアメリカ企業でも二の足を踏むかもしれない。日本は意外といいポジションにいるのではないかということです。
――8月に「AIサイエンティスト」がリリースされました。私たちが考える過程はいらなくなるのでしょうか?人間の創造性などはどうなるのでしょうか?
人間がいらなくなるのかと言うと、私はそうじゃないと思います。
AIが人間をリプレース(代替)するのではなく、AIを使う人間が、面倒くさいことをリプレースするのだと思います。
カメラや活版印刷、インターネットが発明されて、産業構造は変わりましたが、人間がリプレースされたわけではないですよね。
AIサイエンティストは、様々な教授にインタビューしながらつくりました。教授たちが言うのは、「初めにAIに対して『こんな分野をやってみろ』と言うのは誰だ?」と。それは人間なわけです。大もとになるビジョンを考えるのは人間だということは変わらないです。
ビジョンを考えることまで自動化できるかと言ったら、理論的にはできるかもしれませんが、一番初めにAIに気づきを与える人間の役割はあると思います。
――オープンAIも一時期、推進派と慎重派の対立がありました。AIの危険性をどう考えていますか?
2023年の風景と2024年の風景はだいぶ違ってきたと実感しています。
去年の時点では、「人間がAIの奴隷になるとんでもない未来がくるから、AIを核兵器なみに厳重に管理しよう」と言っていた。
ただ2024年には、ターゲットアプローチといって、選挙における誤情報はどうしたらいいのか、プライバシーの侵害をどうしたらいいのか、というように特定のイシューを選び出して規制や対応を考えるアプローチに変わりました。
また、ヨーロッパとアメリカは、安全性についての規制の仕方が、異なる哲学に立脚しています。
ヨーロッパでは「オープンソースは安全だ」、アメリカでは「クローズ(非公開)が安全だ」と言います。前者は「ソースコードも開示して、オープンソース上で開発するのは透明性がある。だから、安全だ」という議論です。
後者は「オープンにしておくと、テロリストが利用してしまう」「マイクロソフトなど、一部の企業に集中するかもしれないが、そこに規制の網を掛けて管理したらよいのではないか」という議論です。
AI開発に先行していたアメリカは、クローズにする企業が多く、アメリカの後追いだったヨーロッパは、みんなで開発するオープンソースを利用する企業が多かったわけです。
これは神学論争で、どちらが正しいというのはないです。
ただ、2023年の常識は2024年の非常識という局面が現れてきていると思います。
*前半の記事はこちら