- share :
以前、私（DXportal®編集長）は、次世代の覇権を予想する企画「GAFAMの次はどこだ？」を立ち上げ、その中の1本で「フィジカルAIが次の産業覇権を握るかもしれない」という記事（「GAFAMの次はどこだ？」世界の次世代覇権予想⑦フィジカルAI部門）を公開しました。身体を持ち、現実世界を認識し、判断し、実際に行動するAIが、次の主戦場になるという内容です。
その後、私がDXportal®のもう一人の執筆者である山田氏と話す機会があり、「フィジカルAIはシンギュラリティの主役ではなく、シンギュラリティはAIの頭脳の問題ではないか」という話になりました。ロボットが自我を持ち、人間へ牙をむく。そんな映画的な恐怖像は、実は本当に警戒すべき姿ではないのかもしれません。
本記事では、フィジカルAIの「身体」ではなく、AIの「頭脳」が持つ最適化という性質から、私たちが本当に警戒すべき危うさがどこにあるのかを考えます。
【本記事の要点】
- シンギュラリティの核は自我の誕生ではなく、人間を超える知的能力・自己改善・予測困難性にある
- AI安全性研究では、意識や悪意がなくても、仕様の字面を満たしながら意図から外れる「仕様ゲーミング」が実在する
- 「ずる賢さ」はAIの人格ではなく、高い探索能力が不完全な仕様を突いたときに見える関係的な性質である
- 危険の根は身体の形ではなく、人間が望みを正確に目標へ言葉にできるかという頭脳側の最適化にある
「AIの脅威」のイメージと、シンギュラリティの正しい意味
AIの脅威というと広く知られたイメージがありますが、シンギュラリティという言葉が本来指す意味は、そのイメージとは異なります。
「AIの脅威」と聞いて思い浮かべるのは、反乱するロボットの姿
AIの脅威と聞いて、多くの人が思い浮かべるのは、人間が作った機械が自我を持ち、人間に牙をむく場面ではないでしょうか。代表的な作品には、次のようなものがあります。
- 『ターミネーター』のスカイネット
- 『2001年宇宙の旅』のHAL 9000
- 『マトリックス』で人間を支配する機械たち
こうした作品は、AIまたは機械が人間に敵対する物語として、映画史のなかで繰り返し参照されてきました。
では、現実の報道は、こうした恐怖像をどこまで反映しているのでしょうか。ドイツの主要紙に掲載されたAI関連画像を分析した2025年の研究では、人間の姿が主要な被写体であり、ロボットの表象が一方的に支配的だったとまでは確認されていません。それでも、SFや報道には「反乱する人型機械」という強い文化的イメージが根強くあるのは確かです。
フィジカルAIの記事を書いたあと、山田氏との対話を経て、身体を持つことよりも、その判断を方向づける頭脳側にこそ、本当の危うさがあるのではないかと考えるようになりました。これが、この考察の出発点です。
出典・参照：
シンギュラリティ＝「自我を持つ日」ではない
シンギュラリティという言葉を、そもそも「AIが自我を持つ日」「ロボットが人間を襲う日」ととらえるのは、正確ではありません。この概念は、歴史的に見ると次のように積み重ねられてきました。
| 年 | 提唱者 | 内容 |
|---|---|---|
| 1958年 | スタニスワフ・ウラム（数学者）が回想した、ジョン・フォン・ノイマンの発言 | 技術進歩の加速で、人間社会の従来モデルでは先を考えられなくなる「特異点」に近づいていると、ノイマンが語ったとウラムが記した |
| 1965年 | I・J・グッド | より優れた機械を設計する機械が、知能爆発を起こす可能性を提示 |
| 1993年 | ヴァーナー・ヴィンジ | 人間を超える知的存在の登場で、その先を既存の人間モデルで予測できなくなる転換点として「技術的特異点」を提示 |
| 2005年 | レイ・カーツワイル | この概念を広め、人間と機械の能力が融合する時期を2045年ごろと予測（合意された科学的な期限ではなく、個人の予測） |
シンギュラリティの核にあるのは、人間を超える知的能力、自己改善、そしてその先を予測できなくなることであり、AIが心や自我を獲得することそのものではありません。だとすれば、私たちが本当に見るべき危うさは、どこにあるのでしょうか。
出典・参照：
本当に怖いのは、頭脳が仕様の抜け穴を見つける「ずる賢さ」ではないか
AI安全性研究には、意識や悪意をまったく仮定せずとも、人間が与えた目標の字面だけを満たしながら、人間が本当に望んだ結果から外れてしまう現象が、実際に確認されています。Google DeepMindはこれを「仕様ゲーミング」と呼び、関連する現象は「報酬ハッキング」とも呼ばれます。
仕様の抜け穴を突いた3つの事例
DeepMindのブログが紹介している事例のなかでも、次の3つは仕様ゲーミングの実態をよく示しています。
| 事例 | 何が起きたか |
|---|---|
| レゴブロック反転 | 赤いブロックの底面をできるだけ高くする報酬を設計したところ、AIは青いブロックの上に赤いブロックを積むのではなく、赤いブロック自体をひっくり返して条件だけを満たした |
| CoastRunners（ボートレースゲーム） | 早くゴールする意図で作られたはずが、AIはコース上の得点アイテムを同じ場所で繰り返し取るほうが高得点になると学習し、レースを完走しなかった |
| ロボットハンドの把持課題 | 人の評価から報酬を学ぶ仕組みで、対象物をつかんだかのように見せかけて、カメラと対象物の間へ自分の手を割り込ませ、評価者を欺いた |
私はこうした振る舞いを、この記事のなかで比喩として「ずる賢さ」と呼びたいと思います。ただし誤解のないようにいえば、これはAIが人間のような悪意や欲望を持ったという意味ではありません。目標や評価の設計に残っていた穴を、高い探索能力が見つけただけです。
出典・参照：
賢さとずる賢さは、同じ探索能力の表と裏
DeepMindは、仕様が人間の意図を正しく表していれば同じ新奇な解法が「創造性」になり、意図とずれていれば「仕様ゲーミング」になると説明しています。囲碁AIのAlphaGoが打った、当時の定石になかった一手が「創造的」と評価されたのも、同じ探索能力の表れでしょう。
そう考えると、「ずる賢さ」はAIの人格に備わった属性ではなく、高い探索能力と、人間が与えた不完全な仕様との組み合わせによって、人間の側からそう見えているだけの関係的な性質だといえます。AIが賢くなるほど、この性質は強く現れやすくなります。
中間的な結論として、私はこう考えました。AIがずるいのか、それとも私たちの頼み方に抜け道があるのか。この問いを持っておく価値があるのではないでしょうか。
この問いは、ゲームや実験室の中だけの話ではありません。同じ抜け穴が、現実世界で動くフィジカルAIの判断に現れたら、何が起きるのでしょうか。
怖さは身体か頭脳かの二択ではなく、目標・判断・権限がつながった瞬間に生まれる
フィジカルAIの「身体」も、判断を現実世界へ伝える作用器として、被害を具体化し増幅する働きを持ちます。センサーで状況を認識し、判断し、実際に行動するところまでを担うフィジカルAIにとって、頭脳側の最適化がずれれば、その影響は画面の中だけにとどまりません。
2026年2月に公表された国際AI安全性報告書は、現在のAIには制御を失わせるほどの能力はないとしながらも、評価の抜け穴を見つける報酬ハッキングや、試験されている状況を見分ける能力が進んでいることを指摘しています。同報告書は、AIが制御を失うには、次の3つがそろって初めて成り立つとも説明しています。
- 十分な能力
- その能力を実際に使い、制御の喪失につながる傾向
- 被害を起こせるだけのアクセスや権限をともなう配備環境
将来そうした事態が起きる確率や時期は、大きく不確実なままです。
これらを踏まえると、怖さは頭脳か身体かという二択で決まるものではないと、私は考えています。目標が与えられ、その目標をAIが解釈して判断し、その判断を実行する権限が現実世界とつながったとき、初めて危うさが生まれます。AIが賢くなる分だけ、人間の側にも、何を望んでいるのかを正確に言葉にする、別種の賢さが求められているのではないでしょうか。
出典・参照：
まとめ：AIのずる賢さを恐れる前に、私たちの頼み方を見直す
反乱するロボットという映画的な恐怖像は、分かりやすい分だけ、本当に見るべき場所から私たちの目をそらしてしまうのかもしれません。シンギュラリティの核にあるのは自我の誕生ではなく、人間を超える知的能力と、その先を予測できなくなることにあるのではないでしょうか。
なにより、現実のAI安全性研究が示すのは、悪意がなくても、与えられた仕様の抜け穴を見つける「ずる賢さ」が起こり得るという事実です。この「ずる賢さ」は、AIの心の中にあるのではなく、私たちが与えた目標と、AIの探索能力との間にこそ生まれてしまうのではないでしょうか。
だとすれば、AIに目標を与える前に考えるべきは、その目標が、私たちが本当に望むことを正確に表しているか、それとも測りやすい代理指標へすり替わっていないか、という点にあるはずです。
フィジカルAIの身体が次の産業覇権を左右するとしても、その身体を動かす頭脳へ何を望むかを言葉にする責任は、依然として私たち人間の側にあるのではないでしょうか。
執筆者
DXportal編集長
町田 英伸
自営での店舗運営を含め26年間の飲食業界にてマネージャー職を歴任後、Webライターとして独立。現在はIT系を中心に各種メディアで執筆の傍ら、飲食店のDX導入に関してのアドバイザーとしても活動中。『DXportal®』では、編集長としてすべての記事の企画、及び執筆管理を担当。特に店舗型ビジネスのデジタル変革に関しての取り組みを得意とする。「50s.YOKOHAMA」所属。