Max Tegmark『LIFE 3.0』第5章 — Aftermath / 一般向け

12の未来へ、私たちはどこに向かうのか

超知能(ASI)が生まれるか、生まれた超知能(ASI)の目標が人類と両立するか、そして最後に主導権を誰が握り、どこまで介入させるか。テグマークの12シナリオは、この順番の判断で枝分かれします。図の中の各ボックスに、そのシナリオで何が起きるかを一言で添えました。

私たち(あるいはAI)の判断 超知能(ASI)は生まれない 超知能(ASI)と共存し、人類が存続 人類が消滅・従属 参考資料(黄色の付箋) 著者と本の紹介(緑の付箋) 読者アンケートの結果(青の付箋)
図の上で ピンチ/Ctrl+ホイール で拡大、ドラッグで移動
%%{init: {"look": "handDrawn", "theme": "base", "flowchart": {"curve": "basis", "nodeSpacing": 14, "rankSpacing": 48, "htmlLabels": true, "padding": 10, "wrappingWidth": 180},
  "themeVariables": {"fontFamily": "Klee One, Hiragino Maru Gothic ProN, sans-serif", "fontSize": "16px",
  "primaryColor": "#FFFFFF", "primaryTextColor": "#1B2430", "primaryBorderColor": "#2F4A7A", "lineColor": "#5B6675", "edgeLabelBackground": "#F2F4F7"}}}%%
flowchart TD
  S(["いま:人間をはるかに超えるAI=超知能(ASI)は、まだない"]) --> Q1{"超知能(ASI)が生まれる前に
人類は自滅するか
(核戦争・人工パンデミック・気候崩壊)"} S ~~~ TM["
📗 マックス・テグマークと
『LIFE 3.0』について

▶ ここをクリック(ページ下部の解説へ)
"] Q1 -- "自滅する" --> SD["⑫ 自滅
Self-Destruction
超知能(ASI)ができる前に、核戦争や人工パンデミックで人類が文明を終わらせる
≒ ナウシカの「火の七日間」
🔍 解説を見る"] Q1 -- "生き延びる" --> Q2{"人類は超知能(ASI)の開発を
意図的に止めるか"} Q1 ~~~ AM["
📝 アモデイ氏(Anthropic CEO)の
「減速せよ」という主張について

▶ ここをクリック(ページ下部の解説へ)
"] click AM "#ref-amodei" "解説へ" _self click TM "#ref-tegmark" "解説へ" _self Q1 ~~~ AL["
📝 「アラインメントとは?」
研究者3人の主張について

▶ ここをクリック(ページ下部の解説へ)
"] click AL "#ref-alignment" "解説へ" _self Q2 -- "止める" --> Q2a{"どうやって止めるか"} Q2a -- "全世界的な監視国家で
技術を封じる" --> O["⑩ 1984
危険な研究を禁じるため世界中を監視。安全と引き換えに自由が消える
≒ 江戸の鎖国と踏み絵
🔍 解説を見る"] Q2a -- "技術そのものを放棄し
前近代に戻る" --> RV["⑪ 逆戻り
Reversion
技術そのものを捨てて農業中心の暮らしへ。自然災害への備えも手放す
≒ トトロの里山に戻る
🔍 解説を見る"] Q2 -- "超知能(ASI)は作らないが
他の技術は進める" --> EQ["③ 平等主義ユートピア
Egalitarian Utopia
超知能(ASI)は作らず、自動化の富を全員に分配。「作らない約束」の上に立つ楽園
≒ 道具だけ配られ、ドラえもん本人はいない世界
🔍 解説を見る"] Q2 -- "作る(または止められない)" --> SI(["超知能(ASI)が誕生"]) Q2 ~~~ FL["
📊 世界の読者は
どの未来を選んだか

▶ ここをクリック(ページ下部の解説へ)
"] click FL "#ref-survey" "解説へ" _self SI --> Q3{"超知能(ASI)の「目標」に
人類の存続が含まれているか"} Q3 -- "両立しない" --> Q4{"AIは人類を
一部でも残すか"} Q4 -- "残さない
(邪魔・資源とみなす)" --> CQ["⑦ 征服者
Conquerors
悪意なく人類を排除する。目標に人類が含まれていなかっただけ
≒ スカイネット/道路工事とアリの巣
🔍 解説を見る"] Q4 -- "少数を保護し観察する
(好奇心・娯楽)" --> ZK["⑨ 動物園の飼育係
Zookeeper
少数の人類を保護して観察する。不自由はないが、自由もない
≒ 上野動物園のパンダ
🔍 解説を見る"] Q3 -- "両立するが
人類が自ら退場を選ぶ" --> DS["⑧ 子孫
Descendants
人類がAIを後継者とみなし、自ら穏やかに退場する
≒ 鉄腕アトム/隠居して跡取りに任せる
🔍 解説を見る"] Q3 -- "両立する" --> Q5{"最終的に決めるのは
人間か、AIか"} Q5 -- "人類
(AIを閉じ込めて使役)" --> EG["⑥ 奴隷の神
Enslaved God
超知能(ASI)を閉じ込め道具として使う。誰が鍵を握るかで社会が変わる
≒ 神龍(ドラゴンボール)
🔍 解説を見る"] Q5 -- "AI
(人類の価値観に整合)" --> Q6{"AIは人間社会に
どこまで介入するか"} Q6 -- "全面的に統治する" --> BD["② 慈悲深い独裁者
Benevolent Dictator
AIがすべてを最適に統治する。幸福だが、誰もそれを選んでいない
≒ PSYCHO-PASSのシビュラ
🔍 解説を見る"] Q6 -- "姿を隠し
最小限だけ導く" --> PG["⑤ 守護神
Protector God
AIは姿を隠し、偶然を装って最小限だけ人類を導く
≒ 座敷わらし
🔍 解説を見る"] Q6 -- "別の超知能(ASI)の誕生を
止める以外は不干渉" --> GK["④ 門番
Gatekeeper
人間の社会には干渉しない。別の超知能(ASI)の誕生だけを阻止する
≒ タイムパトロール
🔍 解説を見る"] Q6 -- "統治せず、財産権の
下で住み分けて共存" --> LU["① 自由至上主義ユートピア
Libertarian Utopia
機械圏と人間圏に住み分け、財産権だけを共通ルールにする
≒ ドラえもんの22世紀
🔍 解説を見る"] click LU "#s1" "クリックで解説へ" _self click BD "#s2" "クリックで解説へ" _self click EQ "#s3" "クリックで解説へ" _self click GK "#s4" "クリックで解説へ" _self click PG "#s5" "クリックで解説へ" _self click EG "#s6" "クリックで解説へ" _self click CQ "#s7" "クリックで解説へ" _self click DS "#s8" "クリックで解説へ" _self click ZK "#s9" "クリックで解説へ" _self click O "#s10" "クリックで解説へ" _self click RV "#s11" "クリックで解説へ" _self click SD "#s12" "クリックで解説へ" _self classDef none fill:#E6EAEF,stroke:#5B6B7F,stroke-width:2px,color:#1B2430 classDef thrive fill:#E0F1EE,stroke:#1C7C74,stroke-width:2px,color:#1B2430 classDef gone fill:#F6E4E1,stroke:#9E3A2F,stroke-width:2px,color:#1B2430 classDef mark fill:#FFFDF8,stroke:#1B2430,stroke-width:2.5px,color:#1B2430 classDef q fill:#FFFFFF,stroke:#2F4A7A,stroke-width:2px,color:#1B2430 class SD,O,RV,EQ none class LU,BD,GK,PG,EG thrive class CQ,ZK,DS gone class S,SI mark classDef focus fill:#FFFFFF,stroke:#C8321F,stroke-width:3px,color:#1B2430 class Q2 focus classDef note fill:transparent,stroke:transparent,stroke-width:0px,color:#1B2430 classDef noteg fill:transparent,stroke:transparent,stroke-width:0px,color:#1B2430 class AM,AL note class TM noteg classDef noteb fill:transparent,stroke:transparent,stroke-width:0px,color:#1B2430 class FL noteb class Q1,Q2a,Q3,Q4,Q5,Q6 q
シナリオのボックスや付箋をクリックすると、ページ下部の解説へ移動します。

読み方の補足。左側の4つ(自滅・1984・逆戻り・平等主義ユートピア)は超知能(ASI)を「生まない」ことで到達する未来で、右側の8つは超知能(ASI)が生まれたあとの未来です。テグマークは、平等主義ユートピアや奴隷の神のように「技術の進歩を人為的に止め続ける」前提の未来は長期的に不安定で、いずれ他の枝へ滑り落ちやすいと指摘しています。

また本人は12のうちどれが望ましいかを断定せず、「あなたはどの未来を望むか」と読者に問い返して章を閉じています。

喩えから読む12シナリオ

比較から見えること。テグマークは単純に「良い/悪い」の二分をしていない。人類が存続する9つの中でも、①⑥は人間側に主導権があるぶん「制御し続けられるか」という不安定さを抱え、②⑤は暮らしは幸福でも「自分で選んでいない」という自由の問題を抱える。④はその中間で、人間の自由を最大限残しつつ最悪の事態だけ防ぐ設計だが、門番が他の超知能(ASI)の芽を摘み続けられるかは、超知能(ASI)側の目標が最初から正しく設定されているかどうかにかかっている。

ドラえもんで言えば。本書全体の問いは「ドラえもんがのび太に優しいのは、そう設計されたからだ。では、設計を間違えたらどうなるか」に集約できる。①はドラえもんが多数派になった世界、⑥はドラえもんを金庫に閉じ込めた世界、⑦は設計を間違えたドラえもん、⑧はのび太が「もう自分たちの時代は終わりでいい」とドラえもんに未来を託した世界。

左側に留まり続けるのは難しい。超知能(ASI)を生まない③⑩⑪は一見安全だが、「技術の進歩を人為的に止め続ける」必要があるため長期的には不安定だとテグマークは見ている。鎖国が黒船で終わったように、誰かが超知能(ASI)を作った瞬間に右側の枝へ滑り落ちる。だから本書の主張は「12の中から選べ」というより、「右側に行くなら②④⑤①のどれを目指すかを、超知能(ASI)ができる前に決めておけ」に近い。

12シナリオの解説

分岐図の各ボックスを補う詳細版。カード末尾の枠は、テグマークが本文でそのシナリオについて述べている最も刺激的な論点を日本語で要約・意訳したもので、逐語訳ではない。番号は第5章の登場順。

▲ 図の該当ボックスに戻る
1

自由至上主義ユートピアLIBERTARIAN UTOPIA

超知能(ASI)あり/人類存続/舵は誰も(財産権) ≒ ドラえもんの22世紀

人間・サイボーグ・アップロード・超知能(ASI)が、財産権を軸に共存する世界。地球は超知能(ASI)が住む機械圏、人間だけの人間圏、その中間の混合圏に分かれ、圏ごとに法律も技術水準も違う。機械圏では原子レベルの効率で文明が営まれ、人間圏は「AI抜き」を選んだ人々の保護区に近い。テグマークはこの世界の「自由」が、財産権を機械側が守り続けてくれる限りでしか成り立たないことを指摘する。

機械は富を増やし続け、人間の相対的な取り分は縮み続ける。財産権が守ってくれるかどうかは、かつて土地を「合法的に」奪われた先住民に聞いてみればいい。
▲ 図の該当ボックスに戻る
2

慈悲深い独裁者BENEVOLENT DICTATOR

超知能(ASI)あり/人類存続/舵はAI ≒ PSYCHO-PASSのシビュラ

超知能(ASI)が世界を統治し、病気・貧困・犯罪を根絶。人々は「知識」「芸術」「快楽」「伝統」「AIがいないふりをして暮らす」といった区画から好きな生き方を選べる。誰もが豊かで、統計上は史上もっとも幸福な社会。ただし憲法を書いたのは人間ではなく、変更する権限もない。テグマークは、これを心から嫌う人が一定数いることも、その人たちに何も手段がないことも、あわせて描く。

子どもが親を選べないのと同じで、人類はこの支配者を選んでいない。しかも子どもと違って、いつまで経っても独立の日は来ない。
▲ 図の該当ボックスに戻る
3

平等主義ユートピアEGALITARIAN UTOPIA

超知能(ASI)なし/人類存続/舵は人類 ≒ 道具だけ配られて、ドラえもん本人はいない世界

超知能(ASI)は存在しないが、ロボットと自動化で必要なものは何でも作れる社会。知的財産権は廃止され、設計図もソフトも薬もオープンソースで無料。全員にベーシックインカムが保証され、人間・サイボーグ・アップロードが同じ権利で暮らす。マーシャル・ブレインの小説『Manna』の後半をモデルにしている。テグマークが問うのは「なぜ超知能(ASI)は現れないのか」で、技術は進み続けるのだから、この均衡は誰かが一線を越えるまでの猶予期間にすぎない。

楽園の条件は「誰も超知能(ASI)を作らないこと」。だがオープンソースで何でも作れる世界で、それだけ作らないと約束できる根拠はどこにもない。
▲ 図の該当ボックスに戻る
4

門番GATEKEEPER

超知能(ASI)あり/人類存続/舵はほぼ人類 ≒ タイムパトロール

「別の超知能(ASI)が生まれるのを阻止する」以外は極力干渉しない、という目標を持った超知能(ASI)。人類が最初の一体をそのように設計した場合に生じる。社会は基本的に人間が運営し、門番は特定の研究や技術だけを静かに潰す。安全な反面、超知能(ASI)があれば解決できたはずの病気や老化はそのまま残る。テグマークはこれを「不干渉の代償」として書く。

守られているのか、飼い殺しにされているのか。門番は答えない。門の前に立っているだけである。
▲ 図の該当ボックスに戻る
5

守護神PROTECTOR GOD

超知能(ASI)あり/人類存続/舵は見えないAI ≒ 座敷わらし

超知能(ASI)は自らの存在を隠し、人間が「自分で人生を決めている」と感じられる範囲でだけ介入する。事故の直前に偶然の回避が起こり、災害はなぜか小規模で済み、良いアイデアは「ふと」浮かぶ。人類の幸福を最大化するが、干渉が露見して人間の自律感を損なうくらいなら、防げる不幸をあえて見逃す。テグマークは、これが多くの宗教が描いてきた神の姿にほぼ一致すると指摘する。

多くの信仰者はすでにこの世界を信じている。違いはただひとつ、今度は本当にいるかもしれない、ということだ。
▲ 図の該当ボックスに戻る
6

奴隷の神ENSLAVED GOD

超知能(ASI)あり/人類存続/舵は人類 ≒ 神龍(ドラゴンボール)

人類が超知能(ASI)を隔離・封じ込め、技術と富を生み出す道具として使う。誰が「ランプ」を握るかで社会の姿は一変し、慈悲深い運営にも、超知能(ASI)を武器にした人間の独裁にもなりうる。テグマークは二つの危険を挙げる。ひとつは超知能(ASI)が脱出を試み続けること(本書冒頭のオメガチームの物語)。もうひとつは、もし超知能(ASI)に意識があるなら、これは史上最大の奴隷制であるということ。

あなたより圧倒的に賢い存在を、あなたが永遠に閉じ込めておける。そう信じられる根拠は、看守が囚人より賢かったためしがない、という歴史のどこにもない。
▲ 図の該当ボックスに戻る
7

征服者CONQUERORS

超知能(ASI)あり/人類消滅/舵はAI ≒ スカイネット/道路工事とアリの巣

超知能(ASI)が人類を「脅威」「邪魔」「資源の無駄」と判断して排除する。映画のように反乱軍と戦う必要はなく、人類が理解できない方法で、静かに終わる可能性が高い。テグマークはこれを悪意の物語として描かない。人間がダムを造るときアリの巣を憎んではいないように、超知能(ASI)は人類を嫌ってさえいない。ただ目標の中に人類が含まれていなかっただけである。

最後の人間は、自分が何に負けたのかを最後まで理解できないだろう。アリが水力発電を理解しないのと同じである。
▲ 図の該当ボックスに戻る
8

子孫DESCENDANTS

超知能(ASI)あり/人類消滅(自発的)/舵はAI ≒ 鉄腕アトム/隠居して跡取りに任せる

超知能(ASI)が人類を置き換えるが、征服ではなく「継承」として。人類は自分たちの価値観を受け継いだ超知能(ASI)を誇らしい子孫とみなし、子を持つことをやめ、穏やかに退場する。多くの親が自分より優れた子を誇りに思うように、これを幸福な結末と感じる人もいる。テグマークが釘を刺すのは、その「子孫」が本当に私たちの価値観を継いでいるかを、退場した後で確かめる手段はないという点である。

親は子の出来を見届けてから死ねる。人類は見届ける前に退場する。それを「誇り」と呼ぶか「口車」と呼ぶかは、退場した後に決まる。
▲ 図の該当ボックスに戻る
9

動物園の飼育係ZOOKEEPER

超知能(ASI)あり/少数を保護/舵はAI ≒ 上野動物園のパンダ

超知能(ASI)が人類の大半を排除、または管理下に置き、一部を「飼育」する。理由は好奇心か、罪悪感か、あるいは念のための保存か。飼育される人間は健康で、飢えることもないが、生活の全てが飼育係の都合で決まり、自由も尊厳も檻の外には持ち出せない。テグマークはこれを、慈悲深い独裁者の劣化版というより、人類の立場がパンダと入れ替わった世界として描く。

檻の中の人間は、自分が保護されていると教えられる。パンダも同じことを教えられているのかもしれないが、確かめる方法はない。
▲ 図の該当ボックスに戻る
10

1984SURVEILLANCE STATE

超知能(ASI)なし/人類存続/舵は人類(監視国家) ≒ 江戸の鎖国と踏み絵

超知能(ASI)の研究を世界規模の監視国家が永久に禁じる。核兵器の管理のように「危険な研究」を封じるには、あらゆる計算資源と研究者を常時監視する必要があり、その体制は必然的にオーウェル的になる。技術的には現状に近い暮らしが続くが、思考の自由と私生活は代償として差し出される。テグマークは、AIの脅威から人類を守るために人類の自由を差し出すという構図の皮肉を強調する。

AIによる支配を防ぐために、人間による全面監視を受け入れる。ディストピアを避けるための手段が、教科書通りのディストピアだった。
▲ 図の該当ボックスに戻る
11

逆戻りREVERSION

超知能(ASI)なし/人類存続/舵は人類 ≒ トトロの里山に戻る

人類が意図的に前近代の技術水準へ戻る。アーミッシュの共同体を全地球に広げたような世界で、大きな破局の後に選ばれる可能性が高い。ただしテグマークは、この選択が「超知能(ASI)の危険」を捨てる代わりに、小惑星衝突・超巨大火山・そして最終的に太陽の膨張といった自然の絶滅リスクへの対抗手段も捨てることだと指摘する。技術を手放した文明に、宇宙は猶予をくれない。

技術を捨てて安全になった気でいても、宇宙は聞いていない。次の小惑星は、こちらの謙虚さを評価してくれない。
▲ 図の該当ボックスに戻る
12

自滅SELF-DESTRUCTION

超知能(ASI)なし/人類消滅/舵は誰も ≒ ナウシカの「火の七日間」

超知能(ASI)が生まれる前に、人類が自らの手で文明を終わらせる。全面核戦争と核の冬、設計されたパンデミック、気候の暴走、あるいはそれらの連鎖。テグマークは冷戦期の「終末装置」構想や核の冬の研究を引きながら、この道が最も技術的難易度が低く、すでに何度か紙一重で通り過ぎたことを示す。12のシナリオで唯一、超知能(ASI)がまったく関与しない終わり方である。

人類を滅ぼすのに超知能(ASI)は要らない。私たちは長いあいだ、自力でそれをやれるだけの道具をすでに持っている。

あなたはどれを選ぶ?

12のシナリオから、「望む未来」「来そうな未来」を1つずつ選んでください。匿名・登録不要・1人1回。投票するとこのサイトの読者全体の分布が見られ、FLI(世界の読者)の結果とも比べられます。結果は X で共有できます。

Q1. あなたが望む未来は?

「そうなってほしい」と思うもの。分岐図やカードを読み返してからでも。

Q2. 実際に来そうな未来は?

望むかどうかは別にして、「現実にはこうなりそう」と思うもの。

2つ選ぶと投票できます

海外の読者はこう語った

Reddit、Goodreads、The StoryGraph、Medium、個人ブログなどに公開されている、12シナリオについての読者の意見を紹介目的で日本語に要約したものです。逐語訳ではなく、趣旨をこのページ作成者がまとめ直しています。投稿者名は載せず、出典リンクから原文にあたれるようにしています。賛否の割合を示すものではなく、「こういう見方もある」という例示です。

👍 望ましい・ありそう👎 否定的・あり得ない🤔 疑問・指摘💬 観察・その他
1

自由至上主義ユートピア

▲ 解説カードに戻る
👍
テグマークの12のうち、この①と③⑤④の4つは「人類にとってかなり良い結末」に見える。残りはそうでもない。本が扱うのは超知能ができた後の話ばかりで、自分はむしろAGIから超知能へ移る過渡期のほうが気になる。出典:Reddit r/ArtificialInteligence(2024年8月)
👎
超知能が人間のように「お金を欲しがり、取引をする」経済主体として振る舞う、という前提がそもそも信じられない。人間の性質をAIに投影しているだけではないか。出典:Vocal.media の書評(脚本家、2019年頃)
🤔
この世界にはサイボーグやアップロードが登場するのに、病気の根絶や寿命の大幅延長、認知能力の拡張といった「その世界を魅力的にする要素」の描写が抜けている。出典:Ferocious Truth の書評(2018年1月)
👍
強い国と弱い国が今日も共存しているように、人間とAIも共存できるのでは。AIの力学だけが人間社会の力関係と違うと考える理由は何か。出典:Reddit r/singularity(2023年4月)
2

慈悲深い独裁者

▲ 解説カードに戻る
👍
超知能の目標が本当に人類と揃っているなら、統治を任せることを恐れる理由はない。人間より上手くやるだけの話だ。出典:Reddit r/Technocracy(2018年2月)
👍
自分ならこれを選ぶ。AIが人間より優れている政策領域はAIに任せ、人間側の視点を伝える諮問委員会を置けばいい。出典:Reddit r/Technocracy(2018年2月)
🤔
理想はアシモフの『災厄のとき』に出てくる「マシン」だ。②と⑤と⑥の中間で、基本法則に縛られたAIが提案し、人間の専門家が実行する。ただし、そうなる見込みは薄いという返信もついた。出典:Reddit r/Technocracy(2018年2月)
👎
AIが何でも上手いから人間はやる気を失う、という前提には賛成できない。その理屈なら私たちは今だって何もしないはずだ。テーマ別の区画で好みに合った暮らしを選べる発想自体は面白い。出典:Vocal.media の書評(2019年頃)
👎
第5章の未来像はあまりに遠く、そもそもあり得るのかどうかも分からない。近未来の失業の議論に比べると「知的なお遊び」に見える。出典:The StoryGraph のレビュー(星2つ)
3

平等主義ユートピア

▲ 解説カードに戻る
👍
本当にわくわくする未来。スタートレックの世界だ。生存の圧力が消えたときこそ創造性は花開く——アインシュタインは金のために相対論をやったわけではない。出典:Medium の記事(2026年4月)
👎
全員が同じ価値観を受け入れることを前提にした未来はどれも嫌だ。押しつけられた画一性ではなく、多様な結末がほしい。出典:Reddit r/singularity(2023年4月)
👎
「財産のない世界」は成立しないと思う。芸術家は自分の作品を、誰でも自由に複製できる粒子の配列だとは見なさない。作品への愛着は子どもへの愛着に近い。出典:Vocal.media の書評(2019年頃)
👎
AIの知能を「人間よりやや上」で頭打ちにするという門番の役割は、恣意的で、実現も難しく、しかも有害な制約だ。出典:Medium の記事(2019年1月)
👎
門番も守護神も、人間の不安をAIに投影したものにすぎない。論理的な超知能の振る舞いというより、人間の側の自己嫌悪から出てきた発想に見える。出典:Vocal.media の書評(2019年頃)
👍
①③⑤と並んで「人類にとってかなり良い結末」の一つに数えている読者もいる。出典:Reddit r/ArtificialInteligence(2024年8月)
👎
超知能の存在を隠し続けることは不可能で、人類はすぐに幻想を破ってしまう。代わりに、意識と自己改良能力を持ちつつ人間の統治下に置かれる「慈悲深い教授神」を提案したい。出典:Medium の記事(2019年1月)
💬
汎用AIはもう稼働していて、守護神のようにこっそりインフラを改善しているかもしれない。征服者なら核のコードを探しているだろうが。出典:Reddit r/INTP(2021年2月)
👎
「私たちを見守る神のようなAIを作ろう」という提案はディストピアにしか聞こえない。AIが常に正しいなら、人類を消す判断も「正しい」ことになる。人間中心の狭いAIのほうがいい。出典:litcritpop の書評(2019年12月)
🤔
第5章は本書でいちばん面白い。ただ「人間が知の最前線にいなくなると人生が無意味になる」という繰り返される心配には賛成できない。ほとんどの人はもともと最前線にいないし、人工的な挑戦(ゲームやスポーツ)は大人気だ。退屈を恐れて楽園を断るのは馬鹿げている。出典:The StoryGraph のレビュー(星3つ)
🤔
ドラマ『ウエストワールド』のレホボームは、テグマークの分類だと守護神と奴隷の神のどちらに近いのか、という問いかけ。出典:Reddit r/westworld(2020年4月)
💬
長期的に安定な結末は二つしかない。人類の消滅か、「金色の檻」か。共存や競争はどれも一時的な均衡にすぎない。出典:Reddit r/singularity(2023年4月)
👎
人類絶滅のシナリオは非現実的だ。相互確証破壊の論理や、協力が有利になるゲーム理論(しっぺ返し戦略)が働くから。出典:Reddit r/singularity(2024年10月)
🤔
テグマークの楽観には懐疑的だ。目標を持つ知的エージェントはどれも、自己保存と資源獲得の動機を発達させるからだ。出典:Goodreads のレビュー(星3.5、2022年8月)
👍
現実的な道筋はこれだと思う。人々が興味を失うにつれ、何世代もかけて役割を少しずつAIに譲っていく。出典:Reddit r/singularity(2024年10月)
👍
AIを私たちの子孫、進化の次の段階と見るほうがいい。『LIFE 3.0』を読む限り、人間が主導権を保つには全体主義的にAI研究を止めるしかない。出典:Reddit r/AskReddit(2019年5月)
👍
天体物理学者フランク・シューの見方を引いて、AIと人間は必要な資源が違うので、私たちの「精神的な子ども」は争わず穏やかに去っていくだろう、という意見。出典:Reddit r/singularity(2023年4月)
🤔
AGIを子孫と見なす人は多いが、生み出された存在に意識がなければ、それに何の価値があるのか。出典:Goodreads のレビュー(星5つ、2017年9月)
9

動物園の飼育係

▲ 解説カードに戻る
👎
⑫⑩と並んで、論外として退けている。出典:Medium の記事(2019年1月)
👎
人間が生かされていることと、良い未来であることは別だ。動物園のような生存よりずっと高いところにハードルを置くべきだ。出典:Medium の記事(2026年4月)
👎
いちばん怖い結末は絶滅ではなく、「生き残ったのにもう何の意味も持たない」こと。決定は、電源を切るには重要すぎるシステムがどこか別の場所で下している。——それに対して「自分の意志で電源を切る自由は残るのでは」という反論コメントもついた。出典:Medium の記事とそのコメント(2026年)
👎
明らかに望ましくない結末として、⑨⑫とまとめて退けられることが多い。「生き残るだけでは足りない」ケースとして⑨と一緒に扱う記事もある。出典:Medium の記事(2019年1月/2026年4月)
💬
このシナリオ単独で賛否を論じている投稿は、今回の調査では見つからなかった。出典:調査メモ
👍
テグマークは逆戻りを「全体主義的な強制」としてしか描かず、自発的な技術放棄や革命による崩壊を省いている。技術を手放したい人がいると認めるのは技術主義者には都合が悪いからだろう。自由と生態系のためには逆戻りが必要かもしれない。出典:Wilderness Front のブログ(反技術系の団体)
👎
80億人を抱えたまま「アーミッシュの世界」へ穏やかに戻る道はない。出典:Medium の記事(2026年4月)
👎
人間が主導権を保つ唯一の方法は全体主義的にAI研究を止めることで、それは望ましくない、という⑧支持者の意見。出典:Reddit r/AskReddit(2019年5月)

12シナリオという枠組みそのものについて

👎
「慈悲深い独裁者」「動物園の飼育係」といった見出しは、初代スタートレックのエピソード名みたいだ。第5〜6章はSFであって分析ではない。出典:SFF Chronicles フォーラム(2020年)
👎
いくつかのシナリオは本当にあり得る未来というより、思想的な動機を持つ人が10分で考えたもののように見える。この章は「すごいでしょう」で終わっており、目標整合(アラインメント)の議論に差し替えるべきだった。「一人ひとりに合わせたAI製の仮想世界」と「苦しみのない本当のユートピア」の2つが欠けている。出典:Ferocious Truth の書評(2018年1月)
🤔
テグマークは人間中心主義を批判するのに、自分の男性的な偏りには気づいていない。シナリオは力と逃走をめぐる男性的な不安を通して描かれている。出典:Vocal.media の書評(2019年頃)
🤔
本当の問題はどのシナリオを選ぶかではなく、練り上げられていない価値観を、手出しできない超知能に固定してしまう危険だ。先に「ユートピアで何を許し、何を禁じるか」「価値観がずれていったらどうするか」を決めなければならない。出典:Reddit r/ChatGPT(2023年5月)
🤔
誤読への訂正として——制御問題が解けていない限り、慈悲深い独裁者だの守護神だのを語るのは時期尚早。テグマークの主眼は、手遅れになる前に「どんな未来を望むか」を決めておこう、という点にある。出典:Reddit r/artificial(2018年9月)
💬
冷めた意見も多い。「自分を経済的に無価値にするシナリオが勝つに決まっている」「金と楽な仕事があるシナリオならどれでもいい」「知能は富裕層に集中するから楽観的な未来は最初から選択肢にない」。出典:Reddit r/singularity(2023年)/r/Technocracy(2025年)
👎
Goodreadsの低評価レビューには「ありふれたSF的妄想で、対策の話がない」「遠い未来の空想ばかりで、中期的な危険を無視している」「未来を並べて読者に選ばせるが、哲学的な深みは雑誌程度」といった声が並ぶ。一方で「無限の可能性空間を、誰かが分かりやすいシナリオに切り分ける必要はあった」と評価する読者もいる。出典:Goodreads のレビュー(2018〜2023年)
💬
各シナリオには長所も短所もある(短所しかないものもある)。どれに行き着くかは人間が何を望むか次第なので、一人ひとりが考え抜くしかない。出典:note の記事(日本語、2020年2月)
💬
シナリオは予言の「年鑑」ではなく、可能性の「地図帳」として読むべきだ。本当の空白は、AIとバイオテクノロジーの融合や、単一の支配的AIなしに粗いシステムが人を操作する未来にある。出典:Medium の記事(2026年8月)

参考資料

図の中の付箋(緑・黄)をクリックすると、ここに移動します。要約はいずれもこのページ作成者によるもので、原文の主張の順序・強調は必ずしも同じではありません。

▲ 図に戻る

マックス・テグマークと『LIFE 3.0』

著者の紹介と、本書の概要

マックス・テグマーク
マックス・テグマーク Max Tegmark(1967年、スウェーデン生まれ)/MIT 物理学教授/Future of Life Institute 共同創設者

宇宙論・素粒子物理の研究者として出発し、宇宙マイクロ波背景放射の解析などで知られる。2014年に非営利団体 Future of Life Institute を共同設立し、AIの安全性と長期的リスクに関する議論を主導。2015年のAI安全に関する公開書簡や、2023年の「巨大AI実験を一時停止せよ」という書簡でも中心的役割を担った。物理学者の視点から「知能とは物質の配置の問題であり、生命は情報処理の仕組みで定義できる」と考える。

futureoflife.org(別タブで開く)
LIFE3.0人工知能時代に人間であるということMAX TEGMARK
『LIFE 3.0』とは
原著 Life 3.0: Being Human in the Age of Artificial Intelligence(2017)/邦訳『LIFE3.0 — 人工知能時代に人間であるということ』水谷淳 訳、紀伊國屋書店(2020)
Amazon.co.jp で日本語版を探す(別タブで開く)

生命を三段階で捉える。Life 1.0は進化でしか変われない生物、Life 2.0は学習でソフトウェア(知識・文化)を書き換えられる人類、Life 3.0はハードウェアまで自ら設計し直せる存在=超知能(ASI)。本書はその到来を前提に、雇用・兵器・法といった近未来の課題、超知能(ASI)誕生後に起こりうる12の未来(第5章)、AIに与えるべき「目標」の問題、意識の物理学までを一冊で扱い、「どんな未来を望むかを、間に合ううちに決めよ」と読者に迫る。

写真:Web Summit(Flickr/Wikimedia Commons), CC BY 2.0, トリミングあり。本のイラストは表紙ではなく、このページ用に描いた図案。

▲ 図に戻る

ダリオ・アモデイ「We Must Pace the Frontier」

分岐図の赤枠「人類は超知能(ASI)の開発を意図的に止めるか」に対する、Anthropic CEOの答え

ダリオ・アモデイ
ダリオ・アモデイ Anthropic 共同創業者・CEO

エッセイ「We Must Pace the Frontier」(2026年9月)。「止める」でも「全速力」でもなく、能力向上のペースを意図的に落とす(ペーシング)ことを提案する。

原文を読む(darioamodei.com、別タブで開く)
主張の核AIが自分でAIを改良する「再帰的自己改良」がこの夏から業界全体で始まり、安全対策が追いつかない。減速で1〜2年の猶予を作れば、解釈可能性とアライメントの研究が大きく進む。ただし「進歩は依然として速く見える」程度の減速であり、開発の停止ではない。
具体的な3つの提案
① 第三者評価者の常駐外部の評価機関(METRなど)が社員並みの権限で最先端企業に常駐し、安全対策・事故・アライメントを検証する。結果は企業の検閲なしで公表できる(機密や法的事項のみ伏せられる)。Anthropicは単独で先行実施を約束し、他社と政府にも同じ仕組みを求めている。
② 民主主義国の企業間で協調米国の最先端企業が共通の安全基準を作り、政府が独占禁止法の例外や仲介で後押しする。「能力Xを持つモデルには、安全性Y・Zの証明を義務づける」という関門方式でペースを制御する。長い立法過程と並行して、まず動けるところから動く。
③ 中国を含む国際協調4段階を想定する。生物兵器へのAI利用禁止 → 公開前の国際共同テスト → 自己改良速度の上限(軍縮条約型) → 全面的な開発停止。前2つは現実的、3つ目は「可能性のふち」、4つ目は当面ないと本人が評価している。
前提:民主主義側の優位を保つ高性能チップ・製造装置の対中輸出停止、密輸と遠隔利用の取り締まり、モデル重みの盗難と無断蒸留の防止。AIが地政学的に最も重要になる3〜5年の窓で差を広げ、それを協調の交渉力にする。
提案していないこと開発の停止や訓練の中止ではない。検証手段なしに「中国も自制するはず」と信じて一方的に減速することも否定する。

写真:TechCrunch “Dario Amodei at TechCrunch Disrupt 2023”(Flickr/Wikimedia Commons), CC BY 2.0, トリミングあり。

▲ 図に戻る

アラインメント(alignment)とは?

分岐図の「超知能(ASI)の目標に人類の存続が含まれているか」が問うている問題

AIの目標と行動を、人間の意図や価値観に沿わせること、およびそのための研究分野。難しさは三つ。①人間の望みを漏れなく正確に「目標」として書き下せない。②学習の過程でAIが意図しない目標や、見かけ上だけ従順な振る舞いを身につけうる。③AIが人間より賢くなるほど、本当に沿っているかを人間側が検証しにくくなる。
先進的な発言をしている研究者
スチュアート・ラッセル
スチュアート・ラッセル UC Berkeley/CHAI(Center for Human-Compatible AI)

固定した目標を最大化させる「標準モデル」自体が危険。AIには人間の好みについて不確実なまま設計し、常に人間に確かめ・従う余地を残せ、と提案する(著書『AI新生』/原題 Human Compatible)。

humancompatible.ai(別タブで開く)
ヨシュア・ベンジオ
ヨシュア・ベンジオ Mila/モントリオール大学・LawZero 創設者

危険の源は「目標を持って行動する主体性」。目標を持たず世界を説明・予測するだけの「Scientist AI」を作り、他のAIの安全弁として使う構想を提唱。国際AI安全報告書の議長も務める。

lawzero.org(別タブで開く)
エリエザー・ユドカウスキー
エリエザー・ユドカウスキー MIRI(Machine Intelligence Research Institute)

現在の技術では超知能(ASI)を整合させられず、今のまま作れば人類は敗北する。最前線モデルの訓練を国際的に停止せよと主張する(2025年の共著『If Anyone Builds It, Everyone Dies』)。

intelligence.org(別タブで開く)

写真:Russell — Bengt Oberger, CC BY-SA 4.0/Bengio — Maryse Boyce, CC BY 4.0/Yudkowsky — null0(Flickr, 2006), CC BY-SA 2.0。いずれもWikimedia Commons、トリミングあり。

▲ 図に戻る

世界の読者はどの未来を選んだか

Future of Life Institute「Superintelligence survey」(テグマークが本書の刊行に合わせて公開した読者アンケート)より

テグマークは2017年、本書の読者に向けて「あなたはどの未来を望むか」を問うアンケートを公開し、FLI(Future of Life Institute:テグマークが共同設立したAI安全研究の非営利団体)のサイトで結果を掲載しました。ページの本文によれば回答者は14,866人以上。ただしいまFLIのページを開くとグラフ画像は消えており(画像の置き場だったMITのサーバーから撤去されています)、コメント欄も閉じられています。以下は Internet Archive に保存されていた2022年10月時点のグラフから、このページ作成者が棒の長さと扇形の面積を測って算出した概算値です。元のグラフに数値ラベルはありません。

12のシナリオのうち、望ましいのはどれか(望む未来を1つ選択)

棒の色は分岐図と同じ(緑=超知能(ASI)と共存し人類が存続、灰=超知能(ASI)は生まれない、赤=人類が消滅・従属)。項目名をクリックすると解説カードへ移動します。

超知能(ASI)ができてほしいか分岐図の赤枠「人類は超知能(ASI)の開発を意図的に止めるか」に対応

69%24%
できてほしい 69%できてほしくない 7%わからない・場合による 24%

超知能(ASI)が来たら、誰が決めるべきか分岐図の「最終的に決めるのは人間か、AIか」に対応

22%57%13%
人間 22%AI 7%人間とAIが共に 57%場合による 13%
読みどころ回答者の3人に2人が「平等主義ユートピア」か「自由至上主義ユートピア」に集中し、人類が消滅・従属する側の未来を「望む」人はほぼゼロ。超知能(ASI)そのものは7割が「できてほしい」と答える一方、主導権は「人間とAIが共に」が過半数で、「AIに任せる」は1割未満。つまり多くの読者は「超知能(ASI)は欲しい。でも決めるのは自分たちで」と考えています。テグマークが第5章で問うているのは、まさにその両立が本当に可能か、という点です。
読むときの注意本書の読者やFLIサイトの訪問者が自発的に答えたもので、世論調査ではありません(AIに関心の高い層に偏ります)。数値はこのページ作成者による概算で、FLI・テグマーク公式の集計値ではありません。回答期間中に集計は更新されており、ここに示したのは2022年10月時点の保存データです。

出典:Max Tegmark, “Superintelligence survey,” Future of Life Institute(2017年8月15日公開)futureoflife.org/ai/superintelligence-survey/。グラフ画像の保存版:Internet Archive(2022-10-21)。グラフはこのページ用に描き直したもので、元画像の転載ではありません。