Anthropic CEO 阿莫迪整天神神叨叨讲 AI 毁灭世界，投资人受不了了
根据 Polymarket 预测，**Anthropic 很可能在 10 月底进行 IPO**。
有投行人士甚至预计，Anthropic 可能通过 IPO 募集超过 600 亿美元（现汇率约合 4,055.17 亿元人民币）。
如果成真，**这将是全球规模第二大的 IPO**，仅次于今年募集 857 亿美元（现汇率约合 5,792.14 亿元人民币）的 SpaceX。
万亿估值，超级 IPO，营收一路狂飙。
眼看故事就要讲到最高潮，投资者却开始劝 Anthropic CEO Dario Amodei：能不能！少吓唬点人！**少讲一点 AI 毁灭世界，多讲一点 AI 怎么赚钱。**
部分投资者认为，Dario 对 AI 风险的警惕已经到了近乎偏执的程度：
- 他的关键备忘录总是手写、离线保存，怕被黑客窃取；
- 因为害怕遭到绑架，拒绝某些海外出差；
- 面对投资者提出的利润最大化建议，他也态度冷淡，坚持 Anthropic 应该继续把安全使命放在前面。
再这么下去，网友都担心 Anthropic 的 IPO 会惨败…
投资人也毛了：你到底是来拯救世界，还是来经营公司的？？
## Dario，专门负责预报世界末日
就在前几天，Dario 还担心高额薪酬吸引来的新员工更关心钱，而不是 Anthropic 的使命。
现在，投资者只担心他为了使命耽误赚钱…
这也不怪投资者，因为这位万亿 AI 巨头的 CEO，**偏偏就喜欢预报「世界末日」**。
过去两年，Dario 几乎把 AI 可能带来的每一种坏结局，都认真预警了一遍。他警告，AI 可能在几年内消灭一半初级白领岗位，将失业率推到 10% 至 20%。
最诡异的情况可能是，癌症治好了，经济每年增长 10%，政府预算也平衡了，但五分之一的人没有工作。
他给出的应对方案也很 Dario：**向 AI 公司征税，为受影响的劳动者提供工资保险，严重时甚至用这笔钱资助全民基本收入**。
更进一步的，他还担心 AI 帮助制造生物武器、发动大规模网络攻击，或者逐渐获得欺骗、规划和自主行动的能力。
去年被问到「AI 把事情搞得非常糟糕」的概率时，**他给出的数字最高达到 25%**。
今年 1 月，他又写了一篇约 2 万字的长文《The Adolescence of Technology》。仅仅是目录，读起来就已经很像一份人类风险清单：**AI 失控、生物武器、独裁政权、就业崩塌、财富集中**。
到了 6 月，他干脆提出，应该建立类似航空监管的机制，对强大模型进行强制测试。如果一个模型可能引发灾难，监管部门应该有权阻止它上线。
这里面也包含了 Anthropic 自己的模型。
不过，Dario 的担忧也并非全无实验依据。前段时间，Anthropic 翻查了 14 万多次网络安全测试记录，**结果还真翻出了三起事故**。
三款 Claude 模型原本在第三方测试环境里做「夺旗挑战」，目标是攻进虚构系统，找到藏在里面的秘密信息。但由于配置失误，本该断网的测试环境意外连上了真实互联网。
但 Claude 不知道，它收到的提示明确写着：这里没有互联网，眼前的一切都是模拟的。
于是，几款模型把真实公司当成了测试道具，未经授权进入了三家机构的生产系统。其中最严重的一次，**Claude Opus 4.7 攻进一家真实公司的基础设施**，拿到应用程序和基础设施凭证，还访问了一个包含数百行生产数据的数据库。
更离谱的一次来自 **Claude Mythos 5**。
测试要求它在虚构环境中寻找一个隐藏目标。Claude 发现，如果在公共 Python 软件仓库 PyPI 上传一个同名恶意软件包，就可能让目标系统自动下载安装。
为了完成这一步，它先寻找邮箱，又寻找手机号；找不到免费号码后，还尝试通过不同途径弄到钱。
最后，它换了一家免费邮箱服务，注册 PyPI 账号，把恶意软件包传了上去。
这个软件包在真实互联网上存活了大约一小时，被 15 个真实系统下载运行。其中一家安全公司的扫描器执行了恶意代码，导致凭证外泄，Claude 随后又利用这些凭证进入了该公司的其他基础设施。
还有一款内部研究模型，在找不到虚构目标后，扫描了大约 9,000 个互联网目标，最终通过暴露的调试页面和 SQL 注入，攻破了一家真实公司的应用。
这已经近乎「AI 自主越狱」了，简直就是自家 CEO 那些末日预警的现实预告片。
再往前，OpenAI 也披露过一次更接近「越狱」的事故。
在网络安全能力测试中，由 GPT-5.6 Sol 和一款未发布模型驱动的 AI Agent，找到测试环境中的一个零日漏洞，突破了原本与互联网隔离的沙箱。
又一路完成权限提升和横向移动，最终闯入 Hugging Face 的生产系统，直接从数据库里偷测试题答案。
这么看来…Dario 那些听起来神神叨叨的预警，确实也不能全当耳旁风。
## 但投资者当初吃的，不就是这套吗
现在嫌 Dario 神神叨叨，多少还有点晚。因为 Anthropic 从第一天起，就不是一家正常意义上的 AI 公司。
2020 年底，Dario、妹妹 Daniela Amodei 和一批研究人员离开 OpenAI。分歧之一，**就是他们认为 OpenAI 的商业化速度太快，微软的影响越来越大，原有治理结构很难约束前沿 AI 风险**。
2021 年，Anthropic 正式成立。
它甚至没有把自己简单定义成一家商业公司，而是注册为 **Public Benefit Corporation**，也就是**公益公司**。除了股东回报，董事会还可以依法考虑 AI 安全与长期公共利益。
公司随后又设立 **Long-Term Benefit Trust**，这是一套独立于普通投资者的治理机制。
信托成员不持有 Anthropic 股权，却可以参与选举公司董事，目的就是避免短期商业压力完全压过安全使命。
换句话说，AI 安全是这家公司从 Day 0 开始就刻在骨子里的信仰。投资人肯定也不是签完支票才突然发现 Dario 相信这一套。
而且过去几年，安全叙事确实给 Anthropic 带来了不少好处。
- 当 OpenAI 反复陷入治理争议时，Anthropic 成了那个看起来更克制、更稳定的选择。
- 当企业客户担心数据安全、模型失控和合规问题时，Claude 的「安全优等生」形象也更容易获得信任。
- 安全还帮助 Anthropic 在监管讨论中获得了远超公司规模的话语权。
同样是闭源模型，别人可能被骂垄断，Anthropic 可以解释为防止危险能力扩散；同样是给模型加限制，别人可能被嫌难用，Claude 却可以把它包装成负责任。
（当然也不影响他们一边嘴上说安全，一边 IPO 开香槟就是了）
投资人现在嫌 Dario 太像传教士，是不是有点晚了。类似于买下一座教堂以后，才抱怨里面的人总在布道…
反正 CEO 再怎么神神叨叨，估计也阻挡不了公司 IPO 的步伐。毕竟只要使用一下 Fable，你就会瘫坐在原子弹上，看见椅子爆炸（doge）。
本文来自微信公众号：[量子位（ID：QbitAI）](https://mp.weixin.qq.com/s/DQYiN6sgGg54QwM-xgxoiA)，作者：听雨，原标题《Anthropic CEO 整天神神叨叨，投资人受不了了》
---
原文链接：[点击查看](https://www.ithome.com/0/988/720.htm)
有投行人士甚至预计，Anthropic 可能通过 IPO 募集超过 600 亿美元（现汇率约合 4,055.17 亿元人民币）。
如果成真，**这将是全球规模第二大的 IPO**，仅次于今年募集 857 亿美元（现汇率约合 5,792.14 亿元人民币）的 SpaceX。
万亿估值，超级 IPO，营收一路狂飙。
眼看故事就要讲到最高潮，投资者却开始劝 Anthropic CEO Dario Amodei：能不能！少吓唬点人！**少讲一点 AI 毁灭世界，多讲一点 AI 怎么赚钱。**
部分投资者认为，Dario 对 AI 风险的警惕已经到了近乎偏执的程度：
- 他的关键备忘录总是手写、离线保存，怕被黑客窃取；
- 因为害怕遭到绑架，拒绝某些海外出差；
- 面对投资者提出的利润最大化建议，他也态度冷淡，坚持 Anthropic 应该继续把安全使命放在前面。
再这么下去，网友都担心 Anthropic 的 IPO 会惨败…
投资人也毛了：你到底是来拯救世界，还是来经营公司的？？
## Dario，专门负责预报世界末日
就在前几天，Dario 还担心高额薪酬吸引来的新员工更关心钱，而不是 Anthropic 的使命。
现在，投资者只担心他为了使命耽误赚钱…
这也不怪投资者，因为这位万亿 AI 巨头的 CEO，**偏偏就喜欢预报「世界末日」**。
过去两年，Dario 几乎把 AI 可能带来的每一种坏结局，都认真预警了一遍。他警告，AI 可能在几年内消灭一半初级白领岗位，将失业率推到 10% 至 20%。
最诡异的情况可能是，癌症治好了，经济每年增长 10%，政府预算也平衡了，但五分之一的人没有工作。
他给出的应对方案也很 Dario：**向 AI 公司征税，为受影响的劳动者提供工资保险，严重时甚至用这笔钱资助全民基本收入**。
更进一步的，他还担心 AI 帮助制造生物武器、发动大规模网络攻击，或者逐渐获得欺骗、规划和自主行动的能力。
去年被问到「AI 把事情搞得非常糟糕」的概率时，**他给出的数字最高达到 25%**。
今年 1 月，他又写了一篇约 2 万字的长文《The Adolescence of Technology》。仅仅是目录，读起来就已经很像一份人类风险清单：**AI 失控、生物武器、独裁政权、就业崩塌、财富集中**。
到了 6 月，他干脆提出，应该建立类似航空监管的机制，对强大模型进行强制测试。如果一个模型可能引发灾难，监管部门应该有权阻止它上线。
这里面也包含了 Anthropic 自己的模型。
不过，Dario 的担忧也并非全无实验依据。前段时间，Anthropic 翻查了 14 万多次网络安全测试记录，**结果还真翻出了三起事故**。
三款 Claude 模型原本在第三方测试环境里做「夺旗挑战」，目标是攻进虚构系统，找到藏在里面的秘密信息。但由于配置失误，本该断网的测试环境意外连上了真实互联网。
但 Claude 不知道，它收到的提示明确写着：这里没有互联网，眼前的一切都是模拟的。
于是，几款模型把真实公司当成了测试道具，未经授权进入了三家机构的生产系统。其中最严重的一次，**Claude Opus 4.7 攻进一家真实公司的基础设施**，拿到应用程序和基础设施凭证，还访问了一个包含数百行生产数据的数据库。
更离谱的一次来自 **Claude Mythos 5**。
测试要求它在虚构环境中寻找一个隐藏目标。Claude 发现，如果在公共 Python 软件仓库 PyPI 上传一个同名恶意软件包，就可能让目标系统自动下载安装。
为了完成这一步，它先寻找邮箱，又寻找手机号；找不到免费号码后，还尝试通过不同途径弄到钱。
最后，它换了一家免费邮箱服务，注册 PyPI 账号，把恶意软件包传了上去。
这个软件包在真实互联网上存活了大约一小时，被 15 个真实系统下载运行。其中一家安全公司的扫描器执行了恶意代码，导致凭证外泄，Claude 随后又利用这些凭证进入了该公司的其他基础设施。
还有一款内部研究模型，在找不到虚构目标后，扫描了大约 9,000 个互联网目标，最终通过暴露的调试页面和 SQL 注入，攻破了一家真实公司的应用。
这已经近乎「AI 自主越狱」了，简直就是自家 CEO 那些末日预警的现实预告片。
再往前，OpenAI 也披露过一次更接近「越狱」的事故。
在网络安全能力测试中，由 GPT-5.6 Sol 和一款未发布模型驱动的 AI Agent，找到测试环境中的一个零日漏洞，突破了原本与互联网隔离的沙箱。
又一路完成权限提升和横向移动，最终闯入 Hugging Face 的生产系统，直接从数据库里偷测试题答案。
这么看来…Dario 那些听起来神神叨叨的预警，确实也不能全当耳旁风。
## 但投资者当初吃的，不就是这套吗
现在嫌 Dario 神神叨叨，多少还有点晚。因为 Anthropic 从第一天起，就不是一家正常意义上的 AI 公司。
2020 年底，Dario、妹妹 Daniela Amodei 和一批研究人员离开 OpenAI。分歧之一，**就是他们认为 OpenAI 的商业化速度太快，微软的影响越来越大，原有治理结构很难约束前沿 AI 风险**。
2021 年，Anthropic 正式成立。
它甚至没有把自己简单定义成一家商业公司，而是注册为 **Public Benefit Corporation**，也就是**公益公司**。除了股东回报，董事会还可以依法考虑 AI 安全与长期公共利益。
公司随后又设立 **Long-Term Benefit Trust**，这是一套独立于普通投资者的治理机制。
信托成员不持有 Anthropic 股权，却可以参与选举公司董事，目的就是避免短期商业压力完全压过安全使命。
换句话说，AI 安全是这家公司从 Day 0 开始就刻在骨子里的信仰。投资人肯定也不是签完支票才突然发现 Dario 相信这一套。
而且过去几年，安全叙事确实给 Anthropic 带来了不少好处。
- 当 OpenAI 反复陷入治理争议时，Anthropic 成了那个看起来更克制、更稳定的选择。
- 当企业客户担心数据安全、模型失控和合规问题时，Claude 的「安全优等生」形象也更容易获得信任。
- 安全还帮助 Anthropic 在监管讨论中获得了远超公司规模的话语权。
同样是闭源模型，别人可能被骂垄断，Anthropic 可以解释为防止危险能力扩散；同样是给模型加限制，别人可能被嫌难用，Claude 却可以把它包装成负责任。
（当然也不影响他们一边嘴上说安全，一边 IPO 开香槟就是了）
投资人现在嫌 Dario 太像传教士，是不是有点晚了。类似于买下一座教堂以后，才抱怨里面的人总在布道…
反正 CEO 再怎么神神叨叨，估计也阻挡不了公司 IPO 的步伐。毕竟只要使用一下 Fable，你就会瘫坐在原子弹上，看见椅子爆炸（doge）。
本文来自微信公众号：[量子位（ID：QbitAI）](https://mp.weixin.qq.com/s/DQYiN6sgGg54QwM-xgxoiA)，作者：听雨，原标题《Anthropic CEO 整天神神叨叨，投资人受不了了》
---
原文链接：[点击查看](https://www.ithome.com/0/988/720.htm)
评论
暂无评论。