在近期递交的上市文件中，Anthropic详细列出了近100页的风险因素。除了常见的金融与市场风险外，还包含了涉及前沿AI带来的灾难性、甚至威胁人类生存的表述。Anthropic表示，他们自身也无法保证其安全措施绝对有效。

文件还显示，上市后七位联合创始人将通过特殊股份，在一般表决事项中掌握50.1%的投票权；同时，一个名为“长期利益信托”的机构有权选举董事会多数成员。这套机制旨在使公司在追求商业利益时，也能兼顾人类的长远福祉。但有媒体注意到一个细节：创始人可以提前指定，在自己失去履职能力后由谁接替投票权。这些人选需经内部批准，但名单保密。也就是说，公众目前并不知晓，未来谁可能参与Anthropic的决策。

这份上市文件再次凸显了AI安全对Anthropic这家公司的重要性。但与此同时，如果他们的警告成真，作为公众，我们是否应有权知道，谁能够代表人类做出决定？

要理解Anthropic对安全的重视，以及围绕它的信任与权力争议，就不得不提一个近期频繁出现的概念——有效利他主义（Effective Altruism），简称EA。

就在本月，《经济学人》将EA作为封面主题，称其为“本世纪最重要的思想”。一些报道指出，围绕AI安全政策，EA的支持者与我们播客中提到的科技右翼发生了冲突，甚至特朗普政府也加入了争论——美国国防部在社交媒体上直接喊出口号：“美国主义，而非有效利他主义”。一个原本属于哲学讨论的概念，就这样成了美国政府公开划清界限的对象。

本期《硅谷101》，我们邀请了一位与EA圈关系密切的人：以太坊创始人Vitalik Buterin，以及他的朋友、科技记者Afra。以下是采访的第一部分，由Afra介绍有效利他主义发展的四个阶段；其精神领袖Will MacAskill的经历；EA与理性主义、e/acc（有效加速主义）在社群气质与行动力上的差异；以及EA如何主导AI安全叙事，一步步将硅谷最聪明的人网罗其中。

以下是这次对话内容的精选：

EA的四个阶段，从蚊帐时期到AI安全时代

Yiwen： 你觉得总体来看，EA通常关注哪些话题？

Afra： 实际上，需要把EA影响全球格局的这十几年，大致分为四个阶段，每个阶段关注的重点都不同。

第一个阶段是所谓的**“蚊帐时期”**。这个时期，他们用非常详实、可量化的证据来提升慈善效率，影响全球健康指数。这是一种可测量的善，由证据和数据支撑。因为在EA刚成立时，许多人想行善、想捐款，但慈善效率很低，钱捐不到位。

EA这群人则想用可量化、科学的方式，把钱捐到位，最大化其价值。这就是蚊帐时期的来源——蚊帐是“你捐多少钱，就能挽救多少生命”的最有效方式。

接下来，EA进入第二个阶段，即**“长远规划时期”**，大约在2015年左右。这群人开始不成比例地研究存在风险和未来世代的问题，资金和机构也开始扩张。他们不再关心一个蚊帐能救多少人，而是关心未来几千年、几万年，人类世世代代子女的生活质量。

于是，大量资金——包括SBF及许多其他富豪的资金——在这个阶段涌入社区。我认为SBF可能是这个时代最极端的象征，因为他本人非常关注长期主义问题。

我读过一篇关于Will MacAskill的《纽约客》人物特稿，读完后我的判断是：SBF可能是整个EA转向长期主义的决定性因素之一。

接下来是整个社群声誉崩盘的时代。出现了重大信任危机，大家开始反思EA群体的问题。同时，ChatGPT诞生，带来了AI的转折——之前EA和理性主义群体讨论的AI风险、生存问题，突然变成了更多人关心的问题。

这个阶段既有挫败，也有曝光。它暴露了许多问题，比如Will MacAskill识人失败，他自己一直被社群批评，因为他对SBF的反思不够，且当时一直在庇护SBF。

但这个时期，也让EA真正成为《经济学人》所说的、对21世纪影响最重要的思想流派之一。

再接下来，就是我们现在熟知的AI安全时代。正是在这个时代，大众才听说“有效利他主义”这个词，因为AI安全成了他们的核心议题之一。

整个EA网络，一方面有许多成员进入前沿实验室成为员工，另一方面大量资金资助AI安全，使EA圈子与政策圈、国家安全圈、华盛顿圈子交汇。这也导致特朗普总统、美国国防部发推说“我们美国绝不会变成EA”等。

我认为当下是EA的新阶段，有新挑战，也是最进入公众意识的时代。

走进EA与理性主义大本营

泓君： 你最近有没有关注Anthropic与安全审计机构、EA之间的关系？9月Jacob Coxon从Anthropic辞职后，独立研究者Kevin Bass在X上梳理资金链，他指出Anthropic安排来做独立安全审计的机构METR，其资助方同时也是Anthropic的早期投资人——Coefficient Giving的创始人Dustin Moskovitz，他持有大量Anthropic股票。所以这个“独立评估”可能和Anthropic的商业利益绑定。网上因此有许多声讨EA的声音，很多人开始质疑所有安全机构的资金来源。你怎么看这些质疑？

Afra： Jacob那条推特火了之后，大家才把整个EA对AI安全的资金注入牵出来，开始编各种阴谋论。对我来说，它本身就是个阴谋论。

泓君： 为什么你觉得是阴谋论？

Afra： 许多传统媒体质疑：这些钱流向这些组织，有什么目的、隐藏的议程？我觉得一定有某种议程投射。但EA这群人的议程是什么？就是不想让AI变得不可控、造成人类无法承受的后果。这就是他们的议程，没有隐藏的。

最近前《纽约时报》记者、播客Hard Fork主持人Kevin Roose写了一本《The AGI Chronicles》，写作时拿了一些有EA背景的钱。于是很多人质疑：这笔钱来源是否不清不楚？拿了EA的钱，是否一定要把他们的议程写进书里？

但我认为最大的问题是：当一个思想运动有了这么多钱后，它到底是在发现最重要的问题，还是也开始参与和决定：什么问题会被认为是重要的。

我们现在已经生活在这个后果中。他们很早就说AI安全重要、要注入很多钱，我们现在就活在这个影响力里。我见过一些华盛顿的传统智库，甚至很难招到合格的AI政策分析员，因为年轻、有能力的人才，都流入了EA赞助的智库和组织。

如果你是一个20岁出头的年轻研究员，刚从学校毕业，拿了斯坦福的PhD，想研究AI经济，你会发现AI alignment和AI安全领域有大量研究员席位、科研资助、研究职位，年薪也不错；这些机构只管给钱，不太管研究方向，也没人要求你改变信念。而其他研究机构则没有这么多资源与自由。所以我见过越来越多这样的年轻人，被这些与AI安全相关的、所谓“EA机构”吸纳；也见过越来越多非常聪明的人，因为每天与这些人见面、讨论问题，被safety-pilled（被AI安全的理念说服）。

但在我看来，现在这个阶段被safety-pilled很正常。即使你不太关心AI安全问题，每天看各种普通新闻、电视报道，也会被safety-pilled。

泓君： 我知道你经常去伯克利，还有旧金山一些EA组织，或者我们称之为理性主义组织。我还听说，在旧金山，比如我们刚提到的METR这家机构——如果你要进去参加一些活动，比如Anthropic或研究员的活动，你说自己“我不是一个EA主义者”，他们会问——你不是EA的话，可能连旧金山的许多活动都进不去。

Afra： 我觉得EA也很有意思。你问一些人“你是EA吗？”他们说“哎呀，我也不是EA，但我跟他们的人走得很近”。没有EA的人是天天把自己是EA挂在嘴边的。其实有许多我的EA朋友，他们很EA，但并不觉得自己是EA成员，我觉得这也很有意思。

泓君： 伯克利是怎样的氛围？我觉得伯克利更偏向理性主义社区。我知道有个组织叫Lighthaven，大家经常在那里聚会、办活动，它和旧金山的氛围不太一样。

Afra： 对，我觉得现在伯克利已经自成一个体系了。伯克利有许多AI安全第三方审计机构，或像METR这样的组织，伯克利已经有几十家了。Lighthaven其实是理性主义者和一些EA赞助的活动场所，它是由伯克利大约六到七栋独栋房子组合而成的活动园区。

你在那里面可以听讲座，自由社交，晚上在篝火边烤棉花糖。Lighthaven被看作AI安全、EA和理性主义的大本营。

我自己会偶尔去Lighthaven开一些与AI相关的会，认识一些人。我两周前刚从两个会议回来：一个叫The Curve，另一个叫Progress Conference。

一个关于AI呈curve（曲线）、呈爆炸式发展的、与前沿AI研究相关的会；第二个会Progress Conference，更主张推动社会进步，很像Ezra Klein写的《Abundance》（富足），如何用现有科技营造更富足、更有未来感的社会。它讨论各种前沿科学研究，比如如何教育下一代、对未来更有信心。

泓君： 你觉得这些话题讨论时，比如推动事件进展、推动AI加速还是慢一点，对实际事情的影响有强大影响力吗？

Afra： 我觉得有。我记得去年的The Curve，关于前沿AI的会议，有很多华盛顿、国会的人，也有很多加州的政府议员。The Curve带来的群体效应挺明显，它是华盛顿和硅谷最好的Venn diagram（交集图）。所以我理解他们的影响力。

泓君： 那理性主义的社区呢？

Afra： 我觉得理性主义的社区就更佛系一点。理性主义的人其实不那么想寻求影响力。所以理性主义社区的人还是像之前那样，大家写写博客，研究自己感兴趣的事情。他们没有那么多现在硅谷所说的4D Chess（四维象棋），脑子里没有那么多“我今天要做A，可以达到B，所以最后我能达到目标Z，但我要怎么逆向工程一下”这样的盘算。

理性主义的人其实没有那么多宏大的计划，还是很可爱的，就像Vitalik说的，Rationalist就喜欢做自己爱做的事情，有很多人写小说、写博客，讨论很nerdy的数学问题和AI问题。

EA精神领袖：Will MacAskill

泓君： 然后我看你之前还去伦敦参加过一个叫GovAI（人工智能治理中心）Fellowship的项目，你见到过我们刚提到的EA精神领袖Will MacAskill。你有跟他们交流吗？

Afra： 我第一次见到Will MacAskill应该是在The Curve。我跟他聊了十几分钟，我觉得他身上几乎浓缩了EA过去十几年的许多思想变化。《纽约客》的Gideon Lewis-Kraus在2022年给他写过一篇非常好的人物特稿。文章里Will本人，尤其是刚开始创立EA组织时，有一点先知和苦行僧的味道。Gideon自己作为作者，写到在Will周围，会有一种应该去行善的道德压力，因为Will的吃穿住行非常朴素，而且他还不断捐自己的收入。

泓君： 你觉得他对整个EA圈核心影响是什么？

Afra： 他算是EA的精神领袖，同时也是创立牛津一些核心EA组织的人。他在22岁那年，遇到了澳大利亚教授Toby Ord，后者也是一个非常注重EA、注重长期主义的人。

两人一拍即合，Will当场承诺，要力所能及地把自己的财富永久捐出去。他非常愿意把自己未来的自己绑住的想法，这也是之后许多人会不断批评的一点：EA有一个理念是，我和我未来一个更富有的自己去签订合约，让后者去做我现在的自己想要做的事情。

我记得Vitalik对EA这种理念的批评是：你未来的自己永远会背叛你现在的自己，因为你10年、20年后，想法会变，行为会变，身边的朋友、圈子会变，想做的事情会变，你怎么能保证你未来为了今天你想要行的善而变得更富有的自己，能执着地坚守你今天承诺的事情？但这就是当时的Will，他说要把自己的收入全部捐出去。

我觉得还有一个背景：EA刚设立时，几年后就出现了占领华尔街运动。在占领华尔街如火如荼时，当时的道德主张是：华尔街这些人是吸血鬼，是造成美国许多中产和更底层的人生活更拮据、甚至毁掉他们生活的邪恶之人。

但当时Will在牛津大学发表了一场演讲，题目是“医生、非政府组织工作者，还是其他什么？哪种职业能更造福社会”，其实是帮助当时牛津刚毕业的学生思考以后该从事什么职业。同年他也创立了“八万小时”项目，做的事情就是为一些本科生提供“道德生活优化”建议。

这时他提出了一个观点：你们这些牛津精英院校的学生，如果想造福世界，你可以选择去贫困国家当医生，但你整个医疗生涯八万小时，能救多少人？你可能拯救相当于140条生命。但你也可以加入这个“非常邪恶的华尔街”或“邪恶的咨询行业”，通过明智的捐赠，可能你拯救生命的数量，是你在贫困国家当医生的十倍。

因为你能捐那么多钱，能买许多蚊帐，每批蚊帐都可能救很多人。所以在华尔街最有道德污点、最臭名昭著、最无法吸引精英学校学生的时候，其实有些人听了Will的道德建议，而投身进了华尔街。

我觉得之所以有效利他主义能吸引SBF、像Jane Street这样的交易者，其实也是他们试图用EA去弥合某种道德错位感。 他们会经常扪心自问：我做这件事情真的有意义吗？就是疯狂地、不断地做量化交易，通过各种杠杆、各种措施去赚钱——我真的做得好吗？但是，如果我把这个全捐出去，那么我做的事情就是好事了，对吧？

EA的这套主张，确实会给许多在华尔街做利益最大化的人提供一个借口，这个借口就是“我其实过来是做善事的”。 这个借口是一个非常会被人利用、被许多人去剥削的东西。

然后在2015年，Will MacAskill受聘成为牛津大学最年轻的哲学副教授，当时他只有28岁。同年夏天，他的八万小时项目也被Y Combinator接纳；有效利他主义的全球峰会（EA Global）在谷歌总部举行，从Elon Musk到许多其他硅谷富豪，都出席了其中的一些讨论环节。比如Musk就出席了当时关于人工智能小组的讨论。我觉得可能在Will MacAskill的眼中这可能是一个顶峰，因为EA的这套哲学思想，已经渗透到了硅谷最有钱、最富裕、最有资源、最能推动社会往某个方向走的这一群人。

EA与e/acc：该不该让AI慢下来？

泓君： 我注意到EA整个起源是在牛津大学，但后来发展，包括你刚提到的，今年Will MacAskill已经搬到硅谷来了，这说明了什么？

Afra： 我觉得这说明EA本身的核心主张和核心想做的事情，已经完全变成了AI安全，和之前已经不是很一样了。之前做的事情，比如预防全球疾病、提高行善效率、关注其他意义上的生存风险——到现在其实已经很难找到了。基本上所有EA的关注点和精力，都已经放在了AI安全上，或者说AI安全已经不成比例地被放大了。

泓君： 我怎么觉得EA也在追热点。

Afra：我觉得热点是被EA创造出来的。我觉得我们现在生活在一个EA在许多年前就已经规划好的现状当中。 就是EA其实在许多年前就已经说过了：我们就是要花这么多钱，去做这么多影响，我们现在就是要把影响力最大化。而我们已经活在了EA所创造的世界当中了。

泓君： 你会对外说你自己是EA吗？

Afra： 我不会，因为我真心觉得我不是。我很关心AI安全，但我不做EA，比如我不会捐钱。我觉得我自己现在做的事情，还不到我自己能去捐钱、或过度考虑“全球范围内我应该行怎样的善”的地步。我自己最感兴趣的是EA的哲学和他们的智识世界，我会很喜欢关注这些奇奇怪怪的群体。

泓君： 现在EA的主流立场是尽量减缓AI的发展，而e/acc（有效加速主义）以a16z为代表，主张加速。所以你觉得，我们应该因为AI安全问题，现在就减缓AI的发展速度吗？

Afra： 我首先想回答你刚说的e/acc和EA之间的张力。e/acc这群人其实和EA是很不对称的：e/acc其实完全没有形成一个真正的力量。 所谓e/acc那群人认为自己是有效加速主义者，但它其实是一个没那么清晰的现象——在许多人眼里，e/acc是一个meme，是一个网上的话题标签，它不是一个真正的行动力量。而EA是一个真正的行动力量。

其次，关于AI安全这个事情——我过去开完The Curve和Progress Conference这两个会后，我自己也和OpenAI还有Anthropic的十几二十个研究员聊了天，我觉得我自己对AI安全有了许多新理解。我变得更愿意相信现在的RSI（递归自我进化）进化曲线，是一个让我觉得有点忧心忡忡的事情。

有好几个研究员都跟我说，过去一年AI的进步甚至已经超过他们自己原本的预期。 我觉得现在前沿AI的发展是一个很严重的认识论问题。所以我觉得可能现在放缓AI的发展、尤其放缓RSI的发展，可能是一件好事，就是让大家先坐下来，相互说一说：到底应该怎么办？到底发生了什么？我们能不能用人话把这些事情解释清楚？再去进行这个疯狂的AI竞赛。

以上是本期采访的第一部分，通过Afra的视角，我们了解了EA如何从一场讨论“怎样更有效地做好事”的运动，逐渐影响了今天的AI研究、资金流向，甚至政治议程。而这些思想之所以能产生今天的影响，离不开背后巨额资金的支持。这一过程中，北单赛果并未直接关联到AI安全或EA的讨论，但作为独立事件，它反映了公众对复杂议题的关注度。

本文来自微信公众号“硅谷101”，作者：硅谷101，36氪经授权发布。