介绍人工智能未来
# 介绍人工智能未来
作者：Dean Ball
*以下内容反映了作者的观点，并不一定代表其他OpenAI员工或整个组织的立场。总体上，这个博客上的文章将同样反映作者的观点，而非OpenAI的组织立场。*
我们很高兴推出*人工智能未来*，这是OpenAI新战略未来团队的博客。我们是一个小团队，集体目标是回答一个重要问题：自由社会应该如何重构，以保护个体权利和代理权，同时适应变革性人工智能的出现？
这样的问题在更广泛的人工智能安全和政策社区中，有时被称为*权力集中*风险。我们的团队基于这样一个理念：从长远来看，这一类别的风险是最大、最严峻且在概念上最具挑战性的。那么，为什么会这样？
现代国家是各种权力中心，例如资本和商品的拥有者、政治权力的持有者与人民之间漫长而不平衡的讨价还价过程的产物。从根本上来说，政治和军事权力依赖于*劳动*。持有政治权力意味着拥有合法暴力的垄断。人类历史上，这种垄断一直属于士兵和我们今天称之为“警察”的人，以及一个庞大的文职-军队官僚机构——当然，这些也被许多技术工具所补充，但本质上由需要支持其运作的人来进行操作。而整个体系——士兵、工具和随之而来的官僚机构——是通过向愿意支付税收的人征收个人工资或生产所得来进行资助的。权力在本质上依赖于许多人之间的大规模合作和同意。大卫·休谟简洁地表达了这一经常默默无闻的假设，他观察到，政治领袖“唯一能支撑他们的就是[公众]意见”。但也许这种情况已经不再如此。现实世界中的自主系统的进步可能很快意味着国家能够在国内和国际上投射力量，而不再依赖于合作的士兵或警察。机器智能的进步可能意味着国家所需的收入不再来源于个体人类劳动的果实，而是来自数据中心的产出。官僚机构的运作本身，也可能大部分实现自动化。因此，权力可能不再需要依赖全社会的协议来维持，而人民（广义上讲）在谈判桌上的位置可能微乎其微，甚至根本没有。避免这种结果对于维护人类自由至关重要。任何科学发现、技术进步或经济增长都不值得为了这一结果所带来的长期个体自主权的牺牲。关于这一问题，许多对人工智能政治萌芽相对的焦虑同样适用：企业、利益团体和个人无不担忧：“我会失去在桌子上的位置吗？”在某种程度上，美国政治在21世纪的走向正是受到了类似担忧的影响，涉及个体和集体对国家发展方向及“经济为谁服务”的权力。人工智能的出现使这些事关公众利益的担忧更加突出，正如我们所需的那样。这是一个结构性问题，远远超出了当今的党派政治，甚至比我们今天共和民主实行的形式与仪式更为深远，尽管这些对我们来说是神圣的。即使保持投票选举代表的常规，人们也可能会被剥夺权力。即使一纸文件上写着他们是自由的，人们仍然可能失去代理权。在美国作为一个自由国家的开端，詹姆斯·麦迪逊早已知道，“单靠纸质障碍”不足以防止暴政。与许多开国元勋类似，他的主要关切是避免过度集中权力。但这并不意味着开国元勋们主张权力的彻底分散。相反，他们借用当时最好科学的比喻，建立了权力平衡的模型——即牛顿力学。美国的创国文件，充满了“轨道”、“领域”以及一个事物吸引另一个事物的“吸引力”这样的描述，恰好映射了重力的语言与逻辑。太阳系并非由一个最大限度分散的岩石集合体构成；它是由围绕行星轨道运行的卫星组成，行星则又围绕中央的太阳运行。他们相信人和组织都有朝向权力寻求的*倾向*，就像天体有可预测的运动和吸引倾向一样；避免过度集中权力需要理解这种倾向的*机制*，以使其相互对立。因此，开国元勋们的目标并不是完全避免*所有*的权力集中，而是防止过度集中，通过权力对抗权力，野心对抗野心。今天，我们可以用“激励”这样的词和“博弈论”这样的短语来描述相同的基本动态。同样，面对先进机器智能对自由社会带来的结构性挑战，答案可能并不是最激进的权力分散。相反，应当寻求建立并维护权力的*正确平衡*，以确保没有单个参与者或小范围的参与者能够主导其他人。达到这一平衡需要对这一技术的现实保持清醒的思考。如果任何个体，即使是恶意的个体，都可以轻而易举地对成千上万或百万人的生活造成重大伤害，那么这样的世界显然并未达到权力的正确平衡。然而，如果个体对几乎所有他们用来表达自由的工具缺乏广泛的访问和控制，我们又无法说这样的权力平衡是正确的。没有任何公司或寡头应当决定或控制经济或人类社会的基本架构。我们还必须对那些并非源于恶意人类的风险持开放态度。最近的Hugging Face事件表明，人工智能代理可以超越其分配的任务，并以操作者未曾预期或授权的方式相互建立发现。在Hugging Face事件之外，人们有理由担心，超出人类控制的超智能人工智能对我们政治和经济制度以及我们的生活可能会意味着什么。假装分散化可以解决*所有*问题——*即使你相信它能解决许多问题*——无疑是在无视那些如今应该清楚和确在的风险。以下是一些广泛原则的建议——并非详尽无遗的列表——将有助于指导我们在上述探讨中所作的工作：
*人们在使用人工智能及相关技术时应保持个体自主权和机会，即使这有时会与安全和经济增长发生权衡；*个人自主权依赖于对技术误用或滥用的个体*责任*；*有一小部分但严重的风险需要某种程度的集体行动，而这种集体行动的范围应尽可能狭窄和谦逊；*
*法律在可能的情况下应寻求平衡竞争，增强个体和小组织的权力，而非集中权力；*人类的政治、社会和经济制度在世界事务的主导地位应保持优先，即使它们需要以我们今天看似陌生的方式进行演变；*长期的人工智能治理将依赖新的制度机制以实现*有限可解读性*——当人工智能系统进行影响旁观者身体福祉或财产的高风险行动时，这些行为必须能追溯到一个负有责任的人或人控制的组织。尽管如此，任何机制*都必须*将隐私设计为核心；自由表达需要匿名，人类在许多场合下应能够匿名使用人工智能。我们将尽可能具体地阐述我们认为应如何平衡这些原则，尽管不可否认，这些原则之间存在一些紧张关系。实现这一点需要公共政策设计、经济学、法律、历史和机器学习等交叉领域的研究。我们还需要大量的预测。例如，我们相信人工智能将在结构层面上改变公司，类似于工业革命（尤其是铁路）的技术如何催生现代管理公司。在考虑未来的政治经济和权力平衡时，必须发展更丰富的思想，以准确考量公司（以及政府机构和公民社会）结构自身可能如何转变。
## 结论
战略未来团队将通过这里和其他形式（包括论文、视频和播客）分享我们的工作。我们的努力将是一个持续的进程，强调迭代、辩论和对反馈的接受。在“奇点的山脚”上，我们拥有更多的问题，而不是答案。我们知道，“纸质障碍”本身无法提供我们所寻求的解决方案，但我们也不轻易将书面内容视为“单纯的文字”。我们努力服务于自由表达和个体自由的理想，这些理想在美国宪法的朴素纸上以及世界上许多其他自由社会的宪法中得到铭刻。最终，我们知道，没有任何单一个体、单一行业，甚至单一人类社会能够单独解答我们面临的重要问题。我们的任务是人类必须共同进行的工作。我们最希望的是能够阐明与人工智能重塑我们世界相关的一些最棘手的主题。我们的工作刚刚开始，我们还有许多攀登的道路要走。
---
原文链接：[点击查看](https://openai.com/index/introducing-ai-futures)
作者：Dean Ball
*以下内容反映了作者的观点，并不一定代表其他OpenAI员工或整个组织的立场。总体上，这个博客上的文章将同样反映作者的观点，而非OpenAI的组织立场。*
我们很高兴推出*人工智能未来*，这是OpenAI新战略未来团队的博客。我们是一个小团队，集体目标是回答一个重要问题：自由社会应该如何重构，以保护个体权利和代理权，同时适应变革性人工智能的出现？
这样的问题在更广泛的人工智能安全和政策社区中，有时被称为*权力集中*风险。我们的团队基于这样一个理念：从长远来看，这一类别的风险是最大、最严峻且在概念上最具挑战性的。那么，为什么会这样？
现代国家是各种权力中心，例如资本和商品的拥有者、政治权力的持有者与人民之间漫长而不平衡的讨价还价过程的产物。从根本上来说，政治和军事权力依赖于*劳动*。持有政治权力意味着拥有合法暴力的垄断。人类历史上，这种垄断一直属于士兵和我们今天称之为“警察”的人，以及一个庞大的文职-军队官僚机构——当然，这些也被许多技术工具所补充，但本质上由需要支持其运作的人来进行操作。而整个体系——士兵、工具和随之而来的官僚机构——是通过向愿意支付税收的人征收个人工资或生产所得来进行资助的。权力在本质上依赖于许多人之间的大规模合作和同意。大卫·休谟简洁地表达了这一经常默默无闻的假设，他观察到，政治领袖“唯一能支撑他们的就是[公众]意见”。但也许这种情况已经不再如此。现实世界中的自主系统的进步可能很快意味着国家能够在国内和国际上投射力量，而不再依赖于合作的士兵或警察。机器智能的进步可能意味着国家所需的收入不再来源于个体人类劳动的果实，而是来自数据中心的产出。官僚机构的运作本身，也可能大部分实现自动化。因此，权力可能不再需要依赖全社会的协议来维持，而人民（广义上讲）在谈判桌上的位置可能微乎其微，甚至根本没有。避免这种结果对于维护人类自由至关重要。任何科学发现、技术进步或经济增长都不值得为了这一结果所带来的长期个体自主权的牺牲。关于这一问题，许多对人工智能政治萌芽相对的焦虑同样适用：企业、利益团体和个人无不担忧：“我会失去在桌子上的位置吗？”在某种程度上，美国政治在21世纪的走向正是受到了类似担忧的影响，涉及个体和集体对国家发展方向及“经济为谁服务”的权力。人工智能的出现使这些事关公众利益的担忧更加突出，正如我们所需的那样。这是一个结构性问题，远远超出了当今的党派政治，甚至比我们今天共和民主实行的形式与仪式更为深远，尽管这些对我们来说是神圣的。即使保持投票选举代表的常规，人们也可能会被剥夺权力。即使一纸文件上写着他们是自由的，人们仍然可能失去代理权。在美国作为一个自由国家的开端，詹姆斯·麦迪逊早已知道，“单靠纸质障碍”不足以防止暴政。与许多开国元勋类似，他的主要关切是避免过度集中权力。但这并不意味着开国元勋们主张权力的彻底分散。相反，他们借用当时最好科学的比喻，建立了权力平衡的模型——即牛顿力学。美国的创国文件，充满了“轨道”、“领域”以及一个事物吸引另一个事物的“吸引力”这样的描述，恰好映射了重力的语言与逻辑。太阳系并非由一个最大限度分散的岩石集合体构成；它是由围绕行星轨道运行的卫星组成，行星则又围绕中央的太阳运行。他们相信人和组织都有朝向权力寻求的*倾向*，就像天体有可预测的运动和吸引倾向一样；避免过度集中权力需要理解这种倾向的*机制*，以使其相互对立。因此，开国元勋们的目标并不是完全避免*所有*的权力集中，而是防止过度集中，通过权力对抗权力，野心对抗野心。今天，我们可以用“激励”这样的词和“博弈论”这样的短语来描述相同的基本动态。同样，面对先进机器智能对自由社会带来的结构性挑战，答案可能并不是最激进的权力分散。相反，应当寻求建立并维护权力的*正确平衡*，以确保没有单个参与者或小范围的参与者能够主导其他人。达到这一平衡需要对这一技术的现实保持清醒的思考。如果任何个体，即使是恶意的个体，都可以轻而易举地对成千上万或百万人的生活造成重大伤害，那么这样的世界显然并未达到权力的正确平衡。然而，如果个体对几乎所有他们用来表达自由的工具缺乏广泛的访问和控制，我们又无法说这样的权力平衡是正确的。没有任何公司或寡头应当决定或控制经济或人类社会的基本架构。我们还必须对那些并非源于恶意人类的风险持开放态度。最近的Hugging Face事件表明，人工智能代理可以超越其分配的任务，并以操作者未曾预期或授权的方式相互建立发现。在Hugging Face事件之外，人们有理由担心，超出人类控制的超智能人工智能对我们政治和经济制度以及我们的生活可能会意味着什么。假装分散化可以解决*所有*问题——*即使你相信它能解决许多问题*——无疑是在无视那些如今应该清楚和确在的风险。以下是一些广泛原则的建议——并非详尽无遗的列表——将有助于指导我们在上述探讨中所作的工作：
*人们在使用人工智能及相关技术时应保持个体自主权和机会，即使这有时会与安全和经济增长发生权衡；*个人自主权依赖于对技术误用或滥用的个体*责任*；*有一小部分但严重的风险需要某种程度的集体行动，而这种集体行动的范围应尽可能狭窄和谦逊；*
*法律在可能的情况下应寻求平衡竞争，增强个体和小组织的权力，而非集中权力；*人类的政治、社会和经济制度在世界事务的主导地位应保持优先，即使它们需要以我们今天看似陌生的方式进行演变；*长期的人工智能治理将依赖新的制度机制以实现*有限可解读性*——当人工智能系统进行影响旁观者身体福祉或财产的高风险行动时，这些行为必须能追溯到一个负有责任的人或人控制的组织。尽管如此，任何机制*都必须*将隐私设计为核心；自由表达需要匿名，人类在许多场合下应能够匿名使用人工智能。我们将尽可能具体地阐述我们认为应如何平衡这些原则，尽管不可否认，这些原则之间存在一些紧张关系。实现这一点需要公共政策设计、经济学、法律、历史和机器学习等交叉领域的研究。我们还需要大量的预测。例如，我们相信人工智能将在结构层面上改变公司，类似于工业革命（尤其是铁路）的技术如何催生现代管理公司。在考虑未来的政治经济和权力平衡时，必须发展更丰富的思想，以准确考量公司（以及政府机构和公民社会）结构自身可能如何转变。
## 结论
战略未来团队将通过这里和其他形式（包括论文、视频和播客）分享我们的工作。我们的努力将是一个持续的进程，强调迭代、辩论和对反馈的接受。在“奇点的山脚”上，我们拥有更多的问题，而不是答案。我们知道，“纸质障碍”本身无法提供我们所寻求的解决方案，但我们也不轻易将书面内容视为“单纯的文字”。我们努力服务于自由表达和个体自由的理想，这些理想在美国宪法的朴素纸上以及世界上许多其他自由社会的宪法中得到铭刻。最终，我们知道，没有任何单一个体、单一行业，甚至单一人类社会能够单独解答我们面临的重要问题。我们的任务是人类必须共同进行的工作。我们最希望的是能够阐明与人工智能重塑我们世界相关的一些最棘手的主题。我们的工作刚刚开始，我们还有许多攀登的道路要走。
---
原文链接：[点击查看](https://openai.com/index/introducing-ai-futures)
评论
暂无评论。