文章来源: 财经十一人
奥尔特曼提出,可以尝试使用AI系统来监督其他AI系统,OpenAI正在进行相关的研究
萨姆·奥尔特曼(Sam Altman)是近期世界级热门科技人物。他是人工智能公司OpenAI的CEO与联合创始人,去年11月,OpenAI推出聊天机器人ChatGPT,五天后用户总数突破百万,两个月后破亿,引发全世界的AI新浪潮,目前公司最新估值接近300亿美元。
最近,奥尔特曼正在全球访问,已到访五大洲20多个国家,与当地用户、开发者、学生、政府交流,谈论AI与AI监管、安全问题。
6月10日上午,奥尔特曼在北京智源大会再谈AI安全。这是自ChatGPT发布以来,奥尔特曼首次在中国演讲。
ChatGPT让公众直观领受到AI的力量。它展现出强大的翻译、理解、推理能力,在多项考试中超过人类平均水平,在带来AGI(通用人工智能,像人一样思考、从事多种用途的人工智能)曙光的同时,也带来AI导致失业、虚假信息,甚至取代人类等问题的担忧。
奥尔特曼多次公开谈论AI安全问题。今年2月,他在一篇文章中称AGI有潜力赋能人类,也有招致社会混乱的风险,而OpenAI的使命是确保AGI造福全人类。
3月底,包括特斯拉CEO马斯克(Elon Musk)、苹果公司联合创始人史蒂夫·沃兹尼亚克(Steve Wozniak)、AI独角兽Stability CEO埃玛德·莫斯塔克(Emad Mostaque)等在内的科技领袖签署联名信,称AI技术“可能对社会造成灾难性影响”,呼吁各方立即暂停训练比GPT-4更强大的AI系统至少6个月,期间共同开发一套安全协议;若无法暂停,政府应当介入。
奥尔特曼未参与此次签名,称该信提出的方法并非最佳,缺少“我们需要暂停的技术细节”,但他承认谨慎行事、严格面对安全问题非常重要。
两个月后,他在另一封仅有22个单词的公开信上签名:“降低AI(给人类)带来灭绝的风险,应该与流行病、核战争等其他社会规模的风险一起,成为全球优先事项”。在5月中旬的参议院听证会上,奥尔特曼也敦促政府与立法机构对人工智能进行规范与监管。
在6月10日的发言中,他倡议全球各界就AI安全问题进行协作,建立互信关系与国际通行的AI安全规范,并推进AI对齐(alignment,即引导AI系统的行为,使其符合设计者的利益和预期目标)研究。
与马斯克们不同,奥尔特曼并不赞同人类应该为了避免AI的危害,而停止AI研究。相反,他提出,可以尝试使用AI系统辅助人类,监督其他AI系统,OpenAI正在进行相关的研究。而这一路径的好处是,随着AI技术的发展,监督AI的技术也在同步发展。
演讲后的问答环节,围绕AI安全以及OpenAI战略展开,提问者为智源研究院理事长张宏江。奥尔特曼认为,未来十年内,全球很可能拥有一个非常强大的AI系统,届时人类会面临很多安全问题,因此,要从现在开始准备。他透露,OpenAI近期不会研发GPT-5,并称中国有很多优秀的人才,他期待中国AI研究者们能为AI安全做出贡献。
以下为《财经十一人》翻译、整理的演讲原文及问答内容:
AI安全至关重要。
今天,我想谈谈未来。具体来说,就是AI系统的巨大发展,以及我们需要做些什么,来为AI部署到世界做好准备。
科学史告诉我们,技术进步遵循指数曲线。我们已经在农业、工业和计算革命中见证这一点。而AI带来的影响,不仅在于规模,还在于其进展的速度。它正在以极快的速度拓展人类的想象力。
想象一下未来十年,AGI最终创造的生产力体量可能超过目前最大的公司。这场AI革命,将创造共享的繁荣,并减轻每个人的生活负担。但我们必须共同管理这个过程,才能实现这个目标。
现在,我时常感激大国们。它们求同存异,即使在历史上最困难的时刻,也找到了合作的方式。过往合作的重点多为医疗和科学领域,比如消灭小儿麻痹症和天花等疾病,以及减少气候变化。
随着愈发强大的AI系统出现,全球合作的利害关系变得前所未有的重要。如果我们不够谨慎,没有建立起一个对齐的机制,AI可能会提出不靠谱的建议,进而破坏整个医疗系统。类似地,旨在优化农业实践的AI系统,如果缺乏对长期可持续性的考量,可能反而导致自然资源的耗尽、生态系统的破坏,从而影响粮食生产和环境平衡。
我希望大家都能认同,推进AGI安全是我们共同的立场。接下来,我想重点谈谈,我们可以从哪里着手。
如何保障AI安全?
第一个领域是AGI治理。AGI拥有彻底改造文明的能力,因此,有意义的国际合作非常必要。如果能实现治理上的合作,并以安全、负责的方式引导这个过程,AGI系统可以为全球经济做出无与伦比的贡献,帮助解决气候变化、卫生安全等共同挑战,每个人都可以从中获益。
我深信,这会在未来实现。作为地球上的一员,我们需要投资于AGI安全,以实现并享受这个未来。而这需要谨慎的协调。这是一项全球性的技术,轻率发展带来的事故,将影响所有人。
国际合作中,有两个关键领域最为重要。
首先,我们需要建立国际规范和标准,并注重过程的包容性。我们要为所有国家建立相同的使用AGI的防护措施;在这些措施范围内,人们也有足够的机会做出自己的选择。
其次,要建立起全球的互信,以可验证的方式,安全地建立日益强大的AI系统。我知道这并不容易。我们需要为此付出大量而持续的关注。道教说:千里之行,始于足下。我认为,最有建设性的第一步,是国际科学界、技术界展开合作。
我们应该在AGI安全领域,推动建立增加透明度和知识共享的机制。发现紧急情况的研究人员应该为了人类的利益,分享他们的发现。我们需要仔细考虑,如何在尊重和保护知识产权的同时鼓励这种做法。
更广泛地说,我们应该推动、引导AI对齐和安全研究。在OpenAI,我们为了将AI系统打造成有帮助的、安全的系统,做了技术方面的对齐研究。比如,我们会调整ChatGPT,使其不会发出暴力威胁,或帮助用户进行有害活动。
但随着我们接近AGI,任何对齐问题的潜在影响和重要性都将成倍增长。现在解决这些问题,未来灾难性结果的风险就会降到最低。
对于当前的系统,我们主要利用来自人类反馈的强化学习(RLHF)进行训练,以保证它们有益、安全。这只是多种对齐技术中的一个例子,我们也在研发新的技术方法。
GPT-4完成预训练后8个月,我们都在进行对齐、解决安全问题,然后才部署。GPT-4的对齐程度,比我们之前的模型更高。
然而,对于更高级的AI系统来说,对齐仍然是一个未解决的问题。这需要新的技术方法,以及政府更多的监督。想想未来的AGI系统,可能包含10万行的二进制代码,人类监督者很难判断,它是否在进行不当行为。
我们已经确定了一些新的研究方向,希望能够取得突破。
首先是可扩展的监督。我们可以尝试利用AI系统辅助人类,监督其他AI系统。例如,我们可以训练一个模型,来帮助人类监督员发现其它模型输出内容的缺陷。
其次是可解释性。我们需要更好地理解,模型内部发生了什么。我们最近发表了一篇论文,使用GPT-4来解释GPT-2中的神经元。还有很长的路要走,先进的机器学习技术可以进一步提高我们解释模型的能力。
最终,我们的目标是训练AI系统,来辅助对齐研究。这种方法的优势在于,它能跟随AI技术同步发展。未来,模型会变得更加智能、更加有用,也能更好地辅助我们找到更好的对齐技术。
实现AGI的好处,并减轻其风险,是我们这个时代的重要挑战之一。我看到了美国、中国以及世界各地的研究人员的巨大潜力,如果合作能够实现,我相信我们能利用AGI解决世界上最重要的问题,并显著提高人类的生活质量。
以下为智源研究院理事长张宏江与奥尔特曼的问答,Q为张宏江,A为奥尔特曼。《财经十一人》对问答内容、顺序进行了删减与调整:
Q:这次环球访问中,你获得了哪些成果?
A:我认为一个重大进展是,人们对于共同制定“安全地开发先进AI系统”的国际标准感到兴奋,我们思考在部署强大模型之前,应该进行怎样的测试。我们讨论如何构建反映全球价值观和偏好的数据库;我们还探讨了如何建立机制来分享安全性研究。
Q:我们距离AGI还有多远?
A:确切的时间很难预测。这可能很快发生,也可能很久才实现。而且,不同人对AGI的定义也不相同。但我确实认为,在未来的10年内,我们很有可能拥有非常强大的AI系统。在那样的世界中,AI安全问题迫切而重要。历史上有一些例子,新技术比人们预想的更快地彻底改变世界。因此,我呼吁国际社会立即共同努力解决这个问题。
Q:我们可以仅仅通过对齐,来解决AGI安全问题吗?
A:我认为“对齐”这个词在不同的情境中有不同的含义。我们需要解决整个挑战,即如何确保我们的AI系统安全。从传统意义上说,对齐是指让模型的行为与用户意图一致,这当然是其中的一部分。但还会涉及其他问题,比如:如何验证系统正在按照我们期望的方式运行。我们需要看到整体情况。
Q:将来,我们是否有可能需要改变整AGI模型的基础架构,以使其更安全、更容易预测?
A:无论是从功能角度还是从安全角度来看,我们都有可能需要一些不同的架构。这有助于我们解释当前的模型。如果Transformer之后,架构领域又有一次巨大的飞跃,我不会感到意外。
Q:如果我们对世界上的模型数量进行控制,比如,世界上只有三种模型,就像控制拥有核武器的国家数量一样,这会让大模型更加安全吗?
A:我认为更重要的是,我们是否能建立起一个机制,让任何强大的模型都有足够安全措施的限制?我们是否有一个框架,让任何创建足够强大模型的人都具备资源和责任,确保他们创建出安全的系统?
Q:OpenAI和AGI的下一步是什么?会有GPT-5吗?
A:我对未来的发展也非常好奇。这是我最喜欢这项工作的一点:身处研究的前沿,没有人知道未来会发生什么,这让人充满兴奋和惊喜。我们正在探索许多关于未来的可能。当然,某个时候我们会尝试制作一个GPT-5模型,但不会很快。我们还不确定具体的时间。
Q:你如何构想OpenAI的发展,是什么促使你们坚定地朝这个方向努力?是什么让你不知疲倦地推动AI安全?
A:我无法想象任何一项比安全的AGI更令人兴奋、更重要的工作。刚起步时,我们认为成功的概率非常低;但如果我们能找到构建AGI的方法,那肯定会带来深刻的变革。而实现这个目标的一部分就是确保安全性。我真心相信,这是最具变革性的事情之一。
每周五下午5:00-7:00直播: 报名链接: https://us02web.zoom.us/.../571.../WN_cuCx2zB0SgWwkcwLK1HIvA
2023股市面临巨大风险,关注“一级市场”投资机会
我们特别邀请了中国第一个私人银行(北京商业银行)的发起人 - John Wang为我们一对一解析一级市场投资机会和风险 “一级市场”投资研讨,不对公众开放,仅限“实名”认证的注册会员
加入方式: 1, 微信: Vandave 2, WhatsApp: 604-7227628 3, 视频号: 时空“资升堂”联系在线客服
风险提示及免责条款
市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。
免责声明
文章内容不代表本网站立场。 如有争议,请随时联系我们!
扫码关注我们吧
微信公众号|温渡传媒
资深媒体人|华美嘉
社群运营 · 融媒制作
公关策划 · 活动推广
商务合作:1-778-707-5568
Email:vandomediacorp@gm
ail.com
YouTuBe:https://www.youtube.com/vandomedia
Instagram:VandoMedia
Facebook:https://www.facebook.com/reneezhao716VOA
Comments