美东时间12月18日周一,OpenAI发布了长达27页的安全指引,旨在“跟踪、评估、预测和防范AI模型带来灾难性风险”。这个名为“准备框架”的指引提出,即使公司领导层、即CEO或领导层指定的人认为将发布的AI模型是安全的,公司董事会也可以选择推迟发布该模型。
在发布这些指导方针之前,OpenAI经历了一段动荡时期,CEO山姆·阿尔特曼曾被董事会短暂罢免,这让董事和公司高管之间的权力平衡成为人们关注的焦点。此次发布的指引意味着OpenAI决定赋予董事会在安全监管方面更高的权力,这也给在“宫斗”中获胜的阿尔特曼戴上了“紧箍咒”。
自从OpenAI一年前推出ChatGPT以来,人工智能的潜在危险一直是人工智能研究人员和公众最关心的问题。OpenAI最近宣布的“准备”团队表示,将反复评估OpenAI最先进、尚未发布的AI模型,并根据不同类型的感知风险,将它们评为四个等级,从低到高依次是“低”“中”“高”“严重”。根据新的指导方针,OpenAI将只能推出评级为“中”及以下的AI模型;只能开发“高”及以下的模型。如果不能将风险降低到严重以下级别,公司将停止开发模型。
今年10月,OpenAI成立了“准备”团队,使其成为监督这家初创公司人工智能安全的三个独立团队之一。除了“准备”团队,OpenAI还有“安全系统”团队,专注于减轻和解决GPT-4等当前的产品带来的风险,以及“超级对齐”团队,专注于未来可能存在的极其强大的人工智能系统。
27页的安全指引来了!OpenAI新规:董事会有权阻止新AI模型发布。