过去几周ChatGPT成为新的热点,美团联合创始人王慧文老师发出招贤榜投入中国OpenAI事业,北京迅速出台针对性政策鼓励科技龙头企业打造中国ChatGPT,香港高校命令禁止以ChatGPT辅助作业和考试作弊的行为……
更有诸多花絮为人津津乐道,ChatGPT的发起人最初是基于AI不应该为大公司垄断的出发点,创立OpenAI;OpenAI引入微软投资,设计了独特的回报机制,既保护投资人利益,又保持OpenAI独立性和长期机制……
很多立场清晰的评论人士又担心起来,我们是不是又被美国带节奏了,为什么中国人工智能行业没有率先出现这样的重大突破……
这个话题很大,我们试着从一个小视角切入,用非技术的语言,来聊聊区块链、联合学习、大模型训练和ChatGPT。
西方教育体系擅长从提出一个问题出发,抽丝剥茧拆解出解决问题的一系列具体步骤、知识和方法。我国教育体系则比较擅长提出一个概念,再层层解析这个概念的内涵和外延,继而举例说明这个概念的应用范畴,再通过练习强化。
你看,这像不像技术演进中的两种思路:前者提出一个较长远的目标,分解实现这个目标的技术关隘和关键节点,集聚资源逐一突破;后者是解读当前热点和近期趋势,选定一个技术定位,围绕这个定位验证场景、复制场景、强化练习。
两种方法各有利弊,前者显然更具有前瞻性,但风险也更高;随着我们的技术迭代加速,需要逐步从后一种模式切换到前一种模式,形成引领性的技术攻关路线。
那么,这和ChatGPT有什么关系呢?
如果我们去调研一圈国内的AI公司在大模型训练上的卡点,就会发现,实际上并非算法设计和样本量上有遥不可及的差距,而是对取得这一技术点突破所需要的资源投入没有足够的信心魄力。
真正的问题在于,SamAltman等人并没有被自身资金和资源限制,他们提出对的问题后,集聚了适合的资源(包括马斯克等一批投资人和微软这个大场景方)。并且在模型样本和训练上,OpenAI充分发挥了用户端力量,用一个直面C端的产品击穿流量,让用户愿意花钱来辅助训练。
而国内的模型训练,卡在“什么是大模型训练、如何训练、需要多少资源、投入资源的回报确定性如何”这样的概念分解困局里。这就是思维模式带来的实现架构的差别,也带来了OpenAI在“解决问题”层面的成功。
这样的例子并不是第一次发生,大家可以看看马斯克的逻辑结构,他是如何介入火箭、卫星网络、电动车、太阳能等完全不同的领域的,以及多年前Google如何用“联邦学习”调动全球用户帮他们做了哪些有趣的训练,稍微查一查资料就会发现其中的模式和方法都有迹可循。
关于思维模式和教育理念的话题,在此不作展开。但是这种协作式训练的技术架构,是非常有借鉴价值的。
在计算机相关技术出现和蓬勃发展的数十年里,我们一直在“单点计算”和“多点组网”两个维度上不断迭代。
ChatGPT和第三代区块链恰恰是这两个维度的发展里程碑。可以说,ChatGPT之于人工智能的意义,相当于蒸汽机之于工业革命,而第三代区块链之于互联网络的意义,亦可同等比拟。
01
人脑的有限性
从本源来说,人类一直在试图用科技创新来对抗自身的三种有限性:
奥林匹克竞赛是对人类突破身体能力极限的追求的缩影,人类还不断通过生物技术、机械动力技术、人工智能技术发展代替人类,突破自身物理极限。
人类生命时间的有限性体现为两个方面:
认知方面,人脑的“单机”算力其实不差的,相比超级计算机(例如我国的神威太湖之光:93.01PFLOPS),一个人的大脑计算能力约是超级计算机的1/46,在2petaFLOPS左右;而且在能耗方面,人脑还具有明显优势,一台超级计算机的耗能足够供给一整栋大楼,而一个人脑的耗能,约等于点亮一个灯泡。
人脑的短板在于存储。如果研究人类存储的需求,我们会发现类似的时帧估计。某一领域的专家掌握的知识块的数量大约是10^5个。这些块包括模式(如知识面)以及具体的知识。
在《人脑能承载多少知识》的分析中,有一些数量级可以参考——
医学专家系统的开发表明,人类在某一领域可以掌握大约10万个概念。如果我们估计该“专业”知识只占人的知识的1%,那么人的整体知识块大约是7个。
在存储类似知识块的系统中,不管是基于规则的专家系统,还是自组织的模式识别系统,其中的每个知识块都需要10^6比特,这样实现人的功能存储需要10^13(10万亿)比特。
为了存储连接模式和神经递质的浓度,我们可以估计每个神经连接约需要10^4比特。因此存储10^14个神经连接就需要10^18比特。
基于以上分析,目前模拟人脑功能的硬件约合1000美元。具有复制功能的软件还将需要大约10年或更长的时间才会出现。不过,硬件的性价比、能力以及速度的指数级增长将在此期间一直延续,所以到2030年的时候,价值1000美元的计算机将会达到一个村庄的人(约1000人)的脑力。
而到2050年时,1000美元计算机将超过地球上所有人类大脑的处理能力,当然,也包括那些仍然只应用生物神经元的大脑。
人的认知和体验的