2022年,在集群式和聚变式的科技革命中,人工智能生成内容(AIGC,AIGeneratedContent)后来居上,以超出人们预期的速度成为科技革命历史的重大事件,迅速催生了全新的科技革命系统、格局和生态,进而深刻改变了思想、经济、政治和社会的演进模式。
第一,AIGC的意义是实现人工智能“内容”生成。人们主观的感觉、认知、思想、创造和表达,以及人文科学、艺术和自然科学都要以具有实质性的内容作为基础和前提。所以,没有内容就没有人类文明。进入互联网时代后,产生了所谓专业生产内容(PGC),也出现了以此作为职业获得报酬的职业生产内容(OGC)。与此同时,“用户生成内容”(UGC)的概念和技术也逐渐发展,由此形成了用户内容生态。
内容生产赋予了Web2.0的成熟和Web3.0时代的来临。相较于PGC和OGC、UGC,AIGC通过人工智能技术实现内容生成,并在生成中注入了“创作”,意味着自然智能所“独有”和“垄断”的写作、绘画、音乐、教育等创造性工作的历史走向终结。内容生成的四个阶段。
第二,AIGC的核心技术价值是实现了“自然语言”与人工智能的融合。自然语言是一个包括词法、词性、句法、语义的体系,也是不断演进的动态体系。代表AIGC最新进展的是由OpenAI公司开发的ChatGPT(GenerativePre-Training)。它完成了机器学习算法发展中,自然语言处理领域的历史性跨越,即通过大规模预训练模型,形成人工智能技术理解自然语言和文本生成能力,能完成脚本编写、文案撰写、翻译等任务。
这是人类文明史上翻天覆地的革命,开启了任何阶层、任何职业都可以以任何自然语言和人工智能交流,并且生产出从美术作品到学术论文的多样化内容产品。在这样的过程中,AIGC“异化”为一种理解、超越和生成各种自然语言文本的超级“系统”。
第三,AIGC的绝对优势是其逻辑能力。是否存在可以逐渐发展的逻辑推理能力是人工智能与生俱来的挑战。AIGC之所以迅速发展,是因为AIGC基于代码、云计算、技术操控数据、模式识别,以及通过机器对文本内容进行描述、分辨、分类和解释,实现了基于语言模型提示学习的推理,甚至是知识增强的推理,构建了坚实的“底层逻辑”。不仅如此,AIGC具备基于准确和规模化数据,形成包括学习、抉择、尝试、修正、推理,甚至根据环境反馈调整并修正自己行为的能力;它可以突破线性思维框架并实现非线性推理,也可以通过归纳、演绎、分析,实现对复杂逻辑关系的描述。可以毫不夸张地说,AIGC已经并继续改变着21世纪逻辑学的面貌。
第四,AIGC实现了机器学习的集大成。21世纪的机器学习演化到了深度学习(Deeplearning)阶段。深度学习可以更有效地利用数据特征,形成深度学习算法,解决更为复杂的场景挑战。2014年生成对抗网络(GAN)的出现,加速了深度学习在AIGC领域的应用。AIGC实现了机器学习的集大成。
第五,AIGC开创了“模型”主导内容生成的时代。人类将跑步进入传统人类内容创作和人工智能内容生成并行的时代,进而进入后者逐渐走向主导位置的时代。这意味着传统人类内容创作互动模式转换为AIGC模型互动模式。
在自然语言处理(NLP)系统中,“Transformer”是一种融入注意力机制和神经网络模型领域的主流模型和关键技术。Transformer具有将所处理的任何文字和句子“向量”或者“矢量”化,最大限度反映精准意义的能力。
总之,没有Transformer,就没有NLP的突破;没有大模型化的AIGC,ChatGPT升级就没有可能。多种重要高效Transformer的集合。
第六,AIGC开放性创造力的重要来源是扩散模型。扩散(diffusion)模型的概念最早在2015年的论文《利用非均衡热力学的深度非监督学习》(DeepUnsupervisedLearningUsingNonequilibriumThermodynamics)中被提出。2020年,论文《去噪扩散概率模型》(DenoisingDiffusionProbabilisticModels)中提出DDPM模型用于图像生成。从技术的角度来看,扩散模型是一个潜在变量(LatentVariable)模型,通过马尔可夫链(Markovchain)映射到潜在空间。
【注:马尔可夫链的命名来自俄国数学家安德雷·马尔可夫(AndreyAndreyevichMarkov,1856—1922),定义为概率论和数理统计中具有马尔可夫性质,且存在于离散的指数集和状态空间内的随机过程。马尔可夫链可能具有不可约性、常返性、周期性和遍历性。】
一般来说,AIGC因为吸纳和依赖扩散模型,而拥有开放性创造力。
2021年8月,斯坦福大学联合众多学者撰写论文将将基于Transformer架构的等模型称为“基础模型”(Foundationmodel),在翻译时也常译作大模型。Transformer推动了AI整个范式的转变。
第七,AIGC的进化是参数以几何级数扩展为基础。AIGC的训练过程,就是调整变量和优化参数的过程。所以,参数的规模是重要前提。ChatGPT聊天机器人的问世,标志着AIGC形成以Transformer为架构的大型语言模型(LargeLanguageMode,LLM)机器学习系统,通过自主地从数据中学习,在对大量的文本数据集进行训练后,可以输出复杂的、类人的的作品。
AIGC形成的学习能力决定于参数的规模。GPT-2大约有15亿