李星：从ChatGPT的诞生中，我们学到了什么？

CERNET网络中心副主任、清华大学教授

　　对于人工智能领域来说，ChatGPT是一个崭新的起点。虽然它给出的内容对错参半，但是它可以帮助我们拓宽思路，给予我们新的灵感。ChatGPT的成功无疑是巨大的，那么它为什么成功，我们能从中学到点什么，理解出什么，都值得进一步分析。

　　ChatGPT的理论基础与“无限猴子定理”

　　ChatGPT是一个大语言模型(Large Language Model)。一般来说，语言模型有两种，分别是next token prediction和masked language modeling。Next token prediction指单向推导，即知道最前面的话，一步步推导出后面的话，每次推导时都找最有道理的一个字，从而递归串出一整句话。另一种则是先确定开头结尾的内容，据此去推测中间的内容。

　　有一个定理叫做“无限猴子定理”，而ChatGPT可以说就是一只升级版的、讲逻辑、懂道理的猴子。

　　“无限猴子定理”认为，让一只猴子在打字机上随机地按键，当按键时间达到无穷时，猴子几乎必然能够打出任何给定的文字，比如莎士比亚的全套著作，也曾有人用电脑虚拟的猴子来模拟执行这一定理。2004年8月4日，电脑模拟的猴子在经过4.21625×10^28个猴年之后，打出了以下内容“VALENTINE.Ceasetoldor:eFLPOFRjWK78aXzVOw- m)-;8t......”而这胡乱敲打出的前十六个字母，正属于莎士比亚的剧作《维洛那二绅士》的第一行：VALENTINE: Cease to persuade, my loving Proteus.

　　如果说猴子的选择来自于纯粹的巧合、运气与概率，那么ChatGPT的选择则是基于模型运算，把大概率有用的字词留下，无用的字词撇去，从而得到一句符合人类逻辑的话。

　　没有试错就没有ChatGPT

　　人工智能的发展历程大概可分为三个阶段。1950年图灵最早提出了人工智能的概念，他在论文中直截了当地提问，“机器是否可能具有人类智能?”开创了人工智能领域的先河。

　　1997年，IBM的超级计算机“深蓝”(Deep Blue)以2胜1负3平的成绩战胜了当时世界排名第一的国际象棋大师加里·卡斯帕罗夫，一时间轰动全球。但是，“深蓝”还算不上足够智能，因为它的算法核心是暴力搜索，换言之，它每走一步，都是在穷举后续所有可能的情况下再做出决策。再后来，机器学习算法如雨后春笋般涌现，包括线性回归法、逻辑回归法、决策树法、随机森林法、最近邻居法、贝叶斯法、支持向量机法、 k 平均法、强化学习法等，每一个新算法都是对旧算法的改进与提升。