[电台文稿]分享一下我的研究成果，ChatGPT的原理

最近对ChatGPT这个东西非常着迷，只要有时间我就看相关的文档，上一次对一个事情这么感兴趣，还是发现了一个叫“情色六月天”的网站，当时我学习了Python，写了个爬虫把这个网站的图片都爬了下来。

经过这些天的学习，我觉得我对ChatGPT有了一点新的认识，基本原理可能已经懂了，我也不敢说的这么绝对啊。我先来说一下我怎么学习的，大家也许知道有一个软件叫Mathmatica，这个世界上有三个数学引擎：Matlab, Mathematica, Maple，这些数学引擎有多重要呢？这么说吧，美国卡中国脖子的方法之一就是禁止中国几所高校使用某个引擎，你就没法做科研了，论文也发表不了。当然有高人建议用盗版，这种建议也不是不行，但是你发表论文以后，人家是可以来找你的。这期电台不讨论这个，我是Mathematica的盗版用户，这家公司还可以在iPad上买一个在线的Wolfram Alpha，这东西不贵，有两个版本，我只买了一个，这玩意能干啥呢？简单来说，帮你了解世界，如果我们用Google的话，可能搜到的是网友写的文章，这里面有可能有错误，如果我们用这个Wolfram Alpha来搜索的话，比如说你可以搜索中国的GDP，然后会以图表的形势列出来，你还可以研究美国人的年龄分布情况，总之呢，你可以自己去试试，基本上，与科学相关的问答，这个Wolfram Alpha都可以给你精准的答案，而不是网友没事时候写的一篇blog。

更神奇的是，Wolfram Alpha这个东西，集成了ChatGPT，当然，版本是比较低的，我用的这个版本是ChatGPT 2。之所以叫Wolfram是因为写这个的作者名字叫史蒂芬·沃尔夫勒姆，人家用自己的名字Stephen Wolfram来命名自己的软件。这个人超级牛，具体有多牛，得做好几期电台来介绍，简单来说，父母聪明且有钱，他也是聪明且有钱，不到20岁就拿完了博士，干啥啥成功，写小说写成畅销书，开公司开成世界顶级公司，年纪轻轻拿了麦克阿瑟奖，当电影编剧拍了个《降临》，结果拿了奥斯卡最佳音效剪辑奖，总之，有些人是用来仰望的。

就是这个家伙，他写了一篇博客介绍了什么是ChatGPT，ChatGPT为什么会运行。链接我放在这里https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/

我仔细阅读了这篇博客，再结合我前段时间说的那5篇论文，觉得对ChatGPT有了一点深入的理解，所以这期节目，我就讲一下我的理解。以前只读论文的时候，因为没有机器来部署ChatGPT，只能靠自己意淫一下大概的工作原理，但是有了Wolfram Alpha这个东西，咱们就可以一探究竟了。大家有兴趣可以去注册一个，免费试用一个月吧，不用交钱，先把ChatGPT了解一下再说。

缺点也有，这个ChatGPT使用的是ChatGPT2，而不是目前的4，但是4和2，我觉得是模型大小的区别，而不是原理上的区别。使用这个东西，有点类似于调试程序的单步测试。

目前ChatGPT所做的事情是：ChatGPT 一直在从根本上尝试做的是为它目前所获得的任何文本生成一个“合理的补全”，这里的“合理”是指“人们可能期望某人在看到人们的内容后写下什么，“已经在数十亿个网页上写过，等等。”

所以假设我们有这样一段文本“The best thing about AI is its ability to”。之所以用英文，是因为ChatGPT2对英文也不怎么样，更不要提中文了，所以我还是用英文，即使用英文，还是非常的不理想，毕竟这个版本确实不强。 想象一下，ChatGPT是预训练模型，也就是说已经提前把模型训练好了，放在那里，比如说已经扫描过数十亿页的文本（比如在网络上和数字化书籍中）并找到该文本的所有实例——然后在极短的时间内查看下一个单词。 ChatGPT非常 有效地做这样的事情，就是补全下一个词。 它寻找在某种意义上“意义匹配”的事物。 但最终结果是它会生成一个可能跟在后面的单词的排名列表，以及“概率”：

比如他扫描了这段话以后，会计算跟在to后面的单词，比如有learn, predict, make, understand等，并且给每个单词算一个概率，比如这个learn可能是4.5%, predict可能是3.5%……这个概率是怎么算出来的呢？这就要用到一点数学知识了。如果大家上过大学，应该知道有个东西叫条件概率，比如P（AB）=P（BA），假设A代表男人，B代表喜欢女人，那么P（AB）就代表男人喜欢女人的概率，这个概率跟喜欢女人但同时又是男人的概率是相同的。条件概率有个链式法则，比如又有一个条件C，这个条件是喜欢男人。那P（ABC）=P（CBA），ABC代表的是男人，喜欢女人又同时喜欢男人的概率，等于喜欢女人又喜欢男人同时又是男人的概率，这种人是有的，比如听我电台的西安秀儿哥，他就是bisexual。

这个链式法则可以用在前面我举例的这句话里：“The best thing about AI is its ability to”，每一个单词代表一个条件，ChatGPT就来计算下一个单词可能出现的概率是多少。当 ChatGPT 做一些事情（比如写一篇文章）时，它本质上只是一遍又一遍地问“给定目前的文本，下一个词应该是什么？”——每次都添加一个词。 （更准确地说，它是在添加一个“token”，它可能只是一个词的一部分，这就是为什么它有时可以“组成新词”的原因，比如，ChatGPT会胡编一些根本不存在的链接。）

但是，它应该选择哪个单词添加到它正在写的文章（或其他任何东西）中呢？ 有人可能认为应该选择“最高排名”的单词（即分配最高“概率”的单词）。 但这就是一些神奇的地方。 因为由于某种原因 – 可能有一天我们会对此有科学风格的理解 – 如果我们总是选择最高排名的单词，我们通常会得到一个非常“平淡”的文章，看起来从不显示任何创造力（甚至有时会逐字重复，我在ChatGPT2里，碰到过好几次写着写着，就开始车轱辘话了，就好像成语接龙里的为所欲为，下一个，又是为所欲为……最后死了）。 但是，如果我们有时（随机）选择较低排名的单词，我们会得到一个“更有趣”的文章。

这个原理我觉得我可以从历史上讲通顺一点，有时候，人也是如此，你博一个很小概率的事情，确实会让人生比较有趣，比如陈胜吴广出发前，按照他老婆或者老妈的嘱托，跟着胡亥好好工作，考个公务员，那他的人生就没那么精彩了。我觉得ChatGPT也要有事没事的来选择几个概率不那么高的词语比较好。既然说到了陈胜，陈胜就是史记中的人物。打个岔，我不是也讲《史记》么，有人确实说过喜欢听我讲的《史记》，但是呢，说句实在话，中国的历史没什么好研究的，《史记》中都是一些鸟人因为某种原因飞黄腾达，比如从事一些吮痈舐痔shǔn yōng shì zhì的恶心事，最后楼塌了，不名一文。比如史记中的那个邓通，这几个成语都是因他而来。为什么叫飞黄腾达，因为邓通是黄头发，为什么黄头发就可以升官，因为汉文帝做梦的时候，梦见有个黄头发的人推了他一把，然后他就爬到了天上，于是全天下找黄头发的人，幸好那时候没有欧美人，那黄头发的可就太多了。邓通从一个船夫，仅仅因为头发黄就成了权倾一时的大官，就好像高俅仅仅因为球踢的好，就成了权倾一时的官。然后呢，汉文帝可能天天坐着，长了一个疮痔，疼啊我操。邓通一看，马上跪下，用嘴把汉文帝疮痔里的血给吸出来，这就是成语吮痈舐痔shǔn yōng shì zhì的来历。把汉文帝吸爽了，让邓通发行货币，一下子成了美联储，可以自己发行比特币，Q币了，邓通成了大汉的首富。最后的结局是不名一文，被汉景帝给干了，最后邓通饿死了，曾经的大汉首富，一文钱也拿不出来买个汉堡，不名一文。真的没什么好研究的，鲁迅说中国的历史就两个字，吃人。我如果讲史记呢，也比较黑暗一点，结果很多人不爱听，比如连伟大的文景之治，都是这么一个情况，不如多研究点ChatGPT来的过瘾，以后我还是多研究点技术。