[电台文稿]分享一下我的研究成果,ChatGPT的原理

最近对ChatGPT这个东西非常着迷,只要有时间我就看相关的文档,上一次对一个事情这么感兴趣,还是发现了一个叫“情色六月天”的网站,当时我学习了Python,写了个爬虫把这个网站的图片都爬了下来。

经过这些天的学习,我觉得我对ChatGPT有了一点新的认识,基本原理可能已经懂了,我也不敢说的这么绝对啊。我先来说一下我怎么学习的,大家也许知道有一个软件叫Mathmatica,这个世界上有三个数学引擎:Matlab, Mathematica, Maple,这些数学引擎有多重要呢?这么说吧,美国卡中国脖子的方法之一就是禁止中国几所高校使用某个引擎,你就没法做科研了,论文也发表不了。当然有高人建议用盗版,这种建议也不是不行,但是你发表论文以后,人家是可以来找你的。这期电台不讨论这个,我是Mathematica的盗版用户,这家公司还可以在iPad上买一个在线的Wolfram Alpha,这东西不贵,有两个版本,我只买了一个,这玩意能干啥呢?简单来说,帮你了解世界,如果我们用Google的话,可能搜到的是网友写的文章,这里面有可能有错误,如果我们用这个Wolfram Alpha来搜索的话,比如说你可以搜索中国的GDP,然后会以图表的形势列出来,你还可以研究美国人的年龄分布情况,总之呢,你可以自己去试试,基本上,与科学相关的问答,这个Wolfram Alpha都可以给你精准的答案,而不是网友没事时候写的一篇blog。

更神奇的是,Wolfram Alpha这个东西,集成了ChatGPT,当然,版本是比较低的,我用的这个版本是ChatGPT 2。之所以叫Wolfram是因为写这个的作者名字叫史蒂芬·沃尔夫勒姆,人家用自己的名字Stephen Wolfram来命名自己的软件。这个人超级牛,具体有多牛,得做好几期电台来介绍,简单来说,父母聪明且有钱,他也是聪明且有钱,不到20岁就拿完了博士,干啥啥成功,写小说写成畅销书,开公司开成世界顶级公司,年纪轻轻拿了麦克阿瑟奖,当电影编剧拍了个《降临》,结果拿了奥斯卡最佳音效剪辑奖,总之,有些人是用来仰望的。

就是这个家伙,他写了一篇博客介绍了什么是ChatGPT,ChatGPT为什么会运行。链接我放在这里https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/

我仔细阅读了这篇博客,再结合我前段时间说的那5篇论文,觉得对ChatGPT有了一点深入的理解,所以这期节目,我就讲一下我的理解。以前只读论文的时候,因为没有机器来部署ChatGPT,只能靠自己意淫一下大概的工作原理,但是有了Wolfram Alpha这个东西,咱们就可以一探究竟了。大家有兴趣可以去注册一个,免费试用一个月吧,不用交钱,先把ChatGPT了解一下再说。

缺点也有,这个ChatGPT使用的是ChatGPT2,而不是目前的4,但是4和2,我觉得是模型大小的区别,而不是原理上的区别。使用这个东西,有点类似于调试程序的单步测试。

目前ChatGPT所做的事情是:ChatGPT 一直在从根本上尝试做的是为它目前所获得的任何文本生成一个“合理的补全”,这里的“合理”是指“人们可能期望某人在看到人们的内容后写下什么,“已经在数十亿个网页上写过,等等。”

所以假设我们有这样一段文本“The best thing about AI is its ability to”。之所以用英文,是因为ChatGPT2对英文也不怎么样,更不要提中文了,所以我还是用英文,即使用英文,还是非常的不理想,毕竟这个版本确实不强。 想象一下,ChatGPT是预训练模型,也就是说已经提前把模型训练好了,放在那里,比如说已经扫描过数十亿页的文本(比如在网络上和数字化书籍中)并找到该文本的所有实例——然后在极短的时间内查看下一个单词。 ChatGPT非常 有效地做这样的事情,就是补全下一个词。 它寻找在某种意义上“意义匹配”的事物。 但最终结果是它会生成一个可能跟在后面的单词的排名列表,以及“概率”:

比如他扫描了这段话以后,会计算跟在to后面的单词,比如有learn, predict, make, understand等,并且给每个单词算一个概率,比如这个learn可能是4.5%, predict可能是3.5%……这个概率是怎么算出来的呢?这就要用到一点数学知识了。如果大家上过大学,应该知道有个东西叫条件概率,比如P(AB)=P(BA),假设A代表男人,B代表喜欢女人,那么P(AB)就代表男人喜欢女人的概率,这个概率跟喜欢女人但同时又是男人的概率是相同的。条件概率有个链式法则,比如又有一个条件C,这个条件是喜欢男人。那P(ABC)=P(CBA),ABC代表的是男人,喜欢女人又同时喜欢男人的概率,等于喜欢女人又喜欢男人同时又是男人的概率,这种人是有的,比如听我电台的西安秀儿哥,他就是bisexual。

这个链式法则可以用在前面我举例的这句话里:“The best thing about AI is its ability to”,每一个单词代表一个条件,ChatGPT就来计算下一个单词可能出现的概率是多少。当 ChatGPT 做一些事情(比如写一篇文章)时,它本质上只是一遍又一遍地问“给定目前的文本,下一个词应该是什么?”——每次都添加一个词。 (更准确地说,它是在添加一个“token”,它可能只是一个词的一部分,这就是为什么它有时可以“组成新词”的原因,比如,ChatGPT会胡编一些根本不存在的链接。)

但是,它应该选择哪个单词添加到它正在写的文章(或其他任何东西)中呢? 有人可能认为应该选择“最高排名”的单词(即分配最高“概率”的单词)。 但这就是一些神奇的地方。 因为由于某种原因 – 可能有一天我们会对此有科学风格的理解 – 如果我们总是选择最高排名的单词,我们通常会得到一个非常“平淡”的文章,看起来从不显示任何创造力(甚至有时会逐字重复,我在ChatGPT2里,碰到过好几次写着写着,就开始车轱辘话了,就好像成语接龙里的为所欲为,下一个,又是为所欲为……最后死了)。 但是,如果我们有时(随机)选择较低排名的单词,我们会得到一个“更有趣”的文章。

这个原理我觉得我可以从历史上讲通顺一点,有时候,人也是如此,你博一个很小概率的事情,确实会让人生比较有趣,比如陈胜吴广出发前,按照他老婆或者老妈的嘱托,跟着胡亥好好工作,考个公务员,那他的人生就没那么精彩了。我觉得ChatGPT也要有事没事的来选择几个概率不那么高的词语比较好。既然说到了陈胜,陈胜就是史记中的人物。打个岔,我不是也讲《史记》么,有人确实说过喜欢听我讲的《史记》,但是呢,说句实在话,中国的历史没什么好研究的,《史记》中都是一些鸟人因为某种原因飞黄腾达,比如从事一些吮痈舐痔shǔn yōng shì zhì的恶心事,最后楼塌了,不名一文。比如史记中的那个邓通,这几个成语都是因他而来。为什么叫飞黄腾达,因为邓通是黄头发,为什么黄头发就可以升官,因为汉文帝做梦的时候,梦见有个黄头发的人推了他一把,然后他就爬到了天上,于是全天下找黄头发的人,幸好那时候没有欧美人,那黄头发的可就太多了。邓通从一个船夫,仅仅因为头发黄就成了权倾一时的大官,就好像高俅仅仅因为球踢的好,就成了权倾一时的官。然后呢,汉文帝可能天天坐着,长了一个疮痔,疼啊我操。邓通一看,马上跪下,用嘴把汉文帝疮痔里的血给吸出来,这就是成语吮痈舐痔shǔn yōng shì zhì的来历。把汉文帝吸爽了,让邓通发行货币,一下子成了美联储,可以自己发行比特币,Q币了,邓通成了大汉的首富。最后的结局是不名一文,被汉景帝给干了,最后邓通饿死了,曾经的大汉首富,一文钱也拿不出来买个汉堡,不名一文。真的没什么好研究的,鲁迅说中国的历史就两个字,吃人。我如果讲史记呢,也比较黑暗一点,结果很多人不爱听,比如连伟大的文景之治,都是这么一个情况,不如多研究点ChatGPT来的过瘾,以后我还是多研究点技术。

0 0 投票数
文章评分
订阅评论
提醒

4 评论
最旧
最新 最多投票
内联反馈
查看所有评论
栋哥粉丝
11 月 前

栋哥, 为什么我上的是色情五月天, 我上的是不是盗版?

abel
回复给  栋哥粉丝
11 月 前

我看的也是五月天

懒懒龙
11 月 前

玩了,史记看样子又要无限期断更了

最后由懒懒龙编辑于11 月 前
4
0
希望看到您的想法,请您发表评论x
滚动至顶部