[电台文稿]香农同时代的”竞争对手“以及最经典的论文

香农有多厉害,就不用再多做介绍了,上一期电台里我已经对其进行了大量的彩虹屁吹捧。但是我们也要尊重事实,在科学领域没有人是可以超越同时代的,在政治学领域则不同,大量的政治家是拖时代的后腿,都快拖到时代的大腿根部了。领先世界100年的政治家有,落后世界100年的政治家也不在少数,在这里我就不举例了,毕竟,我想做的是一个与编程相关的电台。但是在科学家这个领域,领先的没这么多,落后的也没有这么多。

对香农来说,同时代的科学家基本上都已经开始觉悟了,在上个世界建立了三个分支科学,分别是信息论,控制论与系统论,这三个学科之间是相互重叠的。这几门学科,计算机系或者通信系的学生或多或少的都有接触,当然了,后来又有什么耗散结构论都加了进来,但那已经是后话了。

与香农同时代的科学家中,在信息这一块相竞争的有维纳,图灵,冯诺伊曼,卡尔曼等人,这些人随便一个拿出来,都有与香农同样精彩的故事,我先挖个坑,如果想起来的话,就填一下,讲一下这几个人的故事,但是这一期,就不展开了,只讲一个与香农最不对付的人:维纳。

有诸葛亮就有周瑜,有牛顿就有虎克与莱布尼兹,有C罗就有梅西,有孙中山就一定要有袁世凯,有南韩就要有北韩,有东朝鲜就要有西朝鲜……维纳认为,他的工作与香农是重合的,再加上维纳年长香农20多岁,是香农的老师。

香农的论文发表以后,实际上并没有马上引起轰动,因为他的论文是在贝尔实验室内部发表的,再加上写的实在是太难了,发表的第一年根本没有引起轰动。于是上一期电台我说的那个Warren Weaver觉得这篇论文竟然没有人读,我来改写一下,写个通俗版本的,于是又重新发表了一次。这一次有没有引起轰动呢?现实是,仍旧没有,可能能读懂的人多了不少,但是仍旧没有太多人读这篇论文。后来香农的好友John Robinson Pierce在“Symbols, Signals, and Noise”这本书中又对香农的概念作了通俗的介绍,如果大家真的想看《通信的数学原理》这篇论文的话,可以找这本书来读一下。这个John Robinson Pierce也是个奇人,又懂科学,又会写小说,还会玩音乐。如果大家对这个家伙不熟悉的话,至少熟悉他说的几句话,其中一句叫“大自然讨厌真空管”,于是他负责贝尔实验室的晶体管团队,造出了第一个晶体管。还有一句叫做:经过了多年疯狂的发展,计算机终于处于起步阶段了。与这句话同样出名的孪生句子应该是:经过多年的发展,中国处于社会主义初级阶段,这句话大家应该耳熟能详。

香农的论文还引起了一个人的注意,那就是他的老师维纳。维纳认为香农不过是剽窃他控制论的理念,微创新了一下,就发表了这样一篇论文,火冒三千丈。于是,他就火力全开,怼起了自己的学生。这意外么?一点也不意外,因为维纳是一个非常非常严重的抑郁症患者,或者还有其它什么心理疾病,家庭生活非常的不幸福,这种不幸福,不仅仅导致了他自己的悲剧,也导致了他学生的悲剧。

先说他的悲剧吧,维纳在年轻的时候就非常非常的聪明,从小就是媒体上“别人家的孩子”,他10岁的时候就已经发表论文了,并且不是别人代笔的论文,然后上媒体,上哈佛……这都不提了。于是在他情窦初开的年龄,他疯狂的追求了两个女生,两个女生可能自认为配不上他,说维纳是个好人,以后还会碰到更好的人,来,好人卡一张,你随身带着,能辟邪。这是维纳最受打击事情之一吧,可能。在这个时候,维纳的父母出现了,于是,他们给维纳找了一个老婆,维纳刚追了两个都没追上,现在父母给找了一个,名字叫玛格丽特·恩格曼,虽然不是那么中意,但是又不是不能用,就结婚了。结婚以后,控制学之父遇到了控制学之母。

控制学之母开始控制维纳,别看维纳是个科学家,但是在控制这件事情上,被他老婆那是控的死死的。他老婆不但控制他与女性的交流,也许是正常交流,还要控制他与男人的交流,到后来控制他与学生的交流,直接把维纳给搞的成天疯疯癫癫的。传闻说,只要维纳跟哪个伙伴走的比较近,他老婆就去跟那个伙伴去调情,搞的维纳只好远离那个同伴。大家应该知道前两年比较火,但是这两年又比较冷的人工智能吧,其中有个比较火爆的流派叫“人工神经元”,这个流派有个凄惨的开始,想起来就让人心碎。维纳召了两个学生,一个叫麦卡洛克,一个叫皮茨,这师徒三个,组成了人工智能的铁三角。可惜的是,他们之间纯洁的师徒关系,如同西游记中的师徒关系一样纯洁,都是男的,再说维纳又不是图灵,你说维纳的老婆是纠结个啥?有什么好纠结的?年龄差20多岁!

但是控制学之母觉得不行,这时候,她和维纳已经有了一个女儿,自己去勾引相差20多岁的小伙子是不行了,那就让女儿上吧。女儿到底有没有那啥,我当时不在场,所以我也不清楚。结果呢,这件事情导致皮茨死于酒精中毒,麦卡洛克从此离开了学术界。其它的学生一看这师娘,都不敢再找维纳当老师了。哎,外国人啊,如果是我,我就是让维纳当我老师,为了学术,我宁愿献身师娘!这件事直接让“人工神经元流派”沉寂了多年。其中有个年轻的学生叫麦卡锡的,他也退出了控制论的研究领域。同时退出的还有维纳的另一个学生叫塞尔佛里奇,他经常被称为机器学习之父,和麦卡锡是好朋友,一起搞人工智能,但是不敢再回去找维纳了,师娘太猛了!哎,我怎么就碰不上这样的师娘呢?

总体来说,维纳这个人,人际关系非常的不好,但是他又同时有另一面,那就是不畏强权。他曾经在上世纪40年代来中国大陆的清华大学任教,当时中国有留学生,有一个叫李郁荣的人,去美国学习,认识了维纳,后来李郁荣回到清华当老师,他请了维纳来当老师。后来又想请冯诺伊曼来当老师,但是中日战争爆发了,李郁荣后来又去了美国。去了美国后,李郁荣的徒弟中出了一个牛人,就是现在Bose音响公司的创始人。在上世纪40年代,不少著名的科学家都曾经来中国当过老师,因为蒋委员长与美国关系比较好,那时候学术的氛围还是很OK的,包括前面说的卡尔曼,也曾经是中华民国人民的老朋友。可以说没有他,登月计划根本就没办法,他曾经问过记者,你知道为什么苏联上不了月球么?记者懵了,他自问自答的说,因为苏联人不懂卡尔曼滤波。卡尔曼滤波是什么?简单来说就是线性无偏极小误差方差的递推算法,当然了,听众不必知道,因为就算知道了,我不是还一样家庭不幸福,生活很窘迫,开出租车为生,我可以骄傲的说,我是我这个城市里唯一一下懂得卡尔曼滤波算法的出租车司机。如果有一天你坐上了我的出租车,我们可以坐在夜色的马路边,看着城市的灯火,讨论一下这个公式,咱们可以从最小二乘法开始,谈到线性代数的向量与矩阵,再结合概率中的期望与方差,最后推出卡尔曼滤波算法。卡尔曼还有个性格就是,不出席他自己的颁奖典礼,比如什么院士啥的,他都一概不去。

维纳对落后国家是一张菩萨面孔,但是对美国,日本等强大国家,那就是另一副面孔了。这哥们反战,当二战期间,美国需要科学家的时候,也请他参与火炮的自动控制系统,这哥们直接拒绝了,于是后来没什么好果子吃。他的下场比较惨,去欧洲的时候,从楼梯上摔下来,就死了。死了之后,还被人诬陷说他就是为了去游说诺贝尔奖委员会,想拿个诺奖,这个是不是真的,不好说,但是与他共同合作过的人中,已经有四位获奖了,他肯定也想要一个奖,但是,命运就是这样让人唏嘘。

突然觉得,开启信息时代的这四个巨头,最后的命运好像都不是很好。维纳是摔倒后猝死的,图灵是自己吃了毒苹果自杀的,冯诺伊曼是参与核弹研究,最后得了骨癌,死的时候太过痛苦,直接把他老婆和弟弟吓的写遗嘱说,如果得了癌症,千万不要抢救。还有就是本期电台的主角香农了,他是得了老年痴呆症,这么聪明的大脑,最后竟然无法记起自己是谁了。生活对人可真是残酷啊。

香农的论文,我觉得当时的人也读不懂,甚至写了被改写了也不太懂,如果让我讲的话,估计也够呛。说实在的,我会做题,比如算香农极限什么的,但是想理解香农定理,需要微积分的知识,我觉得大部分人,即使上过大学,现在给个微积分也搞不定了,所以,我只讲一点皮毛吧。这篇论文里最重要的知识点之一,也是香农引入的一个新概念,这个概念叫“信息熵”。这个概念是冯诺伊曼让香农引入的,因为一来香农的公式与热力学的熵很类似,二来这个是新的概念,解释权牢牢的掌握在自己的手中,别人没法质疑这一点。于是香农听从了老冯的建议,用了熵这个概念。

熵这个汉字也是生造出来的,著名的物理学学家胡刚复在普朗克访华期间,担任其翻译,于是就翻译了这个字。再说一句,民国时期,中美的关系好的很,什么样的科学家都会来中国一下,可能大家想不到吧,爱因斯坦也来过,当然了,爱因斯坦对中国人的评价非常差,他认为中国人虽然很勤劳,但是很笨,也不讲卫生。我觉得还算是公允吧。现在的中国人也非常勤劳,996也只有中国才有,用王小波的话说,中国人的勤劳是那种要取代驴的勤劳,他去荷兰后感慨,要是中国人来治理荷兰,那肯定是用独轮车推粪上山的方法来干活,一头驴一天吃2毛钱的草,但是中国人不舍得花这2毛钱,就干出只有驴才能干的活来,然后取代驴的地位。再说一下胡刚复,他是哈佛大学的博士,他有个哥哥叫胡敦复,在建国前,他就跟胡刚复说,润吧,如果现在不润,以后就没机会了。胡刚复不听兄长的,执意要留下建设新中国,最终跟其它几个最牛的物理学家的命运大同小异,包括叶企孙,吴有训等等,挨了一轮又一轮的批判,最终给整死了,当然,结局是美好的,因为死后平反了。他的哥哥则活了92岁,是华盛顿大学的教授。

香农的这篇论文有什么用呢?我举个例子吧,听我电台的人,总有一些人评价:废话连篇,我想听干货。这些人只会这样说一句,但是,他没办法定量的衡量,我做的电台是废话连篇,但是废话到什么程度?由于他不是香农,所以他只能说一个大概,但是他没有办法定量的说明我的电台废话到什么程度。香农可以,他引入了信息熵这个概念,不但可以证明我说的是废话,还能证明废话到什么程度。这就是人家的高明之处,可以量化信息的有用程度。

我用信息熵来算一下什么是废话,比如,我在电台里讲了一句“吾皇万岁万岁万万岁”,这句话可能皇帝听了很开心,但是从信息论上来看,没什么鸟用,谁都知道任何人不能活一万岁,所以这句话的信息熵就是0,完全是一句废话。这句话带给世界的信息量就是0比特。

比如再说一句信息量不是0比特的,长期听我电台的应该知道我有个偶像叫红薯,我可以说一句话:红薯喜欢妇女。这句话是有一定信息量的,因为大家可以推测出来,能叫红薯这么色情的名字的,这么有暗示意味的,基本都是男的,所以男的喜欢妇女,也比较正常,虽然也有男的喜欢男的,或者叫红薯这个ID的是女的,都有一定的可能性。但是我说红薯喜欢妇女,就消除了很多的可能性。我可以下个定理,只要越能消除可能性的,信息熵就越大,并且可以用公式计算出来,如果你想知道如何计算,请自己去找公式,公式不难,高中知识就能推导出来,但是呢,就算不难,也只有香农想出来了,这就是人家的厉害之处。

信息熵可以量化消息的信息量。比如,我曾经犯过一个错误,有一个ID叫傻牛的听众加我好友,一听傻牛,那肯定是男的吧,我假设一种情况,如果他发了一句:拍个照片让我看看你长的怎么样?因为我经常在网上露脸拍视频,于是我自己试图提高这句话的信息熵,以消除其不确定性。我当时觉得,这肯定是个男的,并且他要一张照片看看我长的怎么样,肯定他是想知道我的长短,于是我就拍了一张照片,然后再回复的时候,他已经把我拉黑了。显然,我计算错了这句话的信息熵,从而导致失去了一个听众。

信息是一种选择,风声雨声读书声,声声入耳,但是你可以选择听风声,选择听雨声,选择听读书声,甚至可以选择听隔壁发出的奇怪声音,这是你的选择,从数学上来说,这些信息都传送过来了,是一样的。

信息熵是与一条消息的不确定程度相关的,如果你说一句话,不能消除其不确定性,那么,就越废话。举个极端的例子,你每次都能预测准确下周的彩票号码,那你的信息熵就爆表了,你消除了彩票所有的不确定性,你比香农厉害,只有彩票中心的领导才能掌握这种逆天的技能。

说点具体应用吧,信息熵在信号传输中用到了,比如你丢了一些信息,但是丢多少还能让通信可信?比如压缩算法也可以用到,压缩到什么程度还能还原信息?

在论文中还提到了香农极限,用来衡量特定噪声水平的信道最大理论信息传输速率,这个也是个公式。但是香农也承认,他也不知道如何逼近这个极限。于是,这给了不少厂家宣传的机会,既然你不会,那我肯定就会了!于是欧美一些国家的公司只敢宣传自己的芯片,比如NOKIA的PSE-3已经接近香农极限了,但是,在东方的龙国,不少公司已经宣传突破了香农极限,香农极限已经被突破了,让人不禁觉得,后生可畏啊!毕竟靠什么超光速的量子计算机都能做出来,突破个香农极限,也不是不可以吧!我也不懂,怎么超光速,是不是可以让一个以光速运行的手电筒照出一束光,那就是2倍光速了?希望听众能给我解答一下吧。

5 2 投票数
文章评分
订阅评论
提醒

1 评论
最旧
最新 最多投票
内联反馈
查看所有评论
kaka
18 天 前

一个以光速运行的手电筒照出一束光,速度当然是2倍光速,小学生都会(手动狗头😜)

1
0
希望看到您的想法,请您发表评论x