这篇文章本来是写在上一篇的结尾的，因为实在是太长了，单独拆分了出来。

我们再讨论一下transformer模型的能力极限吧，chatGPT刚出来的时候，很多人都感觉到非常的惊艳，似乎聊天机器人很可能实现类似人类水平的智能，整个世界都似乎被震撼到了，引起了AI行业的狂热。

然而这只是表象，我们这里仔细的观察讨论一下transformer最核心的原理和技术，然后再对他的能力极限的做出一个判断和预测。

依照技术的进化路径，我们先从词向量和RNN来说起。

什么是词向量或者说词嵌入呢？它的英文叫word embedding，原理就是用若干个数字来表示一个字或者词。比如道这个字，我们用256个数字来表示它，比如（0.2,0.6,0.8,.....,0.7），为什么要这样干呢？因为用一串数字来表示它的话，就可以表达很多细微的概念和意思，而且这些数字可以进行一些运算操作，比如king在英语里表示国王，women表示女人，man表示男人，那么我们进行一些数学运算，比如king减去man再加上women会得到什么结果呢？没错，跟我们的直觉是一样的，得到的结果就是queen，也就是女王。这是nlp领域里边非常著名的一个例子，一般讲词向量都会用这个来举例。

实际上词向量的核心思想就在于，每一个词都用若干个更基础的原始概念来表示，我们看到前面表示道字的256个数字，其实就是底层的256个概念每一个...

这两天有点感冒，跟去年疫情放开后的新冠感染很类似，应该是流感或者再次感染吧。

从昨天开始，喉咙就一直很痛，晚上开始流鼻涕，睡觉的时候发烧头疼，晚上来回醒了好几次浑身都是汗，第一次醒来还做了个噩梦。

今天起来头疼浑身酸痛无力，什么都干不进去，于是我就在床上躺了一天，一直在思考睡眠和做梦的一些问题，这篇文章就是这些思考的一个简单记录。

先看看睡眠，生物界的大部分动物都进化出来了这种机制。他的根本原因应该起源于我们的眼睛感光机制和地球形成的白天和黑夜，等晚上看不见东西的时候，整个生物世界几乎都平静了下来，这时候机体就可以进入某种修复状态。如果把我们的身体看成一个精巧的机器人的话，那么晚上的时段就是在维修保养。

简单的维修保养只要躺在地上静坐不动就可以了，我们为什么要失去自我意识，进入所谓的睡眠这种状态呢？实际上失去意识对很多动物来说是很危险的，因为在这个过程中他们很可能遭到其他捕食性动物的攻击。

这很可能是我们大脑的运行机制导致的。假设我们大脑的神经元之间的突触间的递质不停的进行传递，以及神经元上电位的流动变化的一个复杂网络，形成了某种电和化学反应的一个复杂的过程，我们把这个过程产生的不停的思考的自我，认为是意识的起源的话，那么这个复杂的电和生物化学反应过程很有可能产生某种杂质或者说反应输出的垃圾副产物。

这些副产物很有可能无法在这个过程进行的当中清除掉，必须关掉整个反应过程...

一直想在手机上有一个很方便的通过语音输入，写写东西的APP。可以在外边走路散步时记录一些想法。本来想自己写一个，因为时间精力不够，所以只是个想法。可能是觉得不好把这个东西，做成个产品盈利吧。自己用的话，又不能一两天内就能做完。所以就一直搁置着。后来发现了一个叫xxxx的app，大部分都能满足需求。没有了在电脑前坐着对颈椎的损害，又能很方便的记录一下走路散步时的想法，避免过段时间忘掉。这篇文章就是这么写下来的，记录之后又在电脑前简单的校验编辑了一下错别字和不通顺的地方，效率能提升不少。

有一个很有趣的问题。首先我们看看人类创造的知识和物品，以及如何存储它们。
我们创造的不管是科学还是艺术，通过某种方式存储下来。比如说一本书。我们把文字写到书上，如果这本书不停的磨损，直到最后，无法阅读。我们称为这种介质，存储介质的损坏。然而书的内容本身，并不会因为介质的损坏而丢失。如果我们在这本书损毁之前重新印刷一本。那这本书依然是存在的，我们依然可以传到后世。
这本书的本质是它的内容里边的语言。而不是外在的存储介质。也就是说我们称为纸张书本的那种东西。
比如我们制造了一个马车，这个马车也会损毁。但是呢，我们可以通过把这个马车的设计图纸，写在一本书里。这样我们只要有能读懂这本书的人的存在，就可以重新复制并生产出新的马车来。我们只能说我们间接的存储了马车这个东西吧。可是如果我们能生产一种自动组装并存储...

我们现在处在一个信息交流成本极其廉价的时代。

技术的进步使得我们现在更加容易便捷的获得信息，但也带来的大量的冗余噪音，让我们无法分辨的清楚那些信息是重要的，那些是不必要的。

通信，广义讲，交流沟通，一直是人类文明重要的发展部分。比起其他动物人类进化出了语言。借由语言使得智慧程度加快。语言沟通使得可以从其他同类获取经验，足够的经验可以避免犯错误，这使得智人从生物界脱颖而出。人类利用智慧和经验构造了陷阱长矛弓箭，那些老虎狮子虽然个体攻击力强，却被人类大量屠杀。

也许智慧就是足够的经验，加上简单的运算法则。如果拥有了足够的知识，那么对这些知识进行归纳推理，则可以得到新的知识。再归纳再推理再认知，这个循环积累运转的过程，也许就可以称为智慧的积累。

这些经验提炼后得到一些浓缩的东西，人们口口相传，相对于个体自身的认知智慧循环来讲，这个社会群体形成一个更大的循环，可以通过语言从别人处得到智慧，然后跟自己积累的经验进行累加提炼整合，得到一些新的认知看法概念，再回馈到社会群体，其他人通过这些经验又进行加工反馈，这就是一个更大的智慧循环

所以整个社会得到的知识智慧远比一个个体多得多，而且社会群体会大大加快智慧发展的过程，而这一切是通过语言的交流沟通得到的。我们把整个社会群体的智慧发展，称为人类文明发展。

这个循环有个很脆弱的地方，因为智慧是口口相传的，所以只要一些信息不被同步到其他人，比...

如何创造出来新的生命？有人会说，一点都不难，找个女人就可以很愉悦的完成这件事情。那么，如果不是利用我们自身的生殖系统，而是从无到有，凭空创造出来一种新的生命形式呢？这看起来就不是一般的困难了。这意味着，我们在尝试做一件上帝的工作，哈，逼格爆表了。实际上，这也没有想象中那么困难。先看一下我们是如何对生命进行定义的。想要找出十分具体的定义是困难的，我们可以从所有人都公认的事物入手，看一下，生命需要拥有的几个关键特征。人是生命，一条狗，一棵树，是生命，一只蚂蚁，一株小草，也是生命。生命并不意味着像人类一样的高级智慧，也不用像狗一样能跑会叫。最本质的性质在于，他们都能尽可能延续自身存在，能复制产生出新的个体。下面是搜罗到的几个正式点的定义：Life is a characteristic distinguishing physical entities having biological processes (such as signaling and self-sustaining processes) from those that do not, either because such functions have ceased (death), or because they lack such functions and are classified as inanimate.生...

改变世界，是我们谈到理想时经常讲的一句话，没有人去深究它的意义，只是觉得听起来好像很厉害的样子那具体又是怎么改变呢？仅从字面上看，也没有什么门道，这个词只能算是中性，把这个世界变的不一样就行了，砍一棵树，种一朵花，都算对这个世界的改变，但我们不会因为路边有人把石头搬开就说他改变了世界。除了这个字面本身，我们语言的潜意识还对它赋予了一些其他意义，就是这个改变，一定要大一些，大到一定程度才称得上改变世界。那炸平一座山算不算改变世界？一场大地震过去，我们会说地震改变了世界吗？显然，不会。在字面意义的表象之下，我们赋予这个词的概念中，自然景观占少数，更多的是人类的生产生活方式。比如，我们可以说，互联网改变了我们的世界，集成电路芯片改变了我们的世界，汽车改变了世界，飞机改变了世界。最重要的还是人，人的生产生活方式。这个动词的主语，也就是动作的施加主体，是人还是事物？上面列举的更多的是事物，比如飞机汽车计算机，因为只有事物才能渗透到世界的每一个角落，形成重大影响。但有一点，事物总是人创造出来的，归根到底，真正做出改变的还是人，人通过创造出某种事物，通过这个事物形成对世界的改变。所以，要改变世界，必须要创造出来具有革新性的事物，这种事物可以渗透到每一个角落，影响人们的生活方式。但这不是唯一的途径，思想理念同样可以改变我们的世界耶稣创立了基督教，从此影响欧洲后续一两千年直到今天，可以说，宗教改变了...