这篇文章本来是写在上一篇的结尾的，因为实在是太长了，单独拆分了出来。

我们再讨论一下transformer模型的能力极限吧，chatGPT刚出来的时候，很多人都感觉到非常的惊艳，似乎聊天机器人很可能实现类似人类水平的智能，整个世界都似乎被震撼到了，引起了AI行业的狂热。

然而这只是表象，我们这里仔细的观察讨论一下transformer最核心的原理和技术，然后再对他的能力极限的做出一个判断和预测。

依照技术的进化路径，我们先从词向量和RNN来说起。

什么是词向量或者说词嵌入呢？它的英文叫word embedding，原理就是用若干个数字来表示一个字或者词。比如道这个字，我们用256个数字来表示它，比如（0.2,0.6,0.8,.....,0.7），为什么要这样干呢？因为用一串数字来表示它的话，就可以表达很多细微的概念和意思，而且这些数字可以进行一些运算操作，比如king在英语里表示国王，women表示女人，man表示男人，那么我们进行一些数学运算，比如king减去man再加上women会得到什么结果呢？没错，跟我们的直觉是一样的，得到的结果就是queen，也就是女王。这是nlp领域里边非常著名的一个例子，一般讲词向量都会用这个来举例。

实际上词向量的核心思想就在于，每一个词都用若干个更基础的原始概念来表示，我们看到前面表示道字的256个数字，其实就是底层的256个概念每一个...

这篇文章的想法源于前段时间回家时教九岁的小侄女打游戏时的一些观察。她很喜欢玩宝可梦，可能是游戏简单节奏轻松吧，最重要的是里边的小动物，看到可爱的她就舍不得打一定非要抓到。

看着她打游戏的时候我就在思考，有没有可能在现实之中创造出来一种皮卡丘这样的生物呢？当然不是说拥有像游戏中那样的电系技能，而是我们构造出一种外观上长得跟皮卡丘几乎一模一样的可爱的小动物，如果能搞出来的话，当宠物卖一定是非常有市场的，小孩子几乎没有抵抗力。

现在宠物店一只狗大致能卖几千块，按这个价格，皮卡丘估计全球至少可以卖出上亿只，想象一下，这是一个多么巨大的市场。更何况前期要是出货少，价钱甚至都可以做到几十万。

我们现在讨论一下，是否真的能人工创造出来这样一种生物呢？

先说答案，很有可能，而且可行性可操作性极高。

在遥远的过去，人类就已经开始通过杂交来产生一些优良物种，比如通过马和驴来杂交生成骡子。这充分说明了人类尝试改造我们这个世界上现有物种的强大意愿，通过新的物种来使生活更便利美好。

在植物上，我们做的尝试就更多了，比如说我们最早的赖以生存的谷物，都是对自然环境不停的选择优化培育出来的。

比如说小米吧，他最初就是由自然界中的狗尾巴草被我们华夏大地的先民们不停的优化选择培养出来的。水稻也是，我们一代代的不停的尝试和杂交改良它的基因来提高产量。

另外一个我们经常使用的嫁接技术，甚至可以在一棵树上结...

最近韩国人的lk-99引起了整个世界的风暴，才过去了几天，目前从各方面渠道来看，很有可能是真的实现了室温超导。

很多年来我一直都在念叨着室温超导，翻下以前的博客估计应该还能找到记录，没想到这么短的时间居然很有可能真的看到它成为了现实。

lk99材料成本和制备都很简单，如果真的能大规模实现，绝对是人类历史上的关键转折点，即便后边无法实际应用，至少也能在理论上告诉人们这是可行的，进而促使人们寻找更多的新材料。

想象一下真实的超导材料能带来的未来吧，真的是非常令人激动，甚至让人兴奋的晚上很久都睡不着觉翻来覆去的想。

首先我们看看在机械方面的应用，有了超导体意味着我们可以电能几乎零损耗的获得超强磁场，电动机可以有极大的改善，不再有线圈结构非常简单，输出扭矩超强。

既然我们可以任意的把电流转换成磁场输出扭矩，为什么还要电动机呢？比如汽车吧，我们可以直接在轮毂上放几个超导体，然后在车身内部跟轮毂连接的部位交替的产生变化的磁场，直接驱动轮子转动，通过精密的时序控制来调整轮子的速度。有点像轮毂电机，但是他是无接触式的。可以直接输出超强扭矩，甚至可以通过反向输出来进行刹车，汽车的结构会变得非常简单然而却拥有巨大的动力输出。

甚至车身跟轮毂之间根本不需要接触，类似于悬浮挂在上面，这样可以无视地面凸凹不平带来的任何颠簸震动，比现在最好的空气悬挂还要优秀的多。

实际上磁悬浮列车一样可以非常简...

我们经常可以在科幻电影里看到在一个培养皿里把人冰冻或者说深度睡眠，然后几百年后重新打开。这种方式在星际旅行或者其他需要大量时间的场合非常有用，可以让人以某种程度，某种意义上向未来的世界旅行。
或者说某种程度上可以延续人的生命时间跨度吧，但是这个生命时间跨度是有限制的，相当于压缩掉人生无聊的时间。
当然科幻电影里那种像速冻水饺一样的冷冻技术过于不现实，很容易直接把人冻死，我们现在还没有找到可行的方式来进行这样的冰冻。至少理论上和现有的工程技术上是不太现实。
今天我们考虑一个更现实的，类似于这种冷冻睡眠的技术。
正常人在晚上睡眠的时候有好几个阶段，其中有一个睡得最深的阶段，我们就叫深度睡眠，这个阶段的心率是很低的，大致有五六十的样子。而且人的新陈代谢以及其他的各种各样的器官的功能都开始变得缓慢。正常人的心率有个七八十，特别是我们运动的时候心率会更快一点，所以如果我们能够一直保持50的心率，就类似于正常晚上深度睡眠的时候，这个代谢程度等同于能够把人的寿命增加一倍。
至于睡眠的机制，我们还没有找到他具体的细节，但是肯定是大脑通过调控机体的一系列的化学反应和各种各样的蛋白质传递的这个消息。比如说褪黑素，就是一种让人陷入睡眠的一种激素，很多安眠药都是有这种成分。如果我们能够找到，确切的说是人进入深度睡眠阶段，分泌的那种化学物质蛋白质或者某种有机物，我们就可以把它注射到人的体内，让人一直保持...

得益于长征5号的研发成功，我国航天最近能够把大重量的东西送上太空，所以最近看到了一系列的突破。比如登陆火星，比如空间站，比如月球挖土。当然这些只是在重复做美国人曾经完成过的事情，我们既然现在有技术有资源为什么不尝试一下前所未有的探索呢？这是我的一个理想，那就是在月球上建造一个可以住人的基地，甚至建立一座微型的城镇村庄。这并不是科幻，离我们一点都不遥远，只要利用现有的技术是完全可以实现的，可以说只是一个工程问题。首先我们看现有的空间站，其实已经很大了，至少有几辆大巴车那么大小，是可以住好几个人的，我们在月球上建立基地，第1步也可以把类似的东西发射到月球上，一个一个组装起来，就像现在空间站上用的技术是一样的。这里最重要的问题要解决的就是能源和材料这样的问题，包括物质。比如说建造，我们想大规模的建造一个类似于购物商场那么大小的基地的话，那么完全从地球上发射是不太现实的，但是我们可以利用月球上已有的物质，看看能把一些什么机械设施发射上去，在月球上就可以采矿，并且制成铁各种各样的金属。进一步可以用来构造基地自身。这样子只需要发射一部分工具，然后利用这些工具开采加工月球上的物质，这一切可以通过几个航天员远程操控的无人机械进行。先看看现在最需要解决的能源问题，我们可以用几个太阳能板来产生一定的电量，现在空间站就是这样工作的。它的问题也很大，因为能量输出实在是太小了，只是简单的提供一些生命支持，如...

过年回老家休息几天。荒芜的院子里到处都是树叶树枝。花了半天打扫了一下。然后点了一把火把这些东西都烧掉。

真是好久没有点过火了，望着熊熊火苗，我开始陷入了沉思。

有很多过于熟悉的东西，我们往往忽略了它的存在，不去问为什么。燃烧的火焰就是其中一个。

火为什么会燃烧会发光发热呢？显然它是一种化学反应，这是我们在课本上学到的。

干枯的树叶和树枝，大部分都是由植物纤维构成。这些纤维是什么呢？是单糖形成的长链。本质上是碳氧氢这些元素组成的巨大的有机化合物。当燃烧发生时它们和空气中的氧气，生成二氧化碳和水。这是燃烧这个过程背后发生的基础的化学反应。

然而我们现在把这些基本的反应放在一边，而把目光仅仅聚焦于燃烧这个过程本身。

基于持续的观察，现在有几个有趣的事实，可以深入研究一下。

首先，烟是往上冒的。你可能会说这是废话，我们当然都知道烟是往上冒的了。然而你还记得刚开始我们说的那句话吗？对于过于熟悉的东西，我们往往会忽略它的存在，而不去思考为什么。

烟的本质是什么？在植物纤维和氧气的剧烈反应当中，肯定会导致整个链条破碎，然后有一些短链或者分子团，会随着剧烈的反应提供的动能而被甩到空气中，这些短链的断开会导致整个物体的破碎，形成各种各样的小颗粒。如果这些小颗粒来不及与氧气彻底的反应，那么就会飘到空气中去。这些微小颗粒以及部分水分混合在一起就组成了烟雾。

如此看来，组成烟雾成分的分子...