最近因为产品上的一个想法，决定尝试下能否用transformer来实现。 于是专门抽出了块时间仔细的写写代码玩了一下。其实产品上想法的验证是一方面，最主要还是GPT之类的火了这么久，之前虽然简单地了解过背后的原理技术，心里总是想找个时间写代码跑跑训练小模型试试，几个原因叠加在一起吧，最近也是难得抽出来一大块时间，仔细地跑了一下。

俗话说得好，纸上得来终觉浅，绝知此事要躬行。只有自己真的尝试去实现了，才能更深刻的把握其中的原理细节，搞清楚为什么要这样设计，发现当中的细微精妙之处，才能更好的去扩展应用和改进。 我这段时间不停的写代码调试训练的过程中，大脑中不断地不自主的索引到这句话，感触颇深。

另一个方面，自从毕业以后，游戏和图形图像相关的技术搞得比较多一点，NLP之类的就基本没怎么搞过了，很多新技术都没有具体的去了解过，也是趁着这次机会详细的又深入学习研究了一遍。

整个过程差不多花了半个多月的时间，超出了我当初打算投入的时间不少，大部分都花在了研究一些技术的细节上面，需要阅读很多资料文章甚至论文才能彻底搞明白。不过回头评估一下，我其实是很开心的，并没有觉得时间被浪费掉，而是很强的获得感。

好了，下面进入正题。

既然是测试评估，那就要写一个程序来玩玩，什么样的程序呢？ 因为transformer最早是被用来解决机器翻译问题的，所以我用来试水的代码也是一个翻译的程序，比如把汉语...

这两天有点感冒，跟去年疫情放开后的新冠感染很类似，应该是流感或者再次感染吧。

从昨天开始，喉咙就一直很痛，晚上开始流鼻涕，睡觉的时候发烧头疼，晚上来回醒了好几次浑身都是汗，第一次醒来还做了个噩梦。

今天起来头疼浑身酸痛无力，什么都干不进去，于是我就在床上躺了一天，一直在思考睡眠和做梦的一些问题，这篇文章就是这些思考的一个简单记录。

先看看睡眠，生物界的大部分动物都进化出来了这种机制。他的根本原因应该起源于我们的眼睛感光机制和地球形成的白天和黑夜，等晚上看不见东西的时候，整个生物世界几乎都平静了下来，这时候机体就可以进入某种修复状态。如果把我们的身体看成一个精巧的机器人的话，那么晚上的时段就是在维修保养。

简单的维修保养只要躺在地上静坐不动就可以了，我们为什么要失去自我意识，进入所谓的睡眠这种状态呢？实际上失去意识对很多动物来说是很危险的，因为在这个过程中他们很可能遭到其他捕食性动物的攻击。

这很可能是我们大脑的运行机制导致的。假设我们大脑的神经元之间的突触间的递质不停的进行传递，以及神经元上电位的流动变化的一个复杂网络，形成了某种电和化学反应的一个复杂的过程，我们把这个过程产生的不停的思考的自我，认为是意识的起源的话，那么这个复杂的电和生物化学反应过程很有可能产生某种杂质或者说反应输出的垃圾副产物。

这些副产物很有可能无法在这个过程进行的当中清除掉，必须关掉整个反应过程...

又到过年了，今年是农历龙年。龙这种传说中的生物，如今已经成为了我们中华民族的符号象征，今天我们来认真讨论一下它的真正起源。

任何传说都基于一定的事实基础，我们的先人不太可能凭空创造一种神秘的生物，即便是神话，那也要有最初的事实基础内核原型，然后才能在上面进行各种演绎想象。

一种说法是龙起源于蛇，它的形象是很像的。在我看来这种说法的可信度并不高。蛇是一种很普遍的生物，而且很招人讨厌，人类本能上厌恶这种生物，很难想象我们的祖先会敬畏崇拜它。

而且我们的祖先是见过蛇的，并给他取了一个叫做蛇的名字，那就说明它跟龙没有任何关系, 龙这个字的出现即便不比蛇早也不会比他晚, 这件事上是没有任何含混可言的, 即便是巨大的蛇，比如说蟒蛇我们的祖先也不认为他是龙并专门给他取了蟒这个名字。

而且无论怎么含糊，龙有爪子，这一点是确凿无疑的，这跟蛇有本质的区别。

还有另一种说法，就是龙起源于鳄鱼，后来华北平原的鳄鱼灭绝了就成为逐渐演化成后来的龙的形象了。这个说法看起来似乎有点道理，而且鳄鱼是是水生动物，比较契合。然而，古代鳄鱼是有明确记载的，它的名字叫鼍，鳄鱼皮被用来做鼓，诗经里有“鼍鼓逢逢”的记录。

我们的汉字是一种象形文字，透过几千年的历史，即便很多东西没有文字记录下来，我们单纯分析文字符号本身就可以找到一些蛛丝马迹。

比如刚才说到的鼍，这个字的字形本身就很像一只鳄鱼。我们再举一些其他例子...

这篇文章的想法源于前段时间回家时教九岁的小侄女打游戏时的一些观察。她很喜欢玩宝可梦，可能是游戏简单节奏轻松吧，最重要的是里边的小动物，看到可爱的她就舍不得打一定非要抓到。

看着她打游戏的时候我就在思考，有没有可能在现实之中创造出来一种皮卡丘这样的生物呢？当然不是说拥有像游戏中那样的电系技能，而是我们构造出一种外观上长得跟皮卡丘几乎一模一样的可爱的小动物，如果能搞出来的话，当宠物卖一定是非常有市场的，小孩子几乎没有抵抗力。

现在宠物店一只狗大致能卖几千块，按这个价格，皮卡丘估计全球至少可以卖出上亿只，想象一下，这是一个多么巨大的市场。更何况前期要是出货少，价钱甚至都可以做到几十万。

我们现在讨论一下，是否真的能人工创造出来这样一种生物呢？

先说答案，很有可能，而且可行性可操作性极高。

在遥远的过去，人类就已经开始通过杂交来产生一些优良物种，比如通过马和驴来杂交生成骡子。这充分说明了人类尝试改造我们这个世界上现有物种的强大意愿，通过新的物种来使生活更便利美好。

在植物上，我们做的尝试就更多了，比如说我们最早的赖以生存的谷物，都是对自然环境不停的选择优化培育出来的。

比如说小米吧，他最初就是由自然界中的狗尾巴草被我们华夏大地的先民们不停的优化选择培养出来的。水稻也是，我们一代代的不停的尝试和杂交改良它的基因来提高产量。

另外一个我们经常使用的嫁接技术，甚至可以在一棵树上结...

最近韩国人的lk-99引起了整个世界的风暴，才过去了几天，目前从各方面渠道来看，很有可能是真的实现了室温超导。

很多年来我一直都在念叨着室温超导，翻下以前的博客估计应该还能找到记录，没想到这么短的时间居然很有可能真的看到它成为了现实。

lk99材料成本和制备都很简单，如果真的能大规模实现，绝对是人类历史上的关键转折点，即便后边无法实际应用，至少也能在理论上告诉人们这是可行的，进而促使人们寻找更多的新材料。

想象一下真实的超导材料能带来的未来吧，真的是非常令人激动，甚至让人兴奋的晚上很久都睡不着觉翻来覆去的想。

首先我们看看在机械方面的应用，有了超导体意味着我们可以电能几乎零损耗的获得超强磁场，电动机可以有极大的改善，不再有线圈结构非常简单，输出扭矩超强。

既然我们可以任意的把电流转换成磁场输出扭矩，为什么还要电动机呢？比如汽车吧，我们可以直接在轮毂上放几个超导体，然后在车身内部跟轮毂连接的部位交替的产生变化的磁场，直接驱动轮子转动，通过精密的时序控制来调整轮子的速度。有点像轮毂电机，但是他是无接触式的。可以直接输出超强扭矩，甚至可以通过反向输出来进行刹车，汽车的结构会变得非常简单然而却拥有巨大的动力输出。

甚至车身跟轮毂之间根本不需要接触，类似于悬浮挂在上面，这样可以无视地面凸凹不平带来的任何颠簸震动，比现在最好的空气悬挂还要优秀的多。

实际上磁悬浮列车一样可以非常简...

最近有个金水河贴瓷砖的事情，我不是想评论这个的，算是个引子吧，这篇文章里的东西是我想了很久的了，借这个机会写下来。
有传说说金水河是子产死了之后太穷，没有钱下葬，然后老百姓捐献各种金银，但是他家人不收，大家就把这金银投到了他封地这条河里边，所以才取名叫金水河的。当然这只是传说，没有历史考证。况且一条河处在黄河边，几千年来经历多次泛滥，即便有也早已经不是原来的河道了。
子产是中国历史上一个非常重要且做出巨大贡献的人物，可惜我们今天没有对他给予足够的重视。左传里关于他的很多记录都足以编入我们的教科书。特别是《子产不毁乡校》这篇文章，论深度论讲道理论各个方面，都是值得写入教材的。我们看看我们教材里边的那些文章，比如说烛之武退秦师吧，同样是关于郑国的记载，然而却是通过技巧权谋挑拨离间来达到目的，说实话，并不值得作为千古名篇教育我们的后代，而子产说的，“其所善者，吾则行之；其所恶者，吾则改之。是吾师也，若之何毁之？我闻忠善以损怨，不闻作威以防怨。岂不遽止？”。这些才是作为中华文明的价值观真正值得高中生背诵的。
韩愈专门写过一篇子产不毁乡校颂，可见这篇文章在他心目中的地位之高。连文起八代之衰的韩文公都赞不绝口的文章，难道不值得我们编入教材吗？
子产关于治国的道理同样也很深刻，“唯有德者能以宽服民，其次莫如猛。夫火烈，民望而畏之，故鲜死焉。水懦弱，民狎而玩之，则多死焉，故宽难”。这篇《子产论政宽...