最近一段时间身体一直不是很好,特别是下半年,有很严重的神经衰弱症状。
主要表现是晚上睡眠质量很差,睡着经常醒。隔一两个小时就会醒一次,一个晚上醒五六次很常见,而且多梦。大部分有些时候会做一些很不好的梦,甚至是噩梦。
而且有很多时候睡得都很轻,甚至做梦的时候都能感到神志非常的清醒。
另一个就是认知上感觉都出了一点问题,阅读的时候很难专心的读进去,经常容易走神,看不下去。除非是非常非常感兴趣的领域才能偶尔坚持下去,甚至有时候看那些娱乐性的电影视频,看一会儿就觉得头晕脑胀难受不想看了。
这都是一些很危险的信号,提示大脑出现了一些病理性的改变。
记忆也开始变差,最近发生的事情看过的东西,很容易忘掉。甚至偶尔会发生前一秒想着一个东西,下一秒打开搜索引擎准备输入进去的时候时候就忘了要干什么了。
唯一的例外是写代码,很容易专注进去,仔细的思考,工作效率感觉还没有那么差。
我猜测可能是大脑出现的问题在于对于新的事物,或者说新的东西的认知开始变差,然而对大脑已有的东西进行逻辑的思考和推理的能力并没有太大的改变。
也就是说大脑的神经元很难再形成新的有效连接,增加新的记忆之类的。但已有的神经元连接工作推理的影响并不太大。
去医院大部分医生其实都说不出来个所以然,大部分都是说你压力太大,想的太多太焦虑,要多休息。
我自己怀疑有几点,一个可能就是因为颈椎病导致的,可能是大脑的供氧变差,有点儿轻度的缺氧导致的...

在讨论失业问题之前,我们先研究一个很有趣的话题,那就是畅想一下一二十年后的未来。

先看一下自动驾驶,这个技术并不是那种科幻的很遥远的技术,而是实实在在的已经被部分实现了的技术,而且还在不停的优化进展当中。

如果我们对自动驾驶要求不是特别高的话,仅仅是简单的能上路,那我们现在其实一定程度上都已经实现了这些技术,只不过它还不够成熟完善,还不能非常完美的识别和处理各种特殊路况,但如果是仅仅要求可以上路跑起来的话,我们现在已经有了现成的产品了。

那我们想象一下,三五年甚至十年八年甚至二三十年之后,自动驾驶是否会真正的成为一种成熟的技术,并被使用在各种各样的场景当中呢?很显然这个可能性是非常大的,我们即便不敢说是百分之百的确定,那感觉至少也有百分之八九十的可能性。

于是我们的问题就来了,假如自动驾驶被大规模的实现和应用了,我们的社会会是什么样的结构呢?

首先我们上下班会变得非常方便, 可以住在离市中心非常远的地方。早上起床坐在车上还能补会儿觉或者在车上吃东西,干一些其他事情都是可以的。等你下了车汽车会自动的寻找附近或者更远一些地方的停车场,或者自动找充电的地方去充电。

等下班的时候只要用手机远程召唤一下自己的汽车,就可以在地图上实时的看到车到了哪里。可以在车赶到公司的时候下去直接坐到自己的车上回家。

既然汽车都是自动化的,不需要各种各样的驾驶装置了,车内空间就可以被释放出来,而...

我们现在似乎处在一种非常奇怪的状态,一方面是我们综合国力的发展,大家都觉得现在比历史上任何时期都接近中华民族的全面复兴,没有人认为我们处在衰退之中。

另一方面是最近的经济环境,想必大家都感受到了,到处是失业裁员,一片哀鸿遍野。看起来似乎问题很大。

这篇文章里我们就仔细讨论下当前的经济问题,我本来只是想简单的写一下自己的一些想法,按说不会有太长的篇幅。但这样会让很多对金融体系不熟悉的人产生费解,于是就不得不一步步的仔细解释一下各种各样的原理和机制,所以这篇文章就最终堆了两万多字。为了便于阅读,我把这些东西都分了章节部分。如果你非常熟悉这些理论原理,可以接跳过相应的部分。
使用生产率来衡量综合国力
首先我们探讨一下综合国力,一个国家的国力如何衡量是一个复杂的问题,现在大家主流的思路是去对比各国的GDP也就是国内生产总值。

然而用GDP来衡量经济实力并不是完全正确的,主要有两个原因。一是各国之间的汇率有浮动,二是每个国家的物价不同。比如美国人民去剪一个头发可能需要花费40美元,也就是说大致要两三百块人民币,但是在中国剪一个头发很可能50块人民币就够了。所以简单的GDP总量并不能真正反映一个国家的真实能力。

于是经济学家们就提出来了购买力平价PPP,综合考虑了不同国家的大部分常用物品的物价水平,能够更加真实的反应不同国家之间的货币购买力。

美国2022年的GDP是25万亿左右,而...

这篇文章本来是写在上一篇的结尾的,因为实在是太长了,单独拆分了出来。

我们再讨论一下transformer模型的能力极限吧,chatGPT刚出来的时候,很多人都感觉到非常的惊艳,似乎聊天机器人很可能实现类似人类水平的智能,整个世界都似乎被震撼到了,引起了AI行业的狂热。

然而这只是表象,我们这里仔细的观察讨论一下transformer最核心的原理和技术,然后再对他的能力极限的做出一个判断和预测。

依照技术的进化路径,我们先从词向量和RNN来说起。

什么是词向量或者说词嵌入呢?它的英文叫word embedding,原理就是用若干个数字来表示一个字或者词。比如道这个字,我们用256个数字来表示它,比如(0.2,0.6,0.8,.....,0.7),为什么要这样干呢?因为用一串数字来表示它的话,就可以表达很多细微的概念和意思,而且这些数字可以进行一些运算操作,比如king在英语里表示国王,women表示女人,man表示男人,那么我们进行一些数学运算,比如king减去man再加上women会得到什么结果呢?没错,跟我们的直觉是一样的,得到的结果就是queen,也就是女王。这是nlp领域里边非常著名的一个例子,一般讲词向量都会用这个来举例。

实际上词向量的核心思想就在于,每一个词都用若干个更基础的原始概念来表示,我们看到前面表示道字的256个数字,其实就是底层的256个概念每一个...

最近因为产品上的一个想法,决定尝试下能否用transformer来实现。 于是专门抽出了块时间仔细的写写代码玩了一下。其实产品上想法的验证是一方面,最主要还是GPT之类的火了这么久,之前虽然简单地了解过背后的原理技术,心里总是想找个时间写代码跑跑训练小模型试试,几个原因叠加在一起吧,最近也是难得抽出来一大块时间,仔细地跑了一下。

俗话说得好,纸上得来终觉浅,绝知此事要躬行。只有自己真的尝试去实现了,才能更深刻的把握其中的原理细节,搞清楚为什么要这样设计,发现当中的细微精妙之处,才能更好的去扩展应用和改进。 我这段时间不停的写代码调试训练的过程中,大脑中不断地不自主的索引到这句话,感触颇深。

另一个方面,自从毕业以后,游戏和图形图像相关的技术搞得比较多一点,NLP之类的就基本没怎么搞过了,很多新技术都没有具体的去了解过,也是趁着这次机会详细的又深入学习研究了一遍。

整个过程差不多花了半个多月的时间,超出了我当初打算投入的时间不少,大部分都花在了研究一些技术的细节上面,需要阅读很多资料文章甚至论文才能彻底搞明白。不过回头评估一下,我其实是很开心的,并没有觉得时间被浪费掉,而是很强的获得感。

好了,下面进入正题。

既然是测试评估,那就要写一个程序来玩玩,什么样的程序呢? 因为transformer最早是被用来解决机器翻译问题的,所以我用来试水的代码也是一个翻译的程序,比如把汉语...

这两天有点感冒,跟去年疫情放开后的新冠感染很类似,应该是流感或者再次感染吧。

从昨天开始,喉咙就一直很痛,晚上开始流鼻涕,睡觉的时候发烧头疼,晚上来回醒了好几次浑身都是汗,第一次醒来还做了个噩梦。

今天起来头疼浑身酸痛无力,什么都干不进去,于是我就在床上躺了一天,一直在思考睡眠和做梦的一些问题,这篇文章就是这些思考的一个简单记录。

先看看睡眠,生物界的大部分动物都进化出来了这种机制。他的根本原因应该起源于我们的眼睛感光机制和地球形成的白天和黑夜,等晚上看不见东西的时候,整个生物世界几乎都平静了下来,这时候机体就可以进入某种修复状态。如果把我们的身体看成一个精巧的机器人的话,那么晚上的时段就是在维修保养。

简单的维修保养只要躺在地上静坐不动就可以了,我们为什么要失去自我意识,进入所谓的睡眠这种状态呢?实际上失去意识对很多动物来说是很危险的,因为在这个过程中他们很可能遭到其他捕食性动物的攻击。

这很可能是我们大脑的运行机制导致的。假设我们大脑的神经元之间的突触间的递质不停的进行传递,以及神经元上电位的流动变化的一个复杂网络,形成了某种电和化学反应的一个复杂的过程,我们把这个过程产生的不停的思考的自我,认为是意识的起源的话,那么这个复杂的电和生物化学反应过程很有可能产生某种杂质或者说反应输出的垃圾副产物。

这些副产物很有可能无法在这个过程进行的当中清除掉,必须关掉整个反应过程...