听陆奇博士谈ChatGPT新机遇演讲有感

今天抽空听了下陆奇博士在上海召开的《新范式 新时代 新机会》论坛会议，有很多感触，记录下来。

一，拐点已来

陆奇认为，我们目前已经到了一个新的拐点，即新范式的应用，如下图：

那么怎么理解这个范式，首先理解什么是“三位一体”：

1，信息子系统，即从环境中获得信息

2，模型子系统，对上述获取的信息做表达和推演

3，行动子系统，再次基于上述子系统，与环境交互，达到行动所需效果

陆奇认为，任何复杂系统都是这三个系统的组合。

上图 的三种颜色，就是不同时代的数字化组合，绿色是信息系统，蓝色是模型系统，红色是行动系统。

我们要记住一点，我们所做的一切都是在搬运信息，这个搬运过程改变了世界。

另外，提到模型为什么这么重要，因为模型是和,人有内在关系的，因为每个人都是这三种模型的组合：

1，认知模型，使得人能观察，思考，能规划

2，任务模型，使得人能够执行动作，能够协作

3，领域模型，使得人能够在专业领域成长创造，比如医生、工程师、码农和科学家等等

人对社会的所有贡献都是基于这三种模型，是这三种模型的组合。

所以，当范式拐点来临时，对所有人，所有行业，所有职业和领域，都会产生影响。

陆奇也谈到了和OpenAI创始人Sam的沟通，他们一致认为，通用智能有四大要素：

1，涌现 emergency（这个词，让我想起了凯文凯利的《失控》，其中谈到了对涌现的定义和理解以及涌现的重大意义，看来这个词成为了业界共识）

2，代理 agency（指的是系统在自身内部发起行动的能力，从其内部动态产生影响？）

3，可供性 affordence（指环境提供给个体的东西,强调环境与动态物体的互补性）

4，具象 embodiment（指具有支持和感觉和运动的的物理身体，就是机器人化）

要具有这四项要素，人和技术需要共同进化，才能达到通用智能，不过从GPT的产生来看，这一点是已经达到了。

二， 新范式的影响

这个影响非常大，可能是历史上又一次非常重大的飞跃，为历史留下浓墨重彩的一笔，没准后辈的人类才会更深刻的认知这场变革。

为什么这么认为呢？

他认为农业时代，人只做的是体力劳动，人类社会被土地绑住，缺少流动性，限制了交流与互相接触。

工业社会比较好了，从开始的只有体力劳动，到体力为主，脑力为辅，到后来信息化时代到来，体力劳动占比越来越低，总体上就以脑力为主，体力为辅。

但当前大模型时代的到来，能让数字化上升到前所未有的高度，能让社会各个层面的人都受到影响，从农民，工人，到脑力劳动者，艺术家，科学家，政府工作人员等等。

虽然这次变革表面上看，像历史上的几次变革一样，只是一次变革，不过，由于AI进步的速度非常之快，模型已经奠定了比较好的基础，如果有了足够的算力，人们不再犯大的错误的情况下，迭代速度会远远超过之前历史变革的发展速度，所以，只能尽量往大的影响去评估，但到底有多少影响，会不会因为担忧AI进步太快而带来一些负面影响，未来不可知。

三， 新范式背后的动力引擎

任何范式，到最后，都有一个引擎存在，这个引擎能够不断产生动力，不断产生价值，推动时代前进。

陆奇认为，新模型下的核心推动引擎是GPT，甭管什么GPT，最终的核心都是通过预训练的Transformer，把信息可以高度压缩，以高纬度的形式存储在模型中，而且这个模型还可以不断调整优化，以适应新的领域或环境。

OpenAI认为，ChatGPT3.5已经有一个世界模型在其中，一个高度压缩的，可能现在还比较微小的世界模型，封装了世界几乎所有的知识体系。（听到这里，我脑子都翁的一声，真的有封装整个世界的知识的模型存在？？可能陆奇说的有点夸张了，但也说明了，这个模型的伟大方向）

另外，陆奇说模型最大的挑战是对齐，alignment engineering，与人反馈对齐，与人类社会价值观对齐，与自然语言对齐，与科学逻辑对齐，与代码对齐等等。

token也很重要（我又查了一遍这个token的含义，就是对词句的划分，对词汇的算法定义，对应模型中的数字向量），全世界可能有四五十个token模态。token的可操作性依赖于提示和调试，根据指令或上下文学习来对齐，可扩展性也得以发挥。

以上加在一起，让GPT有了足够的知识存储，足够的学习和推理能力，特别是后者，为模型新的可能性提供了发展动力。

为什么GPT模型引擎即将能成为拐点？

1，模型要比之前变得更为稀疏一些，这样才能用更少的带宽，获得更多的attention window（注意力矩阵窗口？），把window拉长一些，或者推理能力的增强

2，更多模态的内容即将出现，更多的token空间，更多的潜在空间（比如latent space等），更多的稳定性等等；还有一些grounding的东西，包括子概念，亚符号等等；

3，更多的计算，更多的基础框架工具，在2-3年内会达到比现在更好的效果，会更好的支撑大模型的进步。

其实也就是大家已知道了怎么去调整模型，让它成为拐点(还好，模型现在还掌控在人类手中，它的进化要靠人力去规划和推动呵呵），成为真正意义上的进步的源泉，所以才会有上述拐点论的产生。

四， 拥抱新时代

这个范式推动了全球范围的进步（好像国内动静小点，但是有很大大厂在本月推了各自的模型出来了，且不论质量好坏，至少是和全球“共同”进步的），陆奇提到，有几大特征需要注意：

1，发展速度将会非常快，这个已经从这几个月的热点表现出来了，无论是技术层面，还是投资层面，或者对经济环境的影响层面等等，速度之快，远超前几次技术浪潮（比如互联网，大数据，云计算等等）

2，生产资本从两个层面全面提高。一个是使得所有脑力劳动者的创造成本降低，效率提升，比如码农的成本降低，很多公司开掉了一批人，然后让另一批人使用GPT工具，快速提升产能；

另外一个，生产资本的层深提升，比如医疗行业，本质上就是模型驱动，一个好的医生就是经过多年理论学习和临床训练得到的一个好的模型，现在模型直接提高了，直接让好的医生变成了一个更好的医生。在其他领域也类似，比如游戏领域，产能得到本质上的、深度的提升，因为游戏场景中大量的绘图，地图，造型，路线，打法，武器等等，都是可以模型直接驱动的。另外还有机器人等等，总之，用大模型做自动化智造，生产，已经势不可挡了。

另外，到这里最要的感触，可能是大模型对每个人都会产生深远的、系统的影响，每个人都要用脑袋好好想想，怎么利用模型，提升自己能力，找到新的机会，提升学习效率，降低个人成本等等，因为大模型不止是让一部分人直接失业，更会推动所有人向前，这是大势，是拐点，不注意，可能就会与这个时代脱节，被时代淘汰。

还有，谈到对市场的深度影响，比如大量投资进入相关的芯片、算力、基础设施、应用、平台等等各类企业，股市上也是风起云涌，一堆浑水摸鱼的，搞得大家眼花缭乱，不知道到底哪个是真唱，哪个是吆喝，这种事情不光发生在国内，其实国外更是有过之而无不及。当然这里面有机会，可能也有泡沫，不过泡沫过后，会留下真正的成长机会。挑战永远与机遇并存。

五， 中国怎么办

国内这块其实是落后于美国等发达国家的，虽然这样，我们也看到了国内企业迅速跟上，不少大厂也在这两个月推出了各自的大模型产品，让人眼花缭乱。不过虽然与GPT有一定差距（王小川和百度高管的口水战就不说了），但是我们有很多的模型有各自的特色，实际上也是有一些局部创新在进行，这是值得鼓励的。

中国必须有自己的大模型，因为国内文化底蕴不一样，我们有自己的优势，不过也有一些不足，就是英语的语料是世界性的，几乎所有的世界知识都可以在英文语料库中有留存，中国的语料库这方面还是有一些差距。

后面有几件事情要做，一是芯片和算力，这个是基础，没有它模型根本就没法发展，虽然我们因为一些原因被打压和禁运，A100也拿不到最好的，而国外已是H100，但是还是要克服困难。另外，大厂和科研机构要跟上，国家要给这些企业与机构开绿灯，只有大家争先恐后的往科研投入资源，才能在未来打造中国的真正的大模型，毕竟中国的体量大，擅长集中力量办大事，这一定很重要，是我们未来赶超的优势所在。

后记：

听了这个演讲，深以为然，不止是对前一段时间从眼花缭乱的新闻和自媒体中得到的知识的一个再深入认识，更是从多个维度得到了对信息的梳理和加强，比如政策影响，投资人的想法，市场的趋势等等。对目前AI及ChatGPT热闹的乱局背后的技术发展本质的认知，也得到了新的提升。

好像记了不少内容，由于没有全程参与，还有更多内容没有及时整理，待后续整理完善。