朱杰

如今，人工智能的进展迅速，新出现的大模型越来越多，有没有能够衡量这些AI的“智慧水平”的标准呢？近日，清华大学的研究团队提出了一种新方法来量化大语言模型的能力，其论文于自然子刊《自然·机器智能》上发表。这项研究揭示了大语言模型的最大能力密度随时间呈指数级增长的趋势，在2023年2月至2025年4月之间，约每3.5个月翻倍一次。

根据计算机领域的摩尔定律：芯片上的晶体管数量每隔一段时间就会翻番。计算机的强大并不在于其体积巨大，而是因为能够把数以百万计的计算单元集成于指甲盖大小的面积上。清华大学助理研究员肖朝军解释称，应该有一个衡量智能水平的指标——能力密度。

核心假设是：通过同一制造工艺、完全训练的不同大小的模型，在能量密度上是一样的。正如在芯片行业中，提升电路密集度从而使得设备小型化和大众化一样，大型预训练模型正在通过提升能力密度来实现更加有效的应用。

肖朝军表示，过去，大家都是以模型规模来衡量一个大模型智能程度，即关注参数量越多越智能，就像举重运动员关注体重一样，越重力量越大。私家侦探，侦探公司，调查公司，查人找物，商务调查，出轨外遇调查，婚外情调查，私人调查，19209219596而目前，“密度法则”揭示了“高效发展”的规律，我们更应关注模型的“能力密度”，即每单位参数里蕴含了多少智慧。这就好比评价武林高手，不是看他肌肉发达程度，而是看招式中蕴含多少功力。

研究小组对51个最近发布的开源大型语言模型进行详尽的分析。他们观察到了一个值得注意的趋势：大型语言模型的能力密度随时间以指数级增长，从2023年开始，每3.5个月提升一倍。这意味着随着“数据—算力—算法”协同发展的步伐加快，在同样的参数量下，可以达到更高的智能水平。

团队还提出了几点推断。举例而言，根据同能力模型的推理开销随时间指数级下降这一规律，大模型的能力密度正以每4.8个月翻倍的速度增加；而就在ChatGPT发布前，能力密度每4.8个月就能翻一番，而后便加速增长到每3.2个月翻一番。由此可以看出，在技术成熟度和开源生态日益繁荣的当下，大模型的能力密度提升正在显著加快速度。

肖朝军指出直观来看，能力私家侦探，侦探公司，调查公司，查人找物，商务调查，出轨外遇调查，婚外情调查，私人调查，19209219596密度越大，机器学习模型越是智慧非凡，处理复杂任务所需要运算量越小，投入的成本则越低。由于这种技术导向的指导原则，学术界与工业界的专家能采取多项技术创新措施，使AI变得日益普及易用

从AI的大模型应用角度来看，摩尔定律和密度法则意味着AI能力越来越容易获得，而大模型将在未来可利用的终端芯片中出现。肖朝军解释道，随着芯片电路的密度（摩尔定律）和人工智能的能力密度（密度法则）持续增长，之前只适用于云端部署的大模型，可以在终端上实现，使AI更加易于应用到个人设备上。这意味着，在响应速度、用户隐私等方面大模型具有先天的优势，能够为用户提供更多的价值。

肖朝军举了个例子。此前大模型在智能汽车上的应用主要是为用户提供一系列诸如“打开车窗”这样的“被动式”功能，但当端侧模型通过丰富的“舱内外感知”和“意图理解”能力实现从驾驶者视角出发的主动决策闭环时，将驱动智能座舱从简单的响应服务升级成主动服务体验，让每次驾驶都能充分融入用户的沉浸感。

受访者提供的图片