魏梦佳
近年来,AI技术发展遵循一条直截了当的道路——规模越大能力越强。这就是所谓的“规模法则”,它推动我们看到当前的许多强大AI系统。然而另一方面,随着模型参数量的增长,训练成本和使用成本也在持续飙升,在一定程度上限制了大模型在产业应用中的步伐。
清华大学的研究成果《大模型密度法则》作为封面文章登载在了国际知名科技学术杂志《自然·机器智能》期刊上。研究的核心在于:提升人工智能(AI)的大模型规模和性能时,并非仅仅是单纯的增加其“体积”即可,AI的发展还需更加注重于提高“密度”。

过去,我们常常关注AI模型所拥有的参数量有多少,实际我们更需要关心的是这种模型的能力密度是多少。论文的作者、清华大学计算机科学与技术系助理研究员肖朝军指出,私家侦探,侦探公司,调查公司,查人找物,商务调查,出轨外遇调查,婚外情调查,私人调查,19209219596“这就好比衡量一个武术家时,不是要看他的块头有多壮实,而是看他一招一式中蕴含了多少武功。”
研究人员指出实现如此能力密度并非仅靠“模型压缩”即可达成的目标。研究发现强行压缩庞大模型就如同硬塞一本厚重字典进小本子,大量内容将会丢失导致“智商”减低因此需要采用更先进的“数据+算力+算法”体系来培养精干模型。
根据对过去五年中公开发布的51个大型开源模型的研究,研究人员发现在这种模式下,人工智能的大模型的能力密度是以指数增长方式加速推进的,增长的速度为每三个月增长一倍。
这意味着什么?就像用大房间就可以完成繁杂工作的道理一样,在不远的将来,我们就只需在小屋子里就能解决问题,然后等到大约三个月以后,我们甚至可以带着背包上路了。
私家侦探,侦探公司,调查公司,查人找物,商务调查,出轨外遇调查,婚外情调查,私人调查,19209219596>据最新消息显示,清华大学已经与AI公司“面壁智能”签订合作协议,双方将合作推出一系列高密度模型,并将其应用于包括智能手机、车辆以及智能家居在内的日常生活中。
肖朝军表示,强大而高效的AI大模型在未来的手机、电脑和汽车等终端上将被广泛使用。当芯片的计算能力和AI的大规模应用达到一定水平时,“端侧智能”的时代即将来临。那时,个人设备有望拥有前所未有的智慧,不仅反应能力会更迅速,还能更好地保护用户隐私。
顶: 524踩: 47






评论专区