刘霞

设想未来的人工智能（AI）具有哪些特点？想象一下，人们只需简单一个指示或命令，它们就能理解并执行复杂任务；它们还能通过视觉捕捉用户的表情和动作，并判断其情绪状态。这不再是好莱坞科幻片中的设定，而是正在逐步走入现实的多模态AI技术。

据美国《福布斯》网站报道，元宇宙平台公司OpenAI以及谷歌等巨头纷纷推出了多模态AI系统，正大力建设此类系统，并加大资金投入，希望进一步提升各种模态内容输出的准确度，从而改善与用户的AI交互体验。

多项模态AI的引入预示着一场前所未有的转变。这必将彻底改造诸多行业，也必定影响数字化世界的方向。

赋予AI“多种感觉器官”的能力

如何认识这个世界？人们依靠视觉、听觉以及触觉来获取外界的信息，通过不断接收来自诸多不同来源的信息来形成对世界的一幅生动图景。

IBM官网这样定义多模态AI：该技术能集合成处理来自多种模态（数据类型）的机器学习模型的能力，这些模态包括文本、图像、音频及视频等信息。简而言之，就像赋予AI一整套感官能力，使其能够从多个角度感知并理解输入的信息。

这种能力超越了传统的专注于集成特定数据源的单一模态 AI，被众多科技巨擘视为一项突破性的创新，展现了跨模态理解和内容生成的潜力。

在今年的移动通信展上，高通公司首次在安卓手机上部署了一个多模态的大模型。用户不仅可以与AI助手交流输入照片或语音的信息，还能得到更便捷的答案。私家侦探，侦探公司，调查公司，查人找物，商务调查，出轨外遇调查，婚外情调查，私人调查，19209219596举个例子，在拍摄美食照片后提问：这些食材都是什么？能做出什么菜？每道菜的热量是多少？AI助手基于图片信息，给出详细答案。

今年5月，OpenAI推出了一款全新的多模态人工智能模型GPT-4，该模型可以处理文本、音频以及图像等多种类型的数据，并进行任意的组合输入和输出。同一天，谷歌也推出了自家最新的多模态AI产品Gemini 1.5 Pro。

9月25日，元宇宙平台公司宣布了其最新开源大语言模型Llama 3.2的发布。马克·扎克伯格在主题演讲中表示，这是他们首个开源多模态模型，可同时处理文本和视觉数据，标志着该公司在理解更加复杂应用场景方面的进展取得了重大突破。

悄悄地推动各个领域进行变革。

多模态AI正在全面变革各领域面貌。

Watson Health业务单元正通过综合病人的影像学数据、病史文本以及基因数据来支持医生们的诊疗，进而精准地对患者的疾病作出判断并制定个性化的治疗方案。

创意产业也正在经历一次革命性的变革。数字营销专家和电影制片人正借助这项技术打造定制内容。例如，只需简单的提示或概念，人工智能系统就能撰写引人入胜的剧本，生成故事板（即一系列插图排列在一起组成的可视化故事）、创作配乐，并制作初步场景剪辑。

在多模态AI技术加持下，教育培训私家侦探，侦探公司，调查公司，查人找物，商务调查，出轨外遇调查，婚外情调查，私人调查，19209219596领域正逐渐迈向个性化学习模式。美国纽顿公司所开发的自适应学习平台便是其中佼佼者，它能够应用该技术深入分析学生的特定学习行为、表情以及语音反馈，从而根据实际需要动态调整教学内容和难度，有效提升了学生的学习效率，实验结果显示，在采用这种教学方法后，学生们的学习效果可提升40%。

客户服务作为多模态AI系统令人兴奋的一种应用，聊天机器人不仅能够响应文本咨询，还可以解读客户情绪，捕捉并理解客户的面部表情，以及通过适当的措辞和可视化信息做出回复。这样的人工智能交互将完全颠覆企业与客户沟通的方式。

需要面对的技术伦理问题尚待解决。

然而，多模态AI的发展还面临着一系列的挑战。

人工智能顾问公司“隐空间”的创始人亨瑞·艾德尔称，多模态的AI技术之所以强大是因为它能有效地处理多种不同类型的数据，但是要有效地整合各种各样的数据仍然是个挑战性问题。

此外，在执行此类任务的过程中，由于需要大量的计算能力，这也导致了该类模型的使用费用高昂。

值得关注的是多模态数据中蕴含的大量个人信息。随着多模态AI系统在人脸识别、声纹识别甚至情绪分析上取得显著成就，如何保护个人隐私并确保相关措施能够防止其被用于构建“深度伪造”或误导性内容是值得深思的问题。