10月6日,谷歌发布并开放了EmbeddingGemma 2。它负责把文字、图片、音频和视频转成可以比较的数字表示,方便应用从资料里找到相关内容。
名字里的Embedding,中文常叫“嵌入”。不用记这个术语,把它看成一个给AI找资料的模块就可以了。它输出的是一串数字,适合做检索,再把找到的内容交给会生成回答的模型。
对普通用户来说,这类技术最直接的用途,是让搜索少依赖文件名。你记得一段视频拍了什么,或者一份录音谈过什么,却想不起它存在哪里,也可以用自然语言描述想找的内容。
文字、图片、音频和视频可以进入同一个检索空间。AI示意图。
例如,可以设想一个本地资料应用:输入“雨天在山路上走的那段视频”,系统去视频库里找相关片段;说一句“上次谈到预算调整的内容”,系统在已有录音资料里寻找匹配项。这里说的是模型支持的应用方向,实际能不能找到,还要看开发者怎样处理资料、模型对这批内容的表现。
关键变化在于,提问的形式和资料的形式可以不同。你可以用文字找音频,用语音找视频,也可以拿一张图去找相似内容。文字、画面和声音不必各自装进互不相通的搜索系统里。
这种检索大致分两步。先把资料交给模型,得到代表内容特征的一串数字;搜索时,再把你的问题转换成同样形式的数字,比较哪些资料更接近。相近的意思更容易排到前面,即使两边没有使用完全相同的词。
先为资料建立数字表示,再比较查询与资料的接近程度。AI原理示意图。
但“接近”不等于“正确”。一段录音和问题很相关,录音里的说法仍可能有错;搜到一张相似图片,也不等于认出了同一个物体。做问答时,还需要后面的模型查看原资料,必要时核对来源。检索解决的是去哪儿找,不能单靠相似度替内容下结论。
这次另一处值得关注的变化,是模型可以按需要装。完整版本有7.4亿参数,其中纯文本部分是2.7亿,视觉组件1.7亿,音频组件3亿。只检索文字,就可以不加载视觉和音频组件;需要图片或录音时,再选相应部分。
这对手机、笔记本一类设备很实际。应用没有必要为了搜几份文字资料,一开始就把所有组件都搬进去。参数规模也只是模型大小的一项指标,具体占多少内存,还与运行方式和精度有关。
完整模型7.4亿参数,组件可按任务选择加载。参数来自谷歌官方,AI制图。
谷歌公告给出的例子是Pixel 11 Pro:采用量化后,纯文本模型权重所需的活跃内存可低至约191MB,完整多模态模型约567MB。量化可以简单理解成以更低精度表示模型数据,减少资源占用。这个数字带着设备和运行条件,不能当成整个应用的内存,也不能直接套到所有手机上。
资料库本身也可以做小一些。模型默认输出768个数字,开发者可按需要缩短到512、256或128个。每条资料保存的数字少了,大量资料的索引就更省空间。不过缩得越短,保留下来的信息也可能越少。官方模型卡特别指出,128维对多模态质量的影响较明显,不能只看省了多少空间。
放到AI智能体里,这个模块的作用也很清楚。智能体准备回答问题或执行任务,先在获得权限的文件库里找到相关内容,再把资料交给负责回答或行动的模型。检索、回答和执行各有分工,才有机会把一套系统做得更轻、更容易检查。
检索找到相关资料,生成模型再基于资料组织回答。AI应用示意图。
如果检索在设备本地完成,这一步就可以不把资料发到云端。但整个应用是否离线,还取决于后面的回答模型和其他功能放在哪里;对文件的访问权限也需要应用自己管好。本地运行提供了选择,隐私保护仍要靠完整的产品设计。
目前,谷歌已在Hugging Face和Kaggle开放模型权重,公告说明采用Apache 2.0许可。这意味着开发者可以拿它做产品集成,不意味着所有人的手机已经多了一个新搜索功能。谷歌公告提到的企业平台Model Garden接入,当时仍标为“即将推出”。
我更看重这次更新给AI应用带来的实用变化:找资料可以单独交给一个较小的模型,而且能跨越文字、画面和声音。以后评判一个AI助手,不只看它回答得多流畅,也要看它能不能把你需要的资料准确找出来,并让你看见回答依据。
来源:谷歌10月6日EmbeddingGemma 2发布公告;谷歌官方EmbeddingGemma 2模型卡。
本文文字及示意图由AI生成,依据谷歌公开资料核对。