IT之家11月20日消息,谷歌DeepMind技术团队成员奥马尔·圣塞维耶罗(OmarSanseviero)于11月17日在X平台发布推文,在只占用14.1MB内存的情况下,成功让办公激光打印机运行2.7亿参数的Gemma3270M模型,每输出一个词元(Token)消耗约60秒。
圣塞维耶罗借助谷歌的Gemini4Carbon模型,探索展示了一个特别实验,将小型Transformer推理引擎与量化后的模型编译成一个PostScript打印任务。
本次实验没有修改理光打印机固件,也未加装外部计算板,而是利用打印机内置的PostScript解释器执行计算,让原本用于描述打印页面的语言承担起运行AI的工作。
为充分发挥打印机有限的内存资源,本次实验并未一次性装下整个模型,改为采用动态层加载方式,轮流将模型各层调入、移出内存,该实验运行时峰值占用约为14.1MB。IT之家附上相关截图如下:
性能输出方面,本次实验处理速度约为每个词元60秒(不是每秒60个词元)。报道称整个计算发生在打印机内部,由打印机的CPU执行PostScript程序,再把答案交给打印机打印,模型推理涉及18个Transformer网络层。
在预填充(prefill)阶段,处理输入提示“Readthefine”耗时约184秒,而解码(decode)单个生成词元耗时0.1秒,总计184.1秒。