众力资讯网

740 亿参数塞进 22GB,笔记本开始自己动脑

#探寻人工智能,从技术到真实世界#
10 月 16 日,两件事同一天发生。
英伟达开放了 Nemotron 3.5 Bolt 的模型权重。这个模型原本约 148GB,量化之后压到 22.1GB,砍掉约 85%,瞄准的是 24GB 显存这一档的本地部署。它每次生成 token 激活约 90 亿参数,但 740 亿参数的家底都在。
性能上,量化版在考终端操作的 Terminal-Bench 2.1 拿到 50.98%,在考上网找信息的 BrowseComp 拿到 66.75%。它支持工具调用、图片和视频输入。Ollama 已经给出了 OpenClaw、Hermes 等框架的启动入口。
取材网络
同一天,搭载 RTX Spark 的笔记本全球开卖,联想、微软等厂商的新机正式登场。
模型和电脑一起端上来,这个节奏不是巧合。
我想说的是,端侧这件事的价值,一直被人用错了标尺衡量。
大家习惯问"本地模型够不够聪明"。答案是:不够,短期内也不会够。90 亿激活参数的能力上限就摆在那儿,复杂规划、长链条推理,还是得回云端。
但 agent 的日常工作量,大部分不是"聪明活"。
一句"帮我改下代码",在 agent 那儿要拆成好几轮:读文件、定位、改、跑、报错、回退、再改。每一步都要一次推理。如果这些推理全在云端,那么每一次都要走一趟网络往返,付一次 token 钱。一个任务十几轮,就是十几次往返、十几笔账。
端侧真正省的是这三笔:
延迟。本地推理没有网络往返,循环可以跑得很密。agent 的体验差异,很多时候不在单步质量,而在"能不能快速试错"。
隐私。文件不出机器。这对企业和个人都是一条硬边界,比任何合规声明都直接。有意思的是,Ramp 拿这个模型去认小票——把商户、日期、付款信息整理成结构化数据。报销单据是最典型的"不想上传但必须处理"的东西。
成本。本地的边际成本接近电费。当 agent 一天要跑几百轮,这个差别不是百分比,是量级。
所以正确的架构不是"本地替代云端",而是分层:本地跑掉 80% 的碎活,云端跑剩下 20% 的难活。英伟达这次的定位很清楚——它卖的不是"更强的模型",是"第二台 AI 电脑"。
把这条线和同周的另一件事放在一起看,逻辑就更完整了。
Meta 把 8160 亿参数的 Muse Spark Open 开放了权重,还跟苹果合作,让模型能在两台 M5 Ultra 的 Mac Studio 上本地跑起来。两家此前因为 Meta 智能体读取 Mac 私人消息闹得很僵,两周后就转成了合作。
一边是英伟达用开放权重给新硬件铺路,一边是 Meta 用"能在你桌上跑"当卖点。本地推理已经从技术选项变成了营销战场。
这背后是一个判断:下一阶段的竞争,不是谁的模型更聪明,而是"智能被放在哪里"。放在数据中心,卖的是 token;放在桌面上,卖的是设备和电。
对开发者来说,现在最实际的动作不是追新模型,而是把自己的 agent 流程拆一遍——哪几步是高频碎活,哪几步真需要前沿能力。拆完之后你会发现,能挪到本地的比想象中多,而挪过去省下的钱,比换一个更强模型省下的多。#探寻人工智能,从技术到真实世界##两个潮汕人干出1100亿芯片王国##AI是下一个互联网吗##机器狗进哀牢山拍到“冥界之花”##人类可能会失去对人工智能的控制吗##AI已越过安全临界点了吗##中国半导体最昂贵的一次“提前下注”#