众力资讯网

token就是字符串,它是被AI格式化分词以后的词元,比如“你是傻子”会被程序切

token就是字符串,它是被AI格式化分词以后的词元,比如“你是傻子”会被程序切割成“你”“是”“傻子”三个token,并计算它们的权重对应关系,根据权重计算出最佳的回应。这样“你是傻子”就是输入token,大模型的回答“请文明交流”就是输出token。输出token消耗的是带宽(除第一次切片以外),不消耗算力,大模型根据你的输入进行计算输出的token才消耗算力。

现在的AI公司对输入token也收费,这就相当于当年的神州行双向收费,纯属霸王条款,随着竞争的白热化,输出token收费必将成为历史。现在的AI token不是便宜,而是太贵,把带宽当话费卖,真有创意。

一个256K的对话历史。你再输入一个hello,它的输入token计费规则是 256K+2字节,这不是坑爹么?因为那256K已经是你的KV缓存并且压缩了,所以这时只占带宽。

更炸裂的地方在于,大模型的上一轮输出,会变成它下一轮的输入,无限叠甲,你说爽不爽?

很多人觉得token费,不是你真的用了那么多token算力,得到了相应的结果,而是AI公司设置的各种计费陷阱在收割你们。

为什么那么多人上蹿下跳地吹token消耗了多少,努力地把一切都token化,这可以把傻子的钱从兜里掏出来。

比如百万token听上去很多,实际只有2兆字节,一个超长对话就是百万token。如果你带上附件分析了,好嘛,也给你算成token收费了。

所以我99%的任务通过拆分化小规范边界本地化完成了,只是需要我操心将他们模块化任务并处理好每次的验证点和各迭代间的解耦性。剩下1%疑难杂症用线上API的经验处理一下。主打一个你有能力我就蹭,你想赚我钱没门。

AI公司定价贵,必然导致用量向价值收敛以达到平衡,而不是初期便宜时随便造那种局面。

AI 使用正在从“无限生成”转向“精准调用”。程序员的价值也在被AI第一波冲击以后开始回归。一个好的程序员可以以更强的速度,极低的成本进行开发。那些token消耗大而产出一般的程序员,混不了多久了。