众力资讯网

#DeepSeek全面开源DeepInfer# 差不多十年前,我在一个专门做异构推理加速引擎的公司做研发项目经理…… 那时候的推理加速框架,都还围绕Arm生态,图像模型为主…… 如今的大模型推理加速已经完全不一样了…… 当年的兄弟们也都遍布各个芯片公司和模型厂…… 谁还记得当年的NCNN、Tengine、TNN…… ​

DeepSeek全面开源DeepInfer

差不多十年前,我在一个专门做异构推理加速引擎的公司做研发项目经理……

那时候的推理加速框架,都还围绕Arm生态,图像模型为主……

如今的大模型推理加速已经完全不一样了……

当年的兄弟们也都遍布各个芯片公司和模型厂……

谁还记得当年的NCNN、Tengine、TNN…… ​