DeepSeek全面开源DeepInfer
差不多十年前,我在一个专门做异构推理加速引擎的公司做研发项目经理……
那时候的推理加速框架,都还围绕Arm生态,图像模型为主……
如今的大模型推理加速已经完全不一样了……
当年的兄弟们也都遍布各个芯片公司和模型厂……
谁还记得当年的NCNN、Tengine、TNN……
DeepSeek全面开源DeepInfer
差不多十年前,我在一个专门做异构推理加速引擎的公司做研发项目经理……
那时候的推理加速框架,都还围绕Arm生态,图像模型为主……
如今的大模型推理加速已经完全不一样了……
当年的兄弟们也都遍布各个芯片公司和模型厂……
谁还记得当年的NCNN、Tengine、TNN……