为什么推理时代更需要OCS?因为推理时代带来了与训练阶段完全不同的网络挑战。训练阶段流量模式可预测、批量同步,而推理阶段突发性强、实时交互。并且对延迟敏感度极其敏感,要求超低延迟和即时响应,这样一来传统电交换的"光-电-光"转换成为瓶颈。OCS单跳延迟
为什么推理时代更需要OCS?因为推理时代带来了与训练阶段完全不同的网络挑战。训练阶段流量模式可预测、批量同步,而推理阶段突发性强、实时交互。并且对延迟敏感度极其敏感,要求超低延迟和即时响应,这样一来传统电交换的"光-电-光"转换成为瓶颈。OCS单跳延迟