博通作为行业大佬,在技术和创新方面一直领先业界。近日更新了自家的SUE规范:Scale-Ethernet-RM102.pdf
SUE处理流(processing flow)
SUE(Scale Up Ethernet)的特点总结
低延迟与高带宽设计
- 目标场景:专为机器学习、AI推理等复杂 workloads 设计,满足 XPU(如 GPU、ML 加速器)集群扩展至机架或多机架级别的需求,提升大数据集处理、深度神经网络训练等任务的效率。
- 性能指标:端到端往返延迟(RTT)<2μs,单 SUE 实例带宽达 800Gbps(可扩展至 1.6Tbps),支持 200Gbps 高速 Serdes(兼容 100G/50G)。
灵活的部署与端口配置
- 拓扑支持:
- 单跳交换部署:通过交换机实现多 XPU 连接,例如 64 个 XPU 搭配 12 台 800G 交换机,任意 XPU 对间带宽可达 9.6Tbps。
- 网格(Mesh)部署:支持 XPU 间直接连接,减少交换机依赖。
- 端口配置:每个 SUE 实例可配置 1/2/4 个端口,例如 800G 实例可拆分为 2×400G 或 4×200G,适配交换机基数、冗余及故障切换需求。
高效的事务处理与接口设计
- 事务模型:
- 支持“命令/响应”模式,透明处理 XPU 特定操作(如内存读写、原子操作),可扩展缓存一致性等服务。
- 采用共享内存模型,1 -sided 语义(源 XPU 单方面发起命令,无需目的地确认),区别于 RoCE 等需要建立连接的协议。
- 接口类型:
- XPU 管理接口:基于 AXI 目标接口,用于寄存器配置、状态查询及低速数据包收发(≤10K 包/秒)。
- XPU 命令接口:支持 FIFO(基于信用机制)或 AXI4 接口,适配不同 XPU 架构需求。
- 以太网接口:兼容 200G/100G Serdes,支持标准以太网格式或优化的 AI 转发头(AFH Gen1/Gen2),减少网络开销。
可靠性与流量控制机制
- 无损传输:
- 链路层:通过链路层重试(LLR)纠正 FEC 未处理的数据包错误,搭配优先级流控制(PFC)或信用-based 流控制(CBFC)避免拥塞丢包。
- 传输层:使用 Go-Back-N 重传机制,基于包序列号(PSN)确保数据可靠交付,支持严格有序或无序传输模式。
- 网络优化:
- 虚拟通道(VC)支持最多 4 个独立流量类,避免死锁;分区字段(Partition)提供多租户隔离。
- 支持 AFH Gen2 压缩包头(6B/12B),适配 IEEE 802.1Q 标准,减少传输开销。
负载均衡与打包机制
- 负载均衡:
- 多端口模式下支持无序负载均衡,动态分配流量至可用端口;XPU 可通过硬件或软件层实现跨 SUE 实例的负载分发。
- 数据打包:
- 按目的地和 VC 分组打包,最大支持 4096 字节 PDU,优化网络传输效率,避免因打包延迟交易发送。
相对于上一版本(RM101)的更新点
接口增强
- 新增 AXI 接口:在 XPU 与 SUE 之间引入 AXI4 主/从接口,每个 400G 以太网接口对应独立 AXI 通道(AW/W/B/AR/R),支持信用机制防止缓冲区溢出,提升数据传输的标准化与兼容性。
网络包头优化
- 更新 AFH 格式:
- AFH Gen2:基于 IEEE 802.1Q 结构化本地地址计划,推出 6B 和 12B 压缩包头,通过映射 XPU 标识符到 MAC 地址字段,减少网络层开销,提升传输效率。
- AFH Gen1:明确支持带 Shim 头的格式,兼容更多网络场景,增强与标准以太网交换机的互操作性。
打包机制细化
- 补充打包流程细节:明确 SUE 按目的地队列动态打包交易,最大打包限制(如 2K 字节),且不因打包延迟单个交易发送,优化吞吐量与延迟的平衡。
文档修正
- 修复 RM101 中的重复图片问题,提升文档可读性(RM101 主要更新)。
© 版权所有