算力资讯
算力资讯技术进展

微软公布USB4多Win11电脑协同AI方案,搭积木式叠加内存/显卡算力跑本地模型

IT之家11月20日消息,微软昨日(11月19日)发布博文,宣布以开发者预览方式, 推出基于USB4的远程直接内存访问(RDMA)体验,实现多台Windows 11电脑合力跑AI模型体验。

IT之家注:RDMA是让一台电脑能够高效地向另一台电脑中获授权的内存区域读写数据,减少操作系统和CPU在数据搬运过程中的介入,主要优势是低延迟、高吞吐和较低的CPU占用。

根据官方描述,两台或多台符合要求的电脑通过USB4线缆连接后,无需另购专用RDMA网卡或配置交换机,可借助兼容的推理框架,调动各自的内存和GPU算力,共同运行一个AI模型。

在延迟方面,微软测试显示,在单次传输数据量较小的情况下,电脑间通信的往返延迟约为28至50微秒,仅为同一USB4链路上传统以太网UDP方式的四分之一。

初步测试中,微软使用三台各配128GB统一内存的AMD迷你电脑,通过40Gbps USB4连接,运行4位量化的2350亿参数Qwen3模型,生成速度约为每秒18.5个词元;AMD自测约为22个。

在三台搭载AMD Ryzen AI Max+ 395处理器的迷你电脑上,通过USB4实现RDMA性能:

测试方 模型与量化方式 上下文长度/生成词元数 解码速度(词元/秒) 提示词处理速度(词元/秒)AMD Qwen3-235B-A22B,4位量化(Q4_K_M)1,600/2,048 21.98 117.98英特尔则以四台各配64GB内存的酷睿Ultra Series 3电脑运行GPT-OSS-120B,在约1000词元上下文下达到每秒54.2个词元。

电脑数量(台) 上下文长度(词元) 首个词元生成时间(秒) 解码速度(词元/秒)3 1K 1.1 49.4 4 1K 1.2 54.2 3 2K 2.9 49.4 4 2K 3.2 51.7

转载说明引用来源:IT之家引用网址:https://www.ithome.com/1/030/081.htm