蒜粒
蒜粒圈

RTX Spark笔记本开卖:最高128GB统一内存,起价2399美元

英伟达官方博客 10 月 17 日宣布 RTX Spark 笔记本开卖:Blackwell 架构 RTX 显卡、最高 128GB 统一内存、完整的 NVIDIA AI 平台,起价 2399 美元,首批来自华硕、戴尔、惠普、联想、微软和微星。 对想在本地跑模型的人,值得注意的不是显卡型号,而是那 128GB 统一内存。消费级设备做端侧推理,卡住的多半是显存容量而不是算力——权重、KV cache 和上下文一起放不下,就只能降量化或砍上下文。内存上限抬上去,能塞进去的模型和上下文都会变,但具体能跑多大取决于量化和框架,官方没给统一口径,别拿参数当结论。 选型可以按三步:先按「参数量 × 每参数字节(量化后)+ KV cache」估体积,再决定要不要 128GB 这一档;再把整机价格、电费和运维折进去算 TCO,和按小时租卡比一比;最后看场景——数据不能出内网、低并发、长时间常驻的任务,端侧往往更划算;高并发或短时爆发还是租算力更省。 一句话:端侧和云端不是替代关系,是不同负载的分工。

0 条跟帖

登录后可以回复讨论

还没有跟帖,欢迎写下第一条。