OpenAI把存储读性能提了12倍:多租户、全局缓存与Cosmos DB
OpenAI 在 10 月 23 日发了一篇工程文章(系列第二部分):为了支撑超过 10 亿 ChatGPT 用户,他们扩展了存储系统 Habitat,靠三样东西把读性能提了 12 倍——可靠的多租户、全局缓存,以及 Azure Cosmos DB。 这个案例值得看的地方是它把问题定位得很准:大规模 AI 产品的瓶颈常常不在模型,而在每个请求都要读的那层存储,比如会话记录、文件元数据、权限和配置,读放大会被请求数成倍放大。多租户又让问题更复杂,一个吵闹的租户能拖慢所有人。 给自建团队的几条可操作建议:一是给读路径分三层缓存(进程内、全局、源库),每层都写清失效语义;二是多租户要在数据模型层就隔离,租户键、配额、防邻居噪声;三是把读放大倍数和 P99 读延迟当核心指标,别只看平均延迟;四是云上别先堆实例,先看热点 key 的分布,热点问题堆机器只会更贵。 一句话:AI 产品的规模问题,最后往往落在存储和缓存这些「不性感」的地方。
还没有跟帖,欢迎写下第一条。