向量维度是能调的:embedding选型别直接用默认档
做语义检索的团队常把 embedding 当黑盒,其实官方文档里维度是可以选的。以阿里云百炼的 qwen3.7-text-embedding 为例,支持 2560、2048、1536、1024、768、512、256 七档,默认 1024;单行最长 128k token,一次最多 20 行;价格 0.0005 元每千输入 token,走 Batch 接口只要一半。 维度直接影响成本:向量库的存储、索引大小、查询延迟都和维度成正比。所以别一上来拉满,先用默认档做基线,再往 768、512 甚至 256 压,用同一套评估集看召回掉多少,掉得可接受就省下来了。 落地按四步:一是准备几十条查询和标注结果当评估集;二是同一条管线跑两三个维度,比较召回、存储、延迟三个数;三是长文档按单行 token 上限切块,别让超长内容被截断;四是大批量重建索引时走 Batch 接口,价格是实时的一半。 提醒一句:不同模型的默认维度和上限不一样,比如 text-embedding-v4 是 2048 起步、单行 8k、每次 10 行,换模型时要重算一次,别照搬参数。
还没有跟帖,欢迎写下第一条。