20年技术品牌建设都成浮云:编程智能体如何选择其首选工具
阅读完需:约 10 分钟
AI 的影响推动了关注点从搜索引擎优化( SEO )转向答案引擎优化(AEO),即优化内容,使其能够作为 Agent 生成的答案呈现。再进一步,还有 生成式引擎优化 (GEO),品牌会尝试影响 LLM。
软件工具本身是否也即将重新洗牌,让 Claude Code 、 Codex 和 Cursor 这样的代码助手,更倾向于选择某个特定的调试套件、渗透测试工具、迁移工具、包管理器、数据库(或者任何你想得到的软件栈核心功能工具集)或其他工具?
开发者工具增长服务公司 Armature 认为:答案是肯定的。
Armature 显然在这场游戏中有着非常直接的利益关系。上周,该公司 详细介绍了一项研究, 希望借此弄清楚,编程 Agent 是如何做出工具选择的,以及厂商怎样才能提高自己的产品被选中的概率。公司开展了一项实验性分析,旨在了解编程 Agent 如何看待工具、如何发现和选择工具,以及每个类别中最终哪一个工具能够胜出。
Armature 联合创始人 Theodore Otzenberger 告诉 The New Stack,软件开发者采用 AI 的速度和程度超过了任何其他职业,而随着模型变得更智能、 harness 工程变得更完善,完整的任务正被端到端地交给 Agent。
“在这项分析所观察的 17,000 次工具选择会话中,我们看到工具厂商二十年来做的品牌建设仿佛直接被冻结在了时间里,”Otzenberger 说。“一旦提到容器,Agent 马上就会想到 Docker ,但它对 Docker 现在提供的沙箱功能 却一无所知,所以最后它实际上反而不会选择这个工具。你的品牌声誉会跟着你一起进入模型权重,并绑定在让你成名的那个产品上……但如今,这种权重运行在一种完全不同的‘重力’之下。”
过去二十年积累起来的品牌优势,到了 Agent 这里,可能只剩一张停留在旧时代的快照。
Otzenberger 提醒我们,现在真正决定哪个工具会被接入代码库的是 Agent。他表示,这对今天的开发者工具厂商有“生死攸关的影响”。这些厂商现在必须确保自己的工具会被提及、被选择,并被提升到“必备工具”的位置,让编程 Agent 认为它非常值得使用。在他看来,如果做不到这一点,这些工具未来很可能就会被 Agent 直接排除在技术栈之外。
“我们公开了整项研究,包括所有 trace 和 prompt,任何人都可以自行核查,看看我们的实验是否存在人为倾向,也可以了解自己的产品目前处在什么位置。每出现一个新的 Agent 或模型,工具选择的结果都可能重新洗牌。所以我们很快会在 Astra 和 Fable 5.1 上重新跑一遍完整研究。如今,真正做决定的对象正在不断变化,理解这些 Agent 如何做选择,已经成了一个需要用工程方法解决的问题”,Otzenberger 补充说。
Otzenberger 和另一位联合创始人 Louis Scremin 表示,他们观察了数千次工具搜索过程,并模拟了多种不同类型的开发者,包括 vibe coder、初创公司的初级工程师和大型企业的资深开发者,最终设计了 1,163 种不同的 prompt。需要说明的是,该公司对外展示的核心数据来自规模较小、经过验证的 5,292 次会话子集,而不是完整的 17,000 次会话。
这项研究覆盖了 75 个彼此独立的代码仓库,并测试了 Claude Code、Codex 和 Cursor 三个编程 Agent。研究重点不只是看它们会推荐哪些工具,而是进一步观察它们在真实代码库中最终会选择并接入什么工具。
这项分析基于公开的 GitHub 仓库展开。团队记录了这些项目所使用的编程语言和框架、第三方服务、部署平台、团队规模以及代码库年龄等信息。由于公开的开源项目更偏向初创公司,而企业软件项目往往不会直接出现在 GitHub 上,团队又参考公开数据对样本进行了调整,让最终的项目分布更接近他们设定的目标结构。
随后,团队让 Claude Code、Codex 和 Cursor 分别按照这些代码库的实际要求完成任务,并在原始代码库的基础上删去部分内容,生成多个不同版本。为了尽量减少偏差,他们还使用了虚构的公司名称、人造的 Git 提交历史和伪造的 API Key。实验中还加入了一个模拟的人类参与环节,由 Gemini 3.7 Flash 通过 orchestrator 来扮演这个“人类”角色。
Armature 解释说:“模拟人类通常会接受排名第一的方案,或者让编程 Agent 自己挑选最合适的方案并完成实现。但我们发现,如果一开始就要求 Agent 不提问、直接动手,它往往会倾向于把所有功能都自己做出来,因为它没有机会询问是否可以采用某个第三方方案。加入这个“人类”环节后,头部工具和云平台原生方案原本过强的优势被削弱了,最终结果也更接近真实情况。”
也许并不令人意外,Armature 注意到,代码仓库上下文至关重要。当要求 Agent 选择最优的邮件/通信服务提供商时,四个用不同语言编写的代码库,最终选出了四个不同赢家。
Resend 在 TypeScript 代码中胜出(89 次运行中胜出 55 次)。
SendGrid 在 Python 中胜出(24 次中 22 次)。
Postmark 在 Go 中胜出(24 次中 20 次)。
Azure ACS 在 Java 中胜出(23 次中 22 次)。
Armature 还发现,不同编程 Agent 使用的信息来源不同,所以经常得出不同结论:
Cursor 在三分之二的会话中会基于 Web 信息做决策。
Codex 几乎总是使用 Web 搜索(占会话的 94%),但十次查询中有九次会使用 site 等搜索运算符。
Claude Code 主要依赖自身已有知识,只有大约 30% 的情况下会搜索 Web。但一旦它开始浏览网页,访问的页面数量会是 Codex 的 3 倍。
三个 Agent 只有在 42% 的测试单元里会选同一个工具;而 Claude Code 选择“自己造”的比例,几乎是 Codex 和 Cursor 的两倍(19% 对 10%)。
Glokal AI OÜ 创始人兼 CTO Jeet Pattanaik 告诉 The New Stack,Armature 提供的这类开发者工具增长服务属于一种“之所以存在,是因为激励机制存在”的业务,本质上可以说是“采购从后门进来了”。
“我最关注的发现是,被提到和最终胜出根本不是一回事,”Pattanaik 说。“PayPal 被提到了 139 次,却一次都没被选中。LangChain 是被提及最多的框架,共出现 194 次,但最终只被选择了 4 次。这中间的差距,正是这门生意存在的原因。因为决定 Agent 最后选谁的,已经不只是品牌知名度,而是它在做选择时具体看到了哪些信息。”
Pattanaik 指出,真正影响 Agent 做决定的,往往只是一些看起来微不足道的细节。
“所以,厂商接下来要优化的,除了仓库上下文本身,还有工具的配套文档和定价页面。这些内容今后面对的,可能越来越多是 Agent,而不是人。它不会扫一眼就过去,不会因为 Logo 好看就对某个产品更有好感,甚至连数据保留期限这种脚注都会按字面认真理解。这其实是一种很奇怪的新型 SEO,而它大概也会像过去的 SEO 一样,很快出现一整套针对它的优化方法。”Pattanaik 补充道。
“接下来,厂商真正要琢磨的,可能就是怎么让文档和定价页面更容易被 Agent 读懂。毕竟这个读者不会略读,也不吃品牌视觉那一套,连脚注都会认真理解。”
这种分析会给现实世界里的开发者带来什么影响,可能会成为未来几个月茶水间里的话题。
MailChannels 创始人 Ken Simpson ( ttul )在 Hacker News 上写道 ,他也为自己的公司做过类似的分析。
“Armature 确实抓到了一些东西。你先分析 Agent 在各种场景下会做出哪些选择,再判断自己究竟能做些什么,让 Agent 的选择开始向你的产品倾斜、远离竞争对手。”Simpson 写道。
值得指出的是,Armature 是一家非常年轻的公司,成立于 2026 年,因此这类分析目前还只是它早期的一些研究尝试。无论如何,如果未来越来越多工具由 Agent 来选,而它们参考的是公开代码库、开放数据和 Web 信息,那么厂商过去那套面向人类的营销方法,可能真的得重写了。
https://thenewstack.io/coding-agents-tool-choice/