蒜粒
蒜粒圈

OpenAI开始遵守共享的robots.txt训练偏好信号,站点主可以表态了

OpenAI 在 10 月 30 日宣布,会遵守一个共享的 robots.txt 信号,用来让网站运营者向参与的 AI 提供商表达自己的「AI 训练偏好」。也就是说,站点主不用再靠一封封邮件或单独协议,而是可以用 robots.txt 这种现成、可被爬虫读取的方式表态。 这件事对两类人都有用。一类是自己有站点或内容库的团队:如果不希望内容被用于训练,应该尽快在 robots.txt 里加上对应声明,并定期检查主流爬虫是否遵守;另一类是做数据、爬虫和微调的人:采集管线必须正确解析 robots.txt,别把「没被拦」当成「被允许」。 值得注意的是,官方用的是「参与的提供商」这个说法,意味着它是一个多方共同遵守的约定,不是单方面承诺。落地前建议确认参与方名单,以及这个信号和现有 robots.txt 指令的优先级关系。 一句话:AI 训练偏好正在从行业默契变成机器可读的声明,做站点的和做数据的都得跟上。

0 条跟帖

登录后可以回复讨论

还没有跟帖,欢迎写下第一条。