AI 爬虫

这一节收录 5 篇，按下面的顺序看。

• AI 爬虫　是为大模型服务的自动化抓取程序，它们拿网页内容做训练语料或做检索索引
• AI 爬虫管理　是按用途逐条决定这些抓取程序能不能进、进了拿什么、拿多少次
• Google-Extended　是一个产品令牌，只写在 robots.txt 里
• GPTBot 与各家令牌　GPTBot是 OpenAI 的抓取工具，用来收集可能用于训练生成式 AI 模型的内容
• AI 爬虫的 IP 与验证　用来确认一个请求是否来自某家爬虫，依据有两条：来源 IP 的反向域名解析，以及官方公布的 IP 段列表