AI 爬虫访问并非单一开关
分别处理搜索发现、可能用于模型训练的内容，以及由用户触发的访问。各供应商提供的控制及其效果各不相同。
Does Anthropic crawl data from the web, and how can site owners block the crawler?
Anthropicsupport.claude.com
阅读采用这份来源的内容
2 篇内容ClaudeBot 流量与 Claude 搜索可见度是不同信号。
辨认 Anthropic 的三种代理，并以实际使用搜索的回答评估品牌提及、引用及推荐。