📍 WDQWDWQD987AAAAA:216.73.216.248
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /11698fb7dc31.html
📄

百度搜索技巧：怎样核对抓取限制，先看日志还是先看robots

核对抓取限制，核心是回答“百度蜘蛛到底能不能抓、抓了多少、被什么拦住”。不要只看robots.txt，也不要只凭搜索资源平台里的一个提示就下结论。正确顺序是：先确认百度蜘蛛是否来访，再看访问结果，最后逐项排查robots协议、服务器状态、页面返回码和抓取频次设置。只有把“来过但被拒”“根本没来”“来了但抓失败”区分开，才能定位真正原因。

第一步：先看服务器日志里有没有百度蜘蛛

抓取限制的第一手证据是服务器访问日志，而不是后台报表。用命令行筛选包含百度蜘蛛标识的记录，例如：

grep -i "Baiduspider" access.log | tail -n 50

观察三项内容：请求时间是否连续、请求URL是否是目标页面、返回状态码是什么。判断结果如下：

• 完全没有Baiduspider记录：可能是从未被抓取、抓取频次极低，或蜘蛛被防火墙拦截，不一定是robots限制。
• 有记录但状态码为403或503：更可能是服务器、CDN或安全策略拦截，需要检查访问控制规则。
• 有记录且状态码为200：说明页面能被抓取，问题可能出在内容质量、重复页面或索引筛选，而不是抓取限制。
• 有记录但状态码为301、302：需要继续跟踪跳转后的最终URL是否可访问。

这一步的意义在于把“抓取限制”拆成可观察事实。没有日志证据时，任何关于限制的判断都只是猜测。

第二步：检查robots.txt是否真的拦住了目标目录

robots.txt是常见的抓取限制来源，但它的作用范围有限。核对时不要只看文件是否存在，而要逐条比对目标URL。假设目标页面是/seo/guide.html，而robots.txt里写了Disallow: /seo/，那么这个页面确实会被限制抓取。如果写的是Disallow: /seo/private/，则/seo/guide.html不受影响。

检查项包括：

• 是否误写了Disallow: /，导致整站被限制。
• 是否在User-agent: Baiduspider下设置了单独的禁止规则。
• 是否存在Allow与Disallow冲突，且Allow路径更具体。
• robots.txt本身是否返回200，而不是404或500。

需要提醒的是，robots.txt只能限制遵守协议的蜘蛛。如果日志里根本没有Baiduspider，就不能把原因归结为robots；如果日志里有Baiduspider但被拒绝，robots才是需要优先处理的对象。

第三步：区分服务器拦截与抓取频次限制

有些抓取限制不在robots.txt里，而在服务器或CDN层面。常见现象是日志中出现大量403、429或503，或者同一IP段请求被重置。此时要检查：

• 防火墙是否把Baiduspider的IP段误判为恶意流量。
• CDN或WAF是否开启了过于严格的人机验证。
• 服务器是否因负载过高主动拒绝请求。
• 是否在搜索资源平台里主动设置了过低的抓取频次。

抓取频次设置属于“软限制”，它不会完全禁止抓取，但会降低蜘蛛来访频率。判断方法是：如果日志中Baiduspider访问间隔明显拉长，且服务器没有报错，同时robots.txt也未禁止，那么可以怀疑抓取频次被压低。此时应结合页面更新频率和服务器承载能力，逐步调整，而不是一次性拉到最高。

第四步：改动后如何复查，避免误判

调整robots.txt、防火墙或抓取频次后，不要立刻下结论。复查时至少观察一个完整的抓取周期，并注意以下变量：

• 搜索需求本身可能随季节或事件变化，抓取量下降未必是限制导致。
• 日志采集方式不同，可能漏掉部分IP或时间段的记录。
• 一次改动前后比较，要尽量保持页面结构、服务器配置和内容更新节奏一致。

复查的合格标准是：目标URL重新出现Baiduspider访问记录，返回200，且robots.txt不再拦截该路径。如果仍然没有访问，就回到第一步重新确认日志，而不是反复修改robots.txt。

把核对结果落成一张检查表

可以按下面顺序逐项打勾：

1. 日志中是否存在Baiduspider记录。
2. 记录对应的URL是否是目标页面。
3. 返回状态码是否为200。
4. robots.txt是否明确禁止了该路径。
5. 服务器或CDN是否返回403、429、503。
6. 抓取频次设置是否被主动调低。

如果第1项为否，优先查服务器和防火墙；如果第1项为是但第4项为是，优先改robots.txt；如果第1项为是且第3项为200，则抓取限制基本可以排除，应转向索引和内容质量排查。

下一步建议：先导出最近七天的访问日志，筛出Baiduspider记录，再对照robots.txt逐条比对目标URL。把“有来访”“被拒绝”“未来访”三种情况分开记录，再决定改哪里。