建站知识库

如何判断和识别百度真假蜘蛛

百度真假蜘蛛是如何定义的?有时候我们会发现爬去我们网站的百度蜘蛛都是虚假的,这个怎么回事,遇到这样的问题又该如何应对呢?

可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。