存档:标签 百度蜘蛛

  • 百度蜘蛛爬虫不同IP段有什么含义吗?

    问:百度蜘蛛爬虫不同IP段有什么含义吗? 倪叶明答: 最近我比较关注百度蜘蛛抓取这块,因为倪叶明博客看起来好像正在向一个比较好的状态在发展。 之前百度已经很长时间不收录内容页了,但是现在终于开始收录网站新文章了,这是一件比较好的事情。 所以 ...

    阅读全文

  • 百度蜘蛛抓取200、302代码

    问:百度蜘蛛抓取200、302代码是什么? 倪叶明答: 正常情况下,百度蜘蛛在抓取网站的时候应该返回的是200代码,这个代码代表着抓取正常的。 但是很多时候你可能会遇到抓取302或者404的错误,一般来说302代码居多。 302代码代表的是 ...

    阅读全文

  • 网站降权了,但是百度蜘蛛有抓取

    问:网站降权了,但是百度蜘蛛有抓取 倪叶明答: 网站降权与否与百度蜘蛛是不是会抓取网站,有个毛线关系。 不管你的网站是不是降权,百度蜘蛛正常情况下都会抓取你的网站内容,并且会收录这些内容页。 只是正常情况下,如果你的网站首页降权了,那么百度 ...

    阅读全文

  • 新网站百度蜘蛛抓取频率

    问:新站百度蜘蛛抓取频率断断续续正常吗? 倪叶明答: 因为网站是新建的,在网站里面基本上没什么内容,所以在网站运营的初级阶段,蜘蛛的抓取频率是比较低的。 正常情况下,可能只会抓取网站首页,不抓取内容页。 即使抓取内容页,也是寥寥无几。 新网 ...

    阅读全文