百度 Google不更新的问题-vhost.map
Tuesday, 12. 15. 2009 – Category: SEO经验
近期遇到的问题
1：以前gogole对网站更新很及时，最近一个月google几乎不收录新页面，日志中虽然GogoleBot在抓取，但是基本上都是在爬已经收录过的页面。
2：以前百度对网站更新也很及时，几天前BaiduSpider几乎不出现在日志里面了，每天只抓固定的几个页面，robots 首页 ，居然都返回404。
网站没有任何问题，能正常访问，网站众多页面快照停留在11.27号。
开始怀疑是程序问题，将首页全部换成.html的，结果还是返回404
不得已写了个程序抓一下试试，发现居然返回的也是404
又用了一个早期的程序继续抓取，正常，返回200
后经测试发现第一个程序根本抓不到正确的目录，只能到达apache的根目录
所以猜测是服务器域名配置的问题
服务器的配置二级域名都是通过vhost.map来实现的
改用另外一种方式配置
再用第一个程序抓取，正常返回200
猜测：
百度和google近期更新了抓取的算法，新的抓取程序对利用vhost.map这种方式配置的网站上无法正常访问的
如果你也用vhost.map配置域名，就要赶紧改过来了。
作者：Link Building
原文：百度 Google不更新的问题-vhost.map