近期遇到的问题

1：以前gogole对网站更新很及时，最近一个月google几乎不收录新页面，日志中虽然GogoleBot在抓取，但是基本上都是在爬已经收录过的页面。

2：以前百度对网站更新也很及时，几天前BaiduSpider几乎不出现在日志里面了，每天只抓固定的几个页面，robots 首页 ，居然都返回404。

网站没有任何问题，能正常访问，网站众多页面快照停留在11.27号。

开始怀疑是程序问题，将首页全部换成.html的，结果还是返回404

不得已写了个程序抓一下试试，发现居然返回的也是404

又用了一个早期的程序继续抓取，正常，返回200

后经测试发现第一个程序根本抓不到正确的目录，只能到达apache的根目录

所以猜测是服务器域名配置的问题

服务器的配置二级域名都是通过vhost.map来实现的

改用另外一种方式配置

再用第一个程序抓取，正常返回200

猜测：

百度和google近期更新了抓取的算法，新的抓取程序对利用vhost.map这种方式配置的网站上无法正常访问的

如果你也用vhost.map配置域名，就要赶紧改过来了。