jok Says:

之前注意过百度GG蜘蛛抓取中文URL乱码的问题

http://www.google.cn/search?q=site%3Awikipedia.org+%E6%98%A5%E8%8A%82
http://www.baidu.com/s?ie=utf-8&wd=site%3Awikipedia.org%20%E6%98%A5%E8%8A%82
wiki的网页是UTF8的,UTF8编码网页的url含有汉字百度没办法正常显示

下面360buy是gb2312,百度和GG都能正常显示
http://www.baidu.com/s?wd=site%3A360buy.com+inurl%3A%B9%A6%B7%F2%D0%DC%C3%A8
http://www.google.cn/search?q=site%3A360buy.com+inurl%3A%E5%8A%9F%E5%A4%AB%E7%86%8A%E7%8C%AB

GG应该也是最近才改良的,我没记错的话去年GG是没办法正常显示GB编码网页的中文URL

总结:做国内站还是要用GB编码的程序

还真是

参考：http://link-builder.cn/blog/2010/02/12/url-encode/#comment-1375