之前注意过百度GG蜘蛛抓取中文URL乱码的问题

http://www.google.cn/search?q=site%3Awikipedia.org+%E6%98%A5%E8%8A%82
http://www.baidu.com/s?ie=utf-8&wd=site%3Awikipedia.org%20%E6%98%A5%E8%8A%82
wiki的网页是UTF8的,UTF8编码网页的url含有汉字百度没办法正常显示

下面360buy是gb2312,百度和GG都能正常显示
http://www.baidu.com/s?wd=site%3A360buy.com+inurl%3A%B9%A6%B7%F2%D0%DC%C3%A8
http://www.google.cn/search?q=site%3A360buy.com+inurl%3A%E5%8A%9F%E5%A4%AB%E7%86%8A%E7%8C%AB

GG应该也是最近才改良的,我没记错的话去年GG是没办法正常显示GB编码网页的中文URL

总结:做国内站还是要用GB编码的程序

还真是

参考：http://link-builder.cn/blog/2010/02/12/url-encode/#comment-1375

LinkBuilder的其他文章

• 一个有关外部链接锚文本的实验 — March 10, 2009
• 黑链：几种隐藏链接 — March 30, 2009
• Google 搜索结果页面的变化 — September 18, 2009
• 什么是最好的链接建立页面 — September 20, 2008
• 39个影响链接价值的因素 — October 22, 2008
• 有关内部链接锚文本的优化实验 — January 11, 2009

图片分享：流量变化趋势 for :http://www.coent.cn/

LinkBuilder的其他文章

• 一个有关外部链接锚文本的实验 — March 10, 2009
• 黑链：几种隐藏链接 — March 30, 2009
• Google 搜索结果页面的变化 — September 18, 2009
• 什么是最好的链接建立页面 — September 20, 2008
• 39个影响链接价值的因素 — October 22, 2008
• 有关内部链接锚文本的优化实验 — January 11, 2009

1、解决问题的意识：被K的时候知道自己为什么被K，排名上不去的时候知道为什么上不去，学会分析别人的网站，寻求解决方法。当然自己分析的时候难免很多 错误，但是这都不要紧，重要的是这种意识，通过自己解决问题的意识，这样才能处理以后遇到的困难。

2、独立的意识：一有问题到处都是观点，这观点，那观点，如何确立自己的观点很重要，不盲从，不跟风，拥有独立的意识。

这两点都是看似容易，却最难做到。不要有任何问题就只知道问，不要别人说什么你就信什么

很多人任何问题他最先想到的就是问问别人为什么，而不是问自己，这样怎么能独挡一面

当然这两点并不是只适用于此行业，在任何行业都是需要的，想做的好一定要有独立的意识

盛大网络招聘SEO/SEM工程师 && 盛大网络招聘

代“用友软件”朋友招聘SEO顾问～&& 用友软件招聘

LinkBuilder的其他文章

• 一个有关外部链接锚文本的实验 — March 10, 2009
• 黑链：几种隐藏链接 — March 30, 2009
• Google 搜索结果页面的变化 — September 18, 2009
• 什么是最好的链接建立页面 — September 20, 2008
• 39个影响链接价值的因素 — October 22, 2008
• 有关内部链接锚文本的优化实验 — January 11, 2009

一般来说，URL只能使用英文字母、阿拉伯数字和某些标点符号，不能使用其他文字和符号。比如，世界上有英文字母的网址 “http://www.abc.com”，但是没有希腊字母的网址“http://www.aβγ.com”（读作阿尔法-贝塔-伽玛.com）。这是 因为网络标准RFC 1738做了硬性规定：

“…Only alphanumerics [0-9a-zA-Z], the special characters “$-_.+!*’(),” [not including the quotes - ed], and reserved characters used for their reserved purposes may be used unencoded within a URL.”

“只有字母和数字[0-9a-zA-Z]、一些特殊符号“$-_.+!*’(),”[不包括双引号]、以及某些保留字，才可以不经过编码直接用于 URL。”

这意味着，如果URL中有汉字，就必须编码后使用。但是麻烦的是，RFC 1738没有规定具体的编码方法，而是交给应用程序（浏览器）自己决定。这导致“URL编码”成为了一个混乱的领域。

下面就让我们看看，“URL编码”到底有多混乱。我会依次分析四种不同的情况，在每一种情况中，浏览器的URL编码方法都不一样。把它们的差异解释 清楚之后，我再说如何用Javascript找到一个统一的编码方法。

二、情况1：网址路径中包含汉字

打开IE（我用的是8.0版），输入网址“http://zh.wikipedia.org/wiki/春节”。 注意，“春节”这两个字此时是网址路径的一部分。

查看HTTP请求的头信息，会发现IE实际查询的网址是“http://zh.wikipedia.org/wiki/%E6%98%A5%E8%8A%82”。 也就是说，IE自动将“春节”编码成了“%E6%98%A5%E8%8A%82”。

我们知道，“春”和“节”的utf-8编码分别是“E6 98 A5”和“E8 8A 82”，因此，“%E6%98%A5%E8%8A%82”就是按照顺序，在每个字节前加上%而得到的。（具体的转码方法，请参考我写的《字符编码笔记》。）

在Firefox中测试，也得到了同样的结果。所以，结论1就是，网址路径的编码，用的是utf-8编码。

三、情况2：查询字符串包含汉字

在IE中输入网址“http://www.baidu.com/s?wd=春节”。注意，“春节”这两个字此时 属于查询字符串，不属于网址路径，不要与情况1混淆。

查看HTTP请求的头信息，会发现IE将“春节”转化成了一个乱码。

切换到十六进制方式，才能清楚地看到，“春节”被转成了“B4 BA BD DA”。

我们知道，“春”和“节”的GB2312编码（我的操作系统“Windows XP”中文版的默认编码）分别是“B4 BA”和“BD DA”。因此，IE实际上就是将查询字符串，以GB2312编码的格式发送出去。

Firefox的处理方法，略有不同。它发送的HTTP Head是“wd=%B4%BA%BD%DA”。也就是说，同样采用GB2312编码，但是在每个字节前加上了%。

所以，结论2就是，查询字符串的编码，用的是操作系统的默认编码。

四、情况3：Get方法生成的URL包含汉字

前面说的是直接输入网址的情况，但是更常见的情况是，在已打开的网页上，直接用Get或Post方法发出HTTP请求。

根据台湾中兴大学吕瑞麟老师的试验，这时的编码方法由网页的编码决定，也就是由HTML源码中字符集的设定决定。

<meta http-equiv=”Content-Type” content=”text/html;charset=xxxx”>

如果上面这一行最后的charset是UTF-8，则URL就以UTF-8编码；如果是GB2312，URL就以GB2312编码。

举例来说，百度是GB2312编码，Google是UTF-8编码。因此，从它们的搜索框中搜索同一个词“春节”，生成的查询字符串是不一样的。

百度生成的是%B4%BA%BD%DA，这是GB2312编码。

Google生成的是%E6%98%A5%E8%8A%82，这是UTF-8编码。

所以，结论3就是，GET和POST方法的编码，用的是网页的编码。

五、情况4：Ajax调用的URL包含汉字

前面三种情况都是由浏览器发出HTTP请求，最后一种情况则是由Javascript生成HTTP请求，也就是Ajax调用。还是根据吕瑞麟老师的 文章，在这种情况下，IE和Firefox的处理方式完全不一样。

举例来说，有这样两行代码：

url = url + “?q=” +document.myform.elements[0].value; // 假定用户在表单中提交的值是“春节”这两个字

http_request.open(’GET’, url, true);

那么，无论网页使用什么字符集，IE传送给服务器的总是“q=%B4%BA%BD%DA”，而Firefox传送给服务器的总是“q=%E6%98 %A5%E8%8A%82”。也就是说，在Ajax调用中，IE总是采用GB2312编码（操作系统的默认编码），而Firefox总是 采用utf-8编码。这就是我们的结论4。

六、Javascript函数：escape()

好了，到此为止，四种情况都说完了。

假定前面你都看懂了，那么此时你应该会感到很头痛。因为，实在太混乱了。不同的操作系统、不同的浏览器、不同的网页字符集，将导致完全不同的编码结 果。如果程序员要把每一种结果都考虑进去，是不是太恐怖了？有没有办法，能够保证客户端只用一种编码方法向服务器发出请求？

回答是有的，就是使用Javascript先对URL编码，然后再向服务器提交，不要给浏览器插手的机会。因为Javascript的输出总是一致 的，所以就保证了服务器得到的数据是格式统一的。

Javascript语言用于编码的函数，一共有三个，最古老的一个就是escape()。虽然这个函数现在已经不提倡使用了，但是由于历史原因， 很多地方还在使用它，所以有必要先从它讲起。

实际上，escape()不能直接用于URL编码，它的真正作用是返回一个字符的Unicode编码值。比如“春节”的返回结果 是%u6625%u8282，也就是说在Unicode字符集中，“春”是第6625个（十六进制）字符，“节”是第8282个（十六进制）字符。

它的具体规则是，除了ASCII字母、数字、标点符号“@ * _ + - . /”以外，对其他所有字符进行编码。在\u0000到\u00ff之间的符号被转成%xx的形式，其余符号被转成%uxxxx的形式。对应的解码函数是 unescape()。

所以，“Hello World”的escape()编码就是“Hello%20World”。因为空格的Unicode值是20（十六进制）。

还有两个地方需要注意。

首先，无论网页的原始编码是什么，一旦被Javascript编码，就都变为unicode字符。也就是说，Javascipt函数的输入和输出， 默认都是Unicode字符。这一点对下面两个函数也适用。

其次，escape()不对“+”编码。但是我们知道，网页在提交表单的时候，如果有空格，则会被转化为+字符。服务器处理数据的时候，会把+号处 理成空格。所以，使用的时候要小心。

七、Javascript函数：encodeURI()

encodeURI()是Javascript中真正用来对URL编码的函数。

它着眼于对整个URL进行编码，因此除了常见的符号以外，对其他一些在网址中有特殊含义的符号“; / ? : @ & = + $ , #”，也不进行编码。编码后，它输出符号的utf-8形式，并且在每个字节前加上%。

它对应的解码函数是decodeURI()。

需要注意的是，它不对单引号’编码。

八、Javascript函数：encodeURIComponent()

最后一个Javascript编码函数是encodeURIComponent()。与encodeURI()的区别是，它用于对URL的组成部分 进行个别编码，而不用于对整个URL进行编码。

因此，“; / ? : @ & = + $ , #”，这些在encodeURI()中不被编码的符号，在encodeURIComponent()中统统会被编码。至于具体的编码方法，两者是一样。

它对应的解码函数是decodeURIComponent()。

最后百度是可以正常收录GB2312的中文URL编码的，google可以正常收录UTF-8的中文URL

LinkBuilder的其他文章

• 一个有关外部链接锚文本的实验 — March 10, 2009
• 黑链：几种隐藏链接 — March 30, 2009
• Google 搜索结果页面的变化 — September 18, 2009
• 什么是最好的链接建立页面 — September 20, 2008
• 39个影响链接价值的因素 — October 22, 2008
• 有关内部链接锚文本的优化实验 — January 11, 2009

方法很简单：

写个程序扫描google的blogspot，你可以找到很多很多被作者自己删掉的google博客，很多博客作者放弃写作就删了自己的博客

因为扫描的路径都是通过博客上面的链接找的，所以你找到的博客通常都是有链接的

运气好的话可以有很多链接

统计这些博客，重新注册

一次PR更新会为你带来很多很多有PR的博客域名

然后可以做链接了

不过还需一些注意，比如说内容和被删，还有注册，可以自己试试

同理你也可以扫描其他博客系统或者域名

LinkBuilder的其他文章

• 一个有关外部链接锚文本的实验 — March 10, 2009
• 黑链：几种隐藏链接 — March 30, 2009
• Google 搜索结果页面的变化 — September 18, 2009
• 什么是最好的链接建立页面 — September 20, 2008
• 39个影响链接价值的因素 — October 22, 2008
• 有关内部链接锚文本的优化实验 — January 11, 2009

我在一个站上面看到一些留言，都是nofollow的，这个站点本身是个比较受欢迎的音乐站点，从这个站点的风格和每天的更新数量可以看的出来，再加上 pr：5，alexa排名高，1w名之内，不用说，肯定每天的流量不会低，可想而知，如果在这种站点上面留言，并且加上一些链接的话，效果肯定是非常不错 的。即使在不能做为google的外链的情况下，还是可以为站点带来流量的。
回头看下nofollow的链接：
<a rel=’nofollow’ href=”#”>xxx</a>
在没发布之前，我们发的链接是这样子的<a href=”#”>xxx</a>,后来加上了一个属性值，就把它nofollow掉了。
接下来呢，我试了下，自己给链接加上了rel属性值，即<a rel=’dofollow’ href=”#”>xxx</a>
结果如我所料，nofollow效果消失了

很不错的想法

LinkBuilder的其他文章

• 一个有关外部链接锚文本的实验 — March 10, 2009
• 黑链：几种隐藏链接 — March 30, 2009
• Google 搜索结果页面的变化 — September 18, 2009
• 什么是最好的链接建立页面 — September 20, 2008
• 39个影响链接价值的因素 — October 22, 2008
• 有关内部链接锚文本的优化实验 — January 11, 2009

百度长尾排名的一条整体思想：新的比旧的强

意思就是，百度喜欢新鲜的东西。

这种方式自然有他的好处

先来看看好处

在很多领域，特别是娱乐和网民大量关注的领域中，这个非常好用。因为新的确实比旧的强，新的娱乐新闻肯定是大家更想看的，新的减肥方法也是大家关注的，新的话题也是大家希望看到的东西。所以普通用户都感觉：百度挺不错的。

当然长尾的排名在百度的这条整体思想下，还会根据网站的权重进行具体排名。

看看这些方面google的做法

对新话题给予特殊的权重，包括新博客页面等，搜索整合，博客，新闻等，这是google对新话题的基本操作方式。

在来看看百度这种排名方式的坏处

坏处就多了，特别是对于细分或者专业的领域，百度的这种排名方式是很傻的，因为很多领域更新不是最重要的，权威才是，但是百度仍旧用他新的比旧的强的思想来排名使得很多有用的信息无法出现，就因为你已经不是最新的了，百度或许会把一个抄袭你的信息排在前面，只因为他出现的比较晚。百度是不稳定的。

在百度这条整体思想的带领下，百度的技术比google差了10万八千里，可悲的是百度根本不知道进步

百度甚至无法很好的收录文章分页

对比百度和google

google可以处理好基本上大部分的搜索，百度继续它的娱乐化。

LinkBuilder的其他文章

• 一个有关外部链接锚文本的实验 — March 10, 2009
• 黑链：几种隐藏链接 — March 30, 2009
• Google 搜索结果页面的变化 — September 18, 2009
• 什么是最好的链接建立页面 — September 20, 2008
• 39个影响链接价值的因素 — October 22, 2008
• 有关内部链接锚文本的优化实验 — January 11, 2009

1：以前gogole对网站更新很及时，最近一个月google几乎不收录新页面，日志中虽然GogoleBot在抓取，但是基本上都是在爬已经收录过的页面。

2：以前百度对网站更新也很及时，几天前BaiduSpider几乎不出现在日志里面了，每天只抓固定的几个页面，robots 首页 ，居然都返回404。

网站没有任何问题，能正常访问，网站众多页面快照停留在11.27号。

开始怀疑是程序问题，将首页全部换成.html的，结果还是返回404

不得已写了个程序抓一下试试，发现居然返回的也是404

又用了一个早期的程序继续抓取，正常，返回200

后经测试发现第一个程序根本抓不到正确的目录，只能到达apache的根目录

所以猜测是服务器域名配置的问题

服务器的配置二级域名都是通过vhost.map来实现的

改用另外一种方式配置

再用第一个程序抓取，正常返回200

猜测：

百度和google近期更新了抓取的算法，新的抓取程序对利用vhost.map这种方式配置的网站上无法正常访问的

如果你也用vhost.map配置域名，就要赶紧改过来了。

LinkBuilder的其他文章

• 一个有关外部链接锚文本的实验 — March 10, 2009
• 黑链：几种隐藏链接 — March 30, 2009
• Google 搜索结果页面的变化 — September 18, 2009
• 什么是最好的链接建立页面 — September 20, 2008
• 39个影响链接价值的因素 — October 22, 2008
• 有关内部链接锚文本的优化实验 — January 11, 2009

上周5晚上12点 到今天刚好满一个星期了，上海电信机房

为现在仍旧被关，已经即将关的默哀

LinkBuilder的其他文章

• 一个有关外部链接锚文本的实验 — March 10, 2009
• 黑链：几种隐藏链接 — March 30, 2009
• Google 搜索结果页面的变化 — September 18, 2009
• 什么是最好的链接建立页面 — September 20, 2008
• 39个影响链接价值的因素 — October 22, 2008
• 有关内部链接锚文本的优化实验 — January 11, 2009

Google搜索结果新变化，用面包屑导航代替网址显示

看不到的话，退出登录，清除cookie，基本上就能看到了

LinkBuilder的其他文章

• 一个有关外部链接锚文本的实验 — March 10, 2009
• 黑链：几种隐藏链接 — March 30, 2009
• Google 搜索结果页面的变化 — September 18, 2009
• 什么是最好的链接建立页面 — September 20, 2008
• 39个影响链接价值的因素 — October 22, 2008
• 有关内部链接锚文本的优化实验 — January 11, 2009