首页 > seo技术 > 张国平SEO:如何用好nofollow

张国平SEO:如何用好nofollow

发表评论 评论:0 作者:墨明棋妙 发布时间:2011-8-8 22:42:36

张国平是墨明棋妙最认可与佩服的SEO专家之一。另一位是昝辉。其中技术方面我钦佩的是国平。他们俩在分享的同时将中国SEO的整体风气在潜移默化了。不可否认的,以王通为代表的SEO们将中国SEO界带入了一个阶段,这个阶段的SEOer会有一些普遍的特征,但这并不是好的,这个阶段延续到现在,才看到有扭转的希望。第一个希望是昝辉的SEO实战密码,告诉了大部分目前仍然迷茫或者自满的SEOer还有一个研究方向。而国平的SEM一家之言和光年论坛,恰好将SEO理论与数据分析方法进行了深入的剖析与讨论,并带动了国内一批渴望进步的SEOer向一个正确的方向前进了。

以下为墨明棋妙转载国平博客上的一篇关于nofollow方面的文章,对于这个在中国曾经备受争议的标签,国平做了深入的分析。在转载的过程中墨明棋妙也会做出一些评注!

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

我记得很多人知道我的博客是因为一篇关于nofollow的文章,恰好是在2年前写的。真没想到两年就这样转眼而过。现在我就来讲一下那篇文章中提到的那个nofollow做得好网站是哪个,以及他们如何做nofollow的吧。这个例子是我各种培训中都会讲到的,都已经讲得快起茧所以不想以后再说了。同时也为了让大家看看数据分析是如何指导SEO的。  

这个网站就是曾经在外贸B2B领域做得很成功的网站–Tradekey。这里先介绍一下这个网站的历史:这是一个完全依靠SEO起家的网站,总部在迪拜,现在是一家跨国公司,创始人非常年轻。我以前写过一篇《依靠SEO去打造一个成功的网站》,那这个网站就是经典案例。在外贸B2B领域,曾经有的网站一年都需要十来万费用,还拿不到多少询盘。但是曾经在Tradekey上,免费会员都能拿到很多不错的询盘。所以它依靠口碑在B2B领域慢慢流行起来,被誉为“B2B领域的一匹黑马”。在国内一些都比较懂网络的外贸人群中也很流行,以至于有段时间国内都出现了很多tradekey的伪代理。Tradekey是如此的强势,所以它后来基本关掉了免费会员,也就是所有在这个网站上发布产品的供应商,都要成为付费会员才可以。 在B2B领域,基本都是靠免费会员来拉人的,这样做真的需要底气。 

Tradekey的底气,就来源于它不错的SEO技术。很多做英文SEO的人都应该知道,在google上搜索很多的产品关键词,它都能有不错的排名,它的SEO流量非常的可观。加上和那些热门平台相比,它的供应商数量不是很多,所以大家的效果相对都能得到保证一些。  

这个网站也是我唯一见过的收录量曾经达到100%的大中型网站。我要讲的nofollow 的应用,就从这个网站如何提升收录开始。  

现在很多人都会把类似“注册”或“登录”这样的链接nofollow掉,这是因为google官方就建议这样做,当然tradekey也做了。  

红色框内的是nofollow的链接

红色框内的是nofollow的链接

不过一个网站中可以加nofollow的地方还有更多。我们来看它的导航条,在主页上,只有“Member Area” 这个链接被加了nofollow。 (如上图) 

但是在这个网站的其他网页上,导航条上所有的链接都被nofollow了。  

导航条更多的nofollow

导航条更多的nofollow

很少有人能敢把导航条上的链接nofollow掉,它这么做的原因,通过数据来分析一下也就明白了。  

如果你经常使用《光年日志分析系统》这样的软件来分析日志,就会发现一个网站中有很多的链接在一天之内是能被访问很多次的。如:以下就是这个软件统计出来的某个网页一天内被搜索引擎爬虫访问的数据:  

一天内不同蜘蛛的访问次数

一天内不同蜘蛛的访问次数

理论上来说,如果一个网页上的内容更新得不是很频繁,那这个网页一天被抓取一次就可以了。对于那种已经被收录而且内容一直不变的页面,一天被抓取一次都太多了。就算是更新很频繁的网页,一天被访问50次也完全够了。不过实际情况远比理论上的糟糕,就像上面的这个抓取数据,一个无关紧要的页面,百度爬虫一天都能抓取166次。大中型网站更糟,有一次我们分析完一个大型网站的数据,发现这个网站爬虫每天的抓取量虽然有120多万,但是其中有16万次抓取都是在抓首页这么一个网页,可以想象其他网页又有多严重。 

为什么我们要这么在意一个网页被重复抓取的几率呢? 这是因为一个网站中还有很多其他的网页,爬虫压根就抓取不到。哪怕你的网站只有几百个网页,都可能面临着这个问题。一个网站如果每个页面平均被重复抓取10次,尽管可能爬虫每天的抓取量有100万,那也只有10万个页面被抓取了。一天之内的情况是如此,时间拉长到一个月内、半年内,情况不会有多大改善。虽然搜索引擎也试图解决重复抓取的状况,但是由于各种原因,会导致今天重复抓取的页面,明天还是会重复抓取的。所以很多的大中型网站,一年下来,还有一半的网页,爬虫压根都没看到过。 如果不是分析了很多网站的数据,很多人都是无法想象情况有这么严重的。 

在抓取量一定的情况下,适当减低一些页面的重复抓取量,那会有更多的其他页面会被抓取到。 一个网站中,最容易被过度抓取的页面,就是那些经常曝光的页面,导航条上的链接就是经常曝光的。所以Tradekey的解决办法很简单,就是在首页这么一个页面上,给爬虫留下入口去抓取导航条上的链接,但是在其他网页上,就把导航条上的链接nofollow掉。这样处理,会使导航条上链接的抓取量,从以前被抓取上万次降低到现在被抓取几十次。虽然不能达到理想中的状况,但是也比以前好了非常多。 

Tradekey就用这种思想处理了网站上的很多链接。如: 

大量应用nofollow

大量应用nofollow

想象一下,当爬虫以这么一个页面作为访问的入口时,由于很多通用的链接都被屏蔽掉,这样就“逼着”爬虫去访问那些它以前从来没有看到过的页面。 整个网站能被爬虫访问到的页面就大大增加了。 

在google咖啡因改版的很久以前、Tradekey还只有英文版、产品信息只有200多万条的时候,它整个网站的真实收录量是两千多万。 所以基本认为这个网站做到了100%收录。 (真实收录是指按一个网站的URL特征查询各自的收录量,再把所有URL特征的收录量加起来的数据。这个数据在google咖啡因改版以前是比较准确的。)墨明棋妙批注:“咖啡因”与谷歌之前搜索引擎的不同之处在于其搜索底层规则有所变化。谷歌工程人员重新编写部分搜索引擎的底层架构。搜索更快,搜索的规则有一些变化。  

不过如果Tradekey只是这样来用nofollow,那还是有点平淡无奇的。更能体现Tradekey用活了nofollow的是它其他的改动。 

打开Tradekey的首页,可以看到Tradekey把网站最新发布的产品和推荐的产品信息给nofollow了。 

产品信息都被nofollow

产品信息都被nofollow

相信那些经验丰富的SEO人会觉得这是不可思议的,因为它这样做可能犯了两个错误:一是把最新发布的产品nofollow掉,那这些最新发布的产品的收录会受到影响。二是影响了“首页效应”,会让一些关键词的排名消失。 所谓的“首页效应”我要解释一下,因为很多人第一次听说这个名词。但是对于做大中型网站的SEO人员来说应该会观察到这个现象。就是在很多的大中型网站上,要做一些关键词的排名其实是比较容易的,只要把这个关键词链接在首页上放一段时间,这个关键词的排名就上升了。这是因为大中型网站首页的权重(权重不是PR)实在很大,首页上的链接分享了这个权重。如果这个放在首页的关键词是个长尾关键词,那基本会排前几位。大家去查一些大中型网站的首页链接,也都可以观察到这个现象。 

对于Tradekey来说,它在首页nofollow掉的这些链接,由于都是一些长尾关键词,如果不加nofollow,很多关键词都会有排名和流量的。如现在网页上的“Wheel Hub Centric Spacers” 这样的词语。 但是它为什么又不要这种词语的排名和流量呢? 

这是因为它从整体角度考虑,要把网站的收益最大化。“首页效用”是有前提的,就是首页的链接越多,每个链接的“首页效应”的效果越弱。这和PR值的原理一样,只是这个效果不是由于PR值的被稀释造成的。在首页上,把一部分链接nofollow掉,另外一些链接的效果就会增强。此消彼长,总体的流量不一定会降低。这时候就是一个取舍问题,那一个B2B网站要增强哪些页面的效果而减弱哪些页面的效果呢? 一个英文B2B网站中,用户在列表页面的转化率是产品页面的4倍以上,(中文网站也差不多,转化率高的原因是由于用户在列表页有更多的选择。)所以在平常的优化中,列表页面是要重点照顾到的页面。Tradekey要nofollow这些产品信息页,就是想增强其他列表页面的效果。 至于那个nofollow影响了新增加的产品的收录,要怎么解决呢?那就在其他页面上加一个“Latest Products”页面,专门可以解决这个问题。 

如果我们来做一个数据分析,也能证明这样做是明智的。 这个首页上有263个链接,假设在加这些nofollow之前,这263个链接的流量总和是1万IP,带来了100个询盘;那有可能加了nofollow以后,这263个链接(很多链接只是从首页nofollow了,只是不能沾“首页效应”的光,但是其他地方并没有nofollow,所以依然会有流量。)的流量总和还是1万左右的IP,带来了120个询盘; 从整体收益出发,不知道大家更喜欢哪个结果。 

为了增强整体的效果,牺牲一些局部利益是完全可以的, 我在《整体还是局部—如何制定好的SEO策略(1)》一文中讲了这样一个道理。整体还是局部,是要经常注意的一个问题,很多老的SEO方法就在这方面出了很多问题。 

上面是以Tradekey做为例子讲了两个nofollow的应用方法,让我们再回到主题,那要如何用好nofollow呢?  其实重要的不是如何用好nofollow的问题,nofollow永远只是一个手段,重要的是怎么知道用这些手段来达到你的目的。太多的人把手段当目的,把过程当结果了。还是以上面的例子来说,可能有些人马上会去模仿Tradekey的做法,我的建议先等一下。Tradekey做得好的地方不是它的nofollow用得如何好,而是它背后那种依靠数据分析指导SEO的过程做得很好。应该先分析一遍自己网站的数据再来做决策,每个网站不一样,别人的方法不一定适合你的网站。 永远以数据分析来指导SEO的进行,就不会停留在那种永远只做表面优化的阶段,而让你知其然也知其所以然。只要你知道了为什么要这么做,那怎么做的方法可以一天想一个出来。 

其实呢,Tradekey的这两个改动,起码是好几年前就有了。对于那些在第一线的SEO人员来说,这不是什么新鲜的做法。我要介绍它是希望大家可以不要那么重视主流的SEO观点,如果有数据做支撑,那就要相信你自己,按自己的想法来做事情。不管是国内还是国外,有些名人博客只是为了说而说,水平说不定要低于那些在第一线的人员,很多一线人员是没那么多时间或者不愿意出来说,不然主流SEO的整体水平会更上一层楼。

Tradekey也有很多做得不好的地方,这就是我为什么一开始介绍Tradekey的时候用了“曾经”这样的文字。这是因为它实在是太依赖SEO,(Tradekey的运营中心在巴基斯坦,SEO人员有28人。)所以它白帽的方法也用,黑帽的方法也用。曾经有两次被google惩罚过,现在网站正在走下坡路。

Tradekey在09年4月被惩罚了一次。不过它的处理方法也很巧妙。其实即使在google,一个网站被惩罚过的话,如果想以后不受限制,最好就是直接换个域名。 Tradekey发展到09年的时候已经是一家有好几个语言版本的大网站,已经是一个品牌,不可能轻易换域名。 它的处理方法是启用新的二级域名 www1.tradekey.com来替代 www.tradekey.com ,然后把 www.tradekey.com 302 跳转到 www1.tradekey.com 。这样既不需要换域名也相当于是个新网站,后来流量马上恢复。其实不用302,还有一个解决办法就是用cname也可以。(SEO人员不懂技术是很难做得好的。)

最近的一两年,Tradekey的核心SEO人员不断流失。SEO这块也就慢慢变弱。在今年的google内容农场事件中,Tradekey又因为内容问题被惩罚了一次。(Tradekey的内容一直都很差。) 直到现在流量还一直在跌,一个曾经SEO这么优秀的网站也就开始没落了。

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

这篇文章也出现了一些有价值的评论:

Q:国平老师有一点似乎理解错误了,印象中google的matt cutts似乎提到过,nofollow只是禁止蜘蛛抓取,而事实并不会把他的这份权重转移到其他follow的链接上去,比如首页权重100,有100个链接,nofollow掉50个,那并不是剩下来的50个页面各2权重,而一样是1,nofollow掉的这些个链接分配的权重直接流失了,所以nofollow目前的最大用处应该是来协助蜘蛛全面的抓取站点吧

A:文章里写了:权重不是PR

Q:我分析1个月日志,咨询过之前在百度工作过的工程师,才下定决心要nofollow导航。。没想到这已经是人家几年前的操作方法了。。。中国的SEO发展,真的只在那么几个人手里。。。

A:中国的SEO方法是落后国外很多,现在谈来谈去的都是几百年前的东西
希望国平给我们带来更多更新的SEO知识
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

在这里墨明棋妙再次摘抄Google官方对于nofollow的官方说明

"Nofollow"向网站管理员提供了一种方式,即告诉搜索引擎"不要追踪此网页上的链接"或"不要追踪此特定链接"。

最初,nofollow 属性出现在网页级元标记中,用于指示搜索引擎不要追踪(即抓取)网页上的任何出站链接。例如:

 <meta name="robots" content="nofollow" />

在将 nofollow 用于各个链接前,我们需要完成大量的工作(例如,将链接重定向至 robots.txt 中拦截的网址),以阻止漫游器追踪某网页上的各个链接。因此,我们创建了 rel 属性的 nofollow 属性值。这可让网站管理员更精确地进行控制:无需指示搜索引擎和漫游器不要追踪该网页的所有链接,只需轻松地指示漫游器不要抓取某特定链接即可。例如:

 <a href="signin.php" rel="nofollow">sign in</a>

Google 如何处理已使用 nofollow 的链接?

通常情况下,我们不会追踪这些链接。也就是说,Google 不会传送这些链接中的 PageRank 或定位文字。从本质上说,使用 nofollow 会使我们放弃整个网络中相应的目标链接。不过,如果有未使用 nofollow 的其他网站链接指向这些目标网页,或目标网页的网址是通过站点地图提交给 Google 的,则这些目标网页可能仍会出现在我们的索引中。此外,值得注意的是,其他搜索引擎对 nofollow 的处理方式可能略有不同。

Google 在使用 nofollow 方面的政策是什么?有哪些具体的使用示例?

在下面这些情况中,您不妨考虑使用 nofollow

  • 不可信赖的内容
  • 付费链接按优先级别进行抓取

nofollow 在社交网络 API (rel="nofollow me") 中是如何发挥作用的?

如果您托管了用户个人资料,且允许用户链接到网络上的其他个人资料,那么,我们建议您使用 rel="me" 微格式标记这些链接,便于用户在社交网络 API 中使用。例如:

<a href="http://blog.example.com" rel="me">我的博客</a>

但是,这些链接是用户生成的,并且有时可能会指向不受信任的网页,因此,我们建议您使用 nofollow 标记这些链接。例如:

<a href="http://blog.example.com" rel="me nofollow">我的博客</a>

对于 rel="me nofollow",出于搜索目的(不传送 PageRank),Google 会继续将其作为 rel="nofollow" 处理。但是,对于社交网络 API,即使其中包含了 nofollow,我们仍然将其作为 rel="me" 链接处理。

如果您能够使用识别技术(例如,OpenID 或 OAuth)验证链接的所有权,则也可以选择删除 nofollow 链接。

要阻止系统抓取 rel="me nofollow" 网址,您可以使用 robots.txt。Googlebot 和社交网络 API 都会优先考虑标准的 robots.txt 排除规则。

 本文通过张国平先生博文http://www.semyj.com/archives/1686整理而成。

深圳SEO:www.seo-mmqm.com

文章作者:墨明棋妙
本文地址:http://www.seo-mmqm.com/zhangguoping-seo-nofollow/
版权所有 © 转载时必须以链接形式注明作者和原始出处!

0 条评论 “张国平SEO:如何用好nofollow”

发表评论