深圳SEO-墨明棋妙

写ROBOTS是每个做SEO的工作者的必修课，ROBOTS.TXT的设置好了，也许对你的网站排名提升算不上起到非常大的作用，但是ROBOTS要是设置不好的话，倒是可能对你的网站优化工作有很大的影响了！我在做深圳SEO优化的时候，也好好的分析了ROBOTS的写法，下面分享一下自己的心得。
1.什么是ROBOTS.TXT？
ROBOTS.TXT是搜索引擎和网站站长之间沟通的一个桥梁，网站管理者需要正确设置自己网站的ROBOTS文件，通过这个文件告诉搜索引擎爬虫程序该网站哪些页面是允许蜘蛛抓取，哪些页面是不允许蜘蛛抓取的！目前主流的搜索引擎都是遵循ROBOTS规则的，但是可不要误解搜索引擎并不能抓取你的网站哦，只是搜索引擎严格遵循这个规则而已，如果他不想遵循这个规则了，他照样能轻松的抓取你的网站内容！在百度蜘蛛等BOTS爬到你的网站时，做的第一件事就是爬行你的ROBOTS文件，记录你的网站中有哪些不允许爬行，之后严格遵循这个协议来索引你的文件。
2.ROBOTS的写法
首先，ROBOTS必须放在网站根目录下命名为robots.txt
User-agent: *
Disallow:\
Allow：
User-agent:后面为搜索机器人的名称，后面如果是*，则泛指所有的搜索机器人；当然也可以写成BaiduSpider，GoogleBot等蜘蛛，针对其专门设置抓取权限。 Disallow:后面为不允许访问的文件目录。如果是\的话则不允许抓取任何文件。而Allow：后面跟的则是允许抓取的文件。
所以允许所有搜索引擎抓取任何页面的robots写法如下：
User-agent: *
Disallow:
禁止所有搜索引擎访问网站的任何文件的方法：
User-agent: *
Disallow: /
禁止所有搜索引擎访问网站的几个部分（下例中的01、02、03目录）
User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/
禁止某个搜索引擎的访问（下例中的BadBot）
User-agent: BadBot
Disallow: /
只允许某个搜索引擎的访问（下例中的Crawler）
User-agent: Crawler
Disallow:
User-agent: *
Disallow: /
同时值得注意的是，这些命令都是与的关系，即同时成立的关系。
3.在页面中设置ROBOTS
在页面中也能灵活的设置ROBOTS文件，这主要通过META标签来设置，Robots META标签中没有大小写之分，name=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiduSpider”。 content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。INDEX 指令告诉搜索机器人抓取该页面，而不填的话则默认抓取这个页面；FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；Robots Meta标签的缺省值是INDEX和FOLLOW，只有inktomi除外，对于它，缺省值是INDEX,NOFOLLOW。所以得出如下4种写法：
＜META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”＞
＜META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”＞
＜META NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”＞
＜META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”＞
这样来设置robots文件的方法更加灵活，在网站优化过程中灵活的加以应用，能实现很高程度的权重合理分配。做SEO注重的是细节和坚持，ROBOTS文件虽看起来不太起眼，但在网站优化过程中起的却是地基的作用，忽略ROBOTS文件，可能会付出严重的代价，而重视ROBOTS,则能打好网站优化的第一步！

深圳SEO：www.seo-mmqm.com