A-A+

如何设置robots.txt文件?

2012年10月23日 SEO 暂无评论 阅读 1,594 views 次

什么是robots.txt文件?
robots.txt指的是网站与搜索引擎沟通的一个渠道,也就是说网站通过这个文本文件告诉搜索引擎哪些内容可以收录,哪些内容不允许收录。

搜索引擎通过一种程序robot(又称spider),自动访问互联网上的网页并获取网页信息。
您可以在您的网站中创建一个纯文本文件robots.txt,在这个文件中声明该网站中不想被robot访问的部分,这样,该网站的部分或全部内容就可以不被搜索引擎收录了,或者指定搜索引擎只收录指定的内容。

关于robots.txt站长需要注意以下几点:
如果你的站点对所有搜索引擎公开,则不用做这个文件或者robots.txt为空就行。
必须命名为:robots.txt,都是小写,robot后面加"s"。
robots.txt必须放置在一个站点的根目录下。如:通过
一般情况下,robots.txt里只写着两个函数:User-agent和 Disallow。
观察这个页面并修改为自己的:
有几个禁止,就得有几个Disallow函数,并分行描述。至少要有一个Disallow函数,如果都允许收录,则写: Disallow:,如果都不允许收录,则写:Disallow: / (注:只是差一个斜杆)。

SEO的角度,robots.txt文件是一定要设置的,原因:
网站上经常存在这种情况:不同的链接指向相似的网页内容。这不符合SEO上讲的“网页内容互异性原则”,采用robots.txt文件可以屏蔽掉次要的链接。
网站改版或URL重写优化时原来不符合搜索引擎友好的链接需要全部屏蔽掉。采用robots.txt文件删除旧的链接符合搜索引擎友好。
一些没有关键词的页面,屏蔽掉更好。
一般情况下,站内的搜索结果页面屏蔽掉更好。

标签:

给我留言

Copyright © 严佳冬 保留所有权利.   Theme  Ality 百度地图 苏ICP备15015381号-1

用户登录

分享到: