什么是robots.txt文件？
robots.txt指的是网站与搜索引擎沟通的一个渠道，也就是说网站通过这个文本文件告诉搜索引擎哪些内容可以收录，哪些内容不允许收录。

搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。
您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。

关于robots.txt站长需要注意以下几点：
如果你的站点对所有搜索引擎公开，则不用做这个文件或者robots.txt为空就行。
必须命名为：robots.txt，都是小写，robot后面加"s"。
robots.txt必须放置在一个站点的根目录下。如：通过
一般情况下,robots.txt里只写着两个函数：User-agent和 Disallow。
观察这个页面并修改为自己的：
有几个禁止，就得有几个Disallow函数，并分行描述。至少要有一个Disallow函数，如果都允许收录，则写: Disallow:，如果都不允许收录，则写:Disallow: / （注：只是差一个斜杆）。

从SEO的角度，robots.txt文件是一定要设置的，原因：
网站上经常存在这种情况：不同的链接指向相似的网页内容。这不符合SEO上讲的“网页内容互异性原则”,采用robots.txt文件可以屏蔽掉次要的链接。
网站改版或URL重写优化时原来不符合搜索引擎友好的链接需要全部屏蔽掉。采用robots.txt文件删除旧的链接符合搜索引擎友好。
一些没有关键词的页面，屏蔽掉更好。
一般情况下，站内的搜索结果页面屏蔽掉更好。