什么是robots文件？robots文件注意事项

robtos.txt这个文件是什么用的？在seo网站优化的过程中，我们经常会碰到robots文件，这个是什么意思？今天，我们来简单讲解下。

什么是robots文件

robots文件是放在网站根目录下的一个文件，是搜索引擎与网站沟通的重要渠道，网站与搜索引擎爬虫之间的协议，告诉网站哪些可以抓取，哪些不能抓取。

网站上总有些文件，是不让抓取的，或者说抓取没有意义，为了节省资源，用robots文件来告诉搜索引擎，哪些不要抓取，比如搜索页面、筛选页面、后台登录地址等。

如何制作robots文件呢？只需要创建一个robots.txt文件就可以了，让好在txt文件里加入代码就可以了，在创建txt文件里面，一定要加入网站地图。

robots文件需要注意的事项

在制作robots文件过程中，一定要注意一些事项，避免因为失误造成网站收录和排名没有的情况，具体需要注意以下这些事情。

1、不同的搜索引擎，代码是不一样的，如果是用星号表示，则是适用于所有的搜索引擎。

2、Allow意思是允许抓取，Disallow的意思是不允许抓取。

3、robots.txt文件中至少需要屏蔽一个，比如你可以屏蔽：搜索结果页面或者404页面。

4、需要把sitemap放到Robots文件中，这样方便蜘蛛抓取。

5、需要持续更新robots文件，而不是一次性决定所有。

6、一般情况下，这些页面需要使用Disallow现在抓取：网站后台地址、图片地址、下载文件地址、错误链接等等。

关于robors文件，就简单讲这些，robots文件很容易和nofollow属性搞混淆，关于什么是nofollow属性，以及有什么作用，之前已经讲过了，如果不明白的还可以去看看。