robots.txt是一个纯文本文件，在这个文件中可以指定搜索引擎访问的部分，或指定搜索引擎不访问的部分。
引导搜索引擎蜘蛛抓取指定栏目或内容；
网站改版或者URL重写优化时候屏蔽对搜索引擎不友好的链接；
屏蔽死链接、404错误页面；
屏蔽无内容、无价值页面；
屏蔽重复页面，如评论页、搜索结果页；
屏蔽任何不想被收录的页面；
引导蜘蛛抓取网站地图；
User-agent: *（定义所有搜索引擎）
Disallow: /（禁止蜘蛛爬取网站的所有目录 “/” 表示根目录下）
Allow: /admin/test/（允许蜘蛛爬取admin下的test目录）
Location：
