搜索引擎：爬取我们页面的工具叫做搜索引擎机器人，也生动的叫做“蜘蛛”
蜘蛛在爬取网站页面之前，会先去访问网站根目录下面的一个文件，就是robots.txt。这个文件其实就是给“蜘蛛”的规则，如果没有这个文件，蜘蛛会认为你的网站同意全部抓取网页。