仅当您的网站包含不希望搜索引擎编入索引的内容时，才需要使用 robots.txt 文件。如果您希望搜索引擎将网站上的所有内容编入索引，则不需要 robots.txt 文件（甚至连空文件也不需要）。
应将 robots.txt 文件放在何处？
如何创建 robots.txt 文件。
如何拦截或允许 Googlebot？
如何使用 robots 元标记？
如何拦截整个网站？
如何拦截网站上的某个目录或网页？
如何防止网站上的网页被缓存？
我希望网站的某些网页不被编入索引，但要在这些页上显示 AdSense 广告。能否满足我的这一要求？
我不想列出要拦截的每个文件。是否可以使用模式匹配？
如何确保文件按照我的要求执行拦截和允许操作？
如果我更改或上传了一个新的 robots.txt 文件，文件将在何时生效？
我更改了 robots.txt 文件来拦截目前已编入索引的网页。如何将这些网页从索引中删除？
robots.txt 文件对抓取网络的搜索引擎漫游器（称为漫游器）进行限制。这些漫游器是自动的，在其访问网页前会查看是否存在防止其访问特定网页的 robots.txt 文件。
