robots txt文件是啥？新手3分钟快速入门指南！

发布日期： 2025-10-27 阅读量： 作者： admin

今儿个咱来聊聊*文件这个事儿。前几天我不是琢磨着把自己的博客小站弄得更规范点嘛就想到这个东西。

我对这玩意儿也是一头雾水，不知道是个后来一查才知道，原来这东西是用来跟搜索引擎的“爬虫”打交道的。说白，就是告诉它们，你网站里哪些东西可以随便看，哪些东西是“闲人免进”的。

实践过程

第一步，当然是创建这个文件。

第二步，就是往里头写内容。

我一开始也不知道咋写，就去网上找些资料。发现这玩意儿的写法还挺有讲究的。

User-agent:

Disallow: /

我肯定不能这么写，不然我的博客就没人看。所以我改一下：

User-agent:

Disallow: /wp-admin/

第三步，把写好的文件放到网站的根目录下面。

验证一下是否生效。

可以在浏览器里输入你的网站域名，然后在后面加上“/*”，看看能不能正常显示你写的内容。比如我的就是这样：

我的网站/*

如果能正常显示，那就说明大功告成！

这个*文件的设置还是挺简单的，但是作用却不小。它可以帮助我们更好地管理网站，让搜索引擎更高效地抓取我们的内容。

好，今儿个就分享到这儿，希望对大家有所帮助！