WordPress建立好以后，多么的想在搜索引擎上出现啊！为了能够更好的被搜索引擎收录，首先要做的就是在网站的根目录放置robots.txt文件，并添加相关的robots.txt属性。
robots.txt是搜索引擎访问网站是首先要查看的第一个文件，在robots.txt文件里面可以设置网站上的什么内容是想让搜索引擎搜索到的，什么内容是不想让搜索引擎搜索到的，比如WordPress网站可以这样设置：
User-agent: *
Disallow: /wp-
User-agent: * 代表所有搜索引擎；
Disallow: /wp- 表示不允许收录所有已wp-开头的文件的内容。
WordPress后台程序都是以后wp-开头的程序，所有是不希望搜索引擎搜索到到的内容，当然还有很多可以根据自己网站的实际情况可以设置。
对于网上上设置robots.txt是非常有必要的，哪怕是你的网站上的所有内容都希望搜索引擎搜索到，如果你的网站上的所有内容都希望搜索引擎收录，可以在网站的根目录放置一个空的robots.txt文件。
如果网站的根目录没有放置robots.txt文件，每次搜索引擎蜘蛛来搜索的时候发现找不到robots.txt文件，在服务器的日志记录中将会出现一条404记录，所有放置robots.txt文件是很有必要的。
适当的设置robots.txt文件，对于网站来说还可以节省不少的带宽，没当搜索蜘蛛找到网站的时候，都会给网站服务器造成一定的压力，如果设置了robots.txt文件，有很多没有必要出现在搜索引擎上的内容搜索蜘蛛就不会再去搜寻了，从而减少搜索引擎蜘蛛给网站服务器带来的压力。
合理的设置robots.txt文件，还能控制不要把网站重复的内容对搜索引擎开放，保持网站在搜索引擎的排名不会下降，在很大层度上还有可能让网站的关键字被搜索引擎收录的更多。
文章评论