天下熙熙,皆为利来
天下攘攘,皆为利去

2018年11月的文章

学习随笔

WordPress博客网站常用Robots.txt规则

inxk阅读(312)评论(0)赞(0)

说明:我们有时候页面有些内容由于某些因素,都要防止被搜索引擎收录,而禁止搜索引擎收录比较简单的办法是在Robots.txt里设置规则,Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusi...