iis屏蔽蜘蛛 记录蜘蛛爬行 - IIS - 服务器之家

服务器之家

专注于服务器技术!
当前位置:首页 > Web服务器 > IIS

iis屏蔽蜘蛛 记录蜘蛛爬行

发布时间:2017-04-15 来源:服务器之家

一、IIS日志的设置。
  第一个步骤:打开IIS服务器。选择所要设置的网站属性。弹出如下窗口:

  选择“启用日志记录”,勾选,选择“W3C扩展日志文件格式”。


  第二步骤:再次点击这里的“属性”按钮,常规选项里面,选择新日志计划为“每天”,当然也可以选择其他,选择好保存日志文件的目录。

  很多SEO设置到这里,点击确定之后,发现IIS日志已经开始记录,但是无论如何都找不到搜索引擎爬虫的痕迹,类似于Baiduspider+怎么都看不到,其实,我们还应该做第三个辅助步骤,因为默认的IIS日志是不开启这个功能的。


  第三个步骤:选择高级选项。勾选底下的用户代理(cs(User-Agent))等选项,我一般都将最下面的三个选项勾选起来。这样,你才可以看到百度等爬虫的名称。

  第四个步骤:如果你全部按照上面设置之后,发现你的IIS日志还没开始记录,也就是本次困扰了我非常久的问题,那么 最重要的一步就是检查相关的 设置是否都完整。有的朋友说IIS日志不记录是因为系统服务WINDOWS time 没启动,或者系统的权限不正确等,比如没让IIS日志保存的那个文件夹有和IIS一样的权限之类,其实没有这么复杂,把下图的“记录访问”选项勾选即可。 这样你的IIS日志就开始正常记录了