从网站日志中应该可以分析更多的关于爬虫的信息。什么是网站日志？
保存于网站空间内的一种文本文件，用来记录网站运行状态的各种数据，通常是在网站运行的过程中，由服务器程序实时更新记录。
常见的网站日志程序片段：
日志分析与流量软件分析的差别：
从SEO的角度来说，两者的相同点：
日志分析和流量软件分析都能分析出网站各种流量、受访页情况、关键字数据等.
不同点：
日志分析往往不能分析当前的流量数据；
常见的流量分析软件不能分析出搜索引擎爬虫数据；
常见的流量分析软件不会分析错误链接等数据；
网站日志研究对于SEO的作用：
了解搜索引擎抓取网页的问题：
分析搜索引擎爬虫访问情况，我们可以分析出搜索引擎收录网页的一些线索：
搜索引擎最近访问网站的频率是否正常？
搜索引擎比较喜欢访问哪部分网页？
搜索引擎很少访问哪部分的网页？
搜索引擎是否访问了一些我们禁止访问的内容？
了解网站内容及链接是否正常：
通过分析服务器返回的状态代码，可分析以下问题：
是否有死链接
是否有页面元素被误删，比如图片、css脚本等等
服务器是否曾出现暂时故障
是否有临时重定向
是否有权限控制导致搜索引擎无法抓取数据
网站日志研究对于网站安全的作用：
了解网站被盗链的情况.
如果有第三方网站调用我们网站的图片、视频或者网页文件，将会浪费我们的服务器资源，通过对日志的研究，可以很快发现这种问题。
可初步分析网站是否被黑客植入程序
如果黑客利用网站程序的一些BUG，通过植入代码的进行进行攻击破解的话，通过日志分析就有可能找到这种痕迹。
可初步分析是否有程序在大量抓取数据
搜索引擎或者第三方网站如果使用采集程序，大量反复采集我方网站数据，既会对服务器性能造成严重影响，而且会让我们的资料流转到其它网站上。
通过分析日志数据，可以让我们发现这种采集现象。
关于网站日志分析的总结：
一般地，网站流量主要采用流量统计软件来统计，而网站的故障分析、搜索引擎爬虫规律研究则通过日志软件来分析；
如果我们能够持续对网站日志进行分析，就可以帮助我们在网站出现问题的短时间内了解到问题出在什么地方，并尽快找到解决方案.
本文来自金戈铁马SEO培训网（www.Gengtima.com），转摘请注明出处。
