网站运营中有一个环节至关重要，那就是数据监控及数据分析，否则出问题都不知道出在哪里。而爬虫日志分析做为数据监控及分析的一部分是所有SEO技术中最基础的，但是却不是最简单的。说基础是因为所有的科学的SEO策略都必须依赖于数据分析，而日志是为数不多的能直接了解搜索引擎和我们网站发生了哪些交互的渠道之一而且是流量到达之前的第一手数据。说不简单是因为数据的存储及处理上，日志从几十MB，几百MB，几个GB，几十个GB，几百个GB，几个TB用到的工具及部署难度是完全不同的：几十MB用ultraedit等文本编辑器都可以做到数据的拆分；几百MB的时候得用shell；而如果是几个GB可以开始考虑利用Mysql…