一、网站日志是什么
网站日志是记录web服务器接收处理请求以及运行时错误等各种原始信息的以.log结尾文件。通过网站日志可以清楚的知首用户在什么IP、什么时间、用什么操作系统、什么浏览器、什么分辨率显示器的情况下访问了你网站的哪个页面是否访问成功。网站日志可记录各搜索引擎蜘蛛机器人爬行网站的详细情况。如何查看网站被百度抓取的情况。
二、网站日志的运行方式
网站日志分析的方法： 首先下载网站日志，通过FTP访问网站的根目录。可以看到一个包含log的文件夹，这是存放日志的地方。下载、解压、打开日志文件。
蜘蛛名称有：百度->baiduspider、Google ->Googlebot、Msn ->msnbot、yahoo ->Slurp、yodao ->YoudaoBot、sogou ->Sogou+get+spider 在日志文件里，搜索以上蜘蛛名称。就可以看到蜘蛛抓取的痕迹。分析的主要点是HTTP状态码，如显示200和301。" 200 5162 " 代表正常抓取，这次抓取了5162个字节。