Skip to content

sdgdsffdsfff/WebLogParser

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

21 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

WebLogParser

WebLogParser为开源的分析web日志工具,采用python语言开发,具有灵活的日志格式配置。

数据说明

Overall Analyzed Requests:

  • 日志文件
  • GoAccess分析结果(独立调用,可屏蔽)
  • PV
  • UV
  • 每秒最大处理消息数量(及其对应时间点)
  • 每秒平均处理消息

Top requests(URLS)(默认前10)

  • Requests URL
  • 访问量
  • 比例
  • 每秒最大处理消息数量
  • Protocol
  • Method

使用方法

  1. 将需要分析的日志存放到data目录下
  2. 配置Config.ini
  • goaccess_flag 是否获取GoAccess分析结果,设置为1:获取,0:不获取(需要已安装GoAccess)
  • time-format 日志中的时间格式,用于GoAccess
  • date-format 日志中的日期格式,用于GoAccess
  • log-format 日志内容格式,用于本工具和GoAccess
  • static-file 静态文件后缀,本工具在统计URL时将过滤静态文件
  • is_with_parameters 统计URL是否使用URL中参数一起进行分析,设置为1:使用参数, 0:不使用;默认将转换URL中参数,如?key=123统计时记录为key={key}
  • custom_parameters 配置特殊的参数键值对,以逗号分隔,配置的t={timeStramp},在分析参数时会将t键的值替换为固定的{timeStramp}
  • fixed_parameter_keys 配置特殊的参数key值,以逗号分隔,参数中的key=123,不会被置换为key={key}
  • urls_most_number 配置单独统计的URL最大数量
  1. 运行 python start.py
  2. 查看结果 查看result/目录下的index.html (result/report/目录下将生成对应的分析结果)

样例

<title>WebLogPaser Report Index</title>

WebLogPaser Report Index

<title>AutoTestReport</title>

WebLogPaser

Overall Analyzed Requests
日志文件 access_log_domain_20150506 查看GoAccess生成报告
总PV 总UV 每秒最大处
理消息数量
最大处理
消息时间
每秒平均
处理消息
561066 50501 136 06/May/2015:11:51:12 8
Top requests(URLS)
Requests 访问量 比例 每秒最大处
理消息数量
Method Protocol
/uc_server/avatar.php 194084 34.592% 75 GET HTTP/1.1
/forum.php 95833 17.081% 96 GET HTTP/1.1
/topic.php 75987 13.543% 27 GET HTTP/1.1
/misc.php 73379 13.078% 26 POST HTTP/1.1
/home.php 19729 3.516% 10 GET HTTP/1.1
/ 8280 1.476% 7 GET HTTP/1.1
/setusername.php 8129 1.449% 10 POST HTTP/1.1
/setusername.php 7698 1.372% 7 GET HTTP/1.1
/forum-37-1.html 6782 1.209% 2 GET HTTP/1.1
/api/getdata.php 3045 0.543% 6 GET HTTP/1.0

GoAccess结果可直接点击上面例子中的链接

About

分析web日志工具

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Python 100.0%