BigLog is an open source nginx access log analyzer provides fast and valuable HTTP statistics for system administrators .
nginx access log format log_format access '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for" ' '"$upstream_cache_status"' &@&$host;
./INSTALL.sh
./biglog.sh
日志接收: udp 515 端口
BigLog3增加了gearman模块,通过gearman模块来查询IP对应的地理位置
biglog_recv.py 监听udp 515端口的日志,对单条日志分析并且存储json到redis
biglog_timer.py 从redis里面拿出json格式的日志,一段时间(30S)做一次统计分析并导入到redis
BigLogTimer.py 单条日志信息(字典)接收,可以指定统计的时间
BigLogDomain.py Mysql域名数据库创建(一个域名一个库,包含统计信息)
BigLogMysql.py 一段时间日志统计信息导入数据库
BigLogGeo.py ip对应地理位置查询
BigLogGeo.py ip对应地理位置查询