当前位置 知且行 linux 正文 下一篇:

nginx日志按天切割并归集在一台服务器

nginx日志对于分析网站有极大的意义,如果我们有多个网站,这些网站又分布在不同的服务器,如何高效地分析这些nginx日志?这里有两个问题:

  • nginx日志要进行切割,不然单个文件太大,不便于分析

  • 日志散落在不同的服务器,不便管理,尤其在迁站时,容易丢失日志

日志按天切割

单一文件太大,就应该对其进行切割,一般是以时间为单位进行切割。有很多切割的方案,有些是借助第三方工具切割,有些是自己写脚本,这些方案都太重了,我希望仅需改nginx的配置即可完成,实现如下:

if ($time_iso8601 ~ "^(\d{4})-(\d{2})-(\d{2})") {
    set $year $1;
    set $month $2;
    set $day $3;
}

access_log  /var/log/test/access_$year-$month-$day.log;
error_log  /var/log/test/error.log;

以下几点需要注意:

  1. nginx日志目录要先建好,且必须对nginx开放权限,不然记录不到日志

  2. error_log 不能使用变量,直接解析成字符串,因此只能是单一文件

以上配置后,就会生成access_2019-04-06.log格式的日志

日志归集

原理很简单,写一个脚本,将不同服务器的日志同步到其中一台服务器,每天凌晨定时执行。

以下用python实现:

import os
from datetime import date, timedelta
yesterday = date.today() - timedelta(1)

year = yesterday.strftime("%Y")
month = yesterday.strftime("%m")
day = yesterday.strftime("%d")

find_command = 'find /www/web/test/nginx/log -type f -name "*.log" | grep {0}'.format(year+'-'+month+'-'+day)

paths = os.popen(find_command).read().split()

for path in paths:
    dist_path = 'username@192.168.1.12:' + path
    scp_command = "scp {0} {1}".format(path, dist_path)
    os.system(scp_command)

代码讲解:

  1. 获取前一天日志,拼接nginx日志路径

  2. 用find命令获取日志的绝对路径

  3. 通过scp命令将日志传送到目标服务器

再将这个脚本设置成crontab定时执行

各个服务器之间要先建立ssh信任通道,这样才能用scp免密码传送

日志集中到一台服务器后,就可以很方便地进行日志分析

转载必须注明出处:https://www.zhiqiexing.com/111.html

关于我

我希望能成为一个认真、有趣、创造更多价值的人
关注微信
微信扫一扫关注我

微信扫一扫关注我

返回顶部