Linux日志管理经验总结

日志管理目标

日志的管理，一般包括两大部分

日志内容，合理的日志内容（日志锚点，内容格式，等）可以为应用服务的执行记录、问题排查提供最有力的帮助

日志存档规则，包括日志分割方式（按日期、按文件大小，等），日志存档数量，如只保存最近一个月，等

对于自行开发的应用服务，日志的管理可以由开发人员通过日志组件定制化，如logback，log4j等，但对于安装部署的第三方组件如MySQL、nginx、redis等，以及开发引用的第三方组件如nacos，sentinel等，除非组件开放了丰富的日志配置参数，否则将无法按照开发人员的要求管理日志文件。

特殊日志场景

一些特殊应用服务或组件，如果没有进行特定的配置操作，默认情况下将使日志文件不受控制，为后期清理造成麻烦，常见的有

nohup方式启动应用服务，如果未配置日志重定向，或者重定向到了单文件，则系统将日志持续输出在nohup.out文件或重定向的单文件

mysql数据库支持配置日志文件路径，但无法自动清理日志内容

nginx支持配置日志内容模板以及日志文件路径（默认access.log、error.log），但无法自动清理日志内容

以上类似情况下，日志将始终在单文件中持续输出，过了一定时间后，日志文件将占用无限大的磁盘存储，对整个系统造成运行故障。

特殊工具 - 定时清理

可以使用Linux自带定时工具 crontab + 清理日志脚本的方式，实现定时清理，示例如下

 

crontab -e
# 定时清理日志，保留最近7天
1 0 * * * find /logs.dir/ -mtime +7 | xargs rm -rf

 

特别关注

Linux系统下，有些应用服务组件如nginx与MySQL，运行过程中，对日志存储文件将使用文件句柄跟踪，如此会有以下问题：

将日志文件重命名，同时新建一个同名的文件，组件依然会向原来的文件中输出日志

将日志文件删除（rm -f），也需要同时将应用服务组件进程重启才行，否则删除的文件也会由于被占用而无法释放磁盘资源

删除但被占用的文件将无法通过 ls -l 命令查看，也无法通过 du -sh 命令统计磁盘占用，但 df -h 命令会显示真实磁盘占用，只能通过 lsof 命令，查看打开的文件描述符，对运维造成很大麻烦

针对这种情况

如果只是单次清理文件，可以使用清空文件的方式，如 echo > log.log，或其他清空的方式，但切记不能直接 rm -f 删除

如果已经执行 rm -f 删除，则可以使用 lsof | grep -i deleted 命令查看被删除但无法回收的文件，然后将相应的进程重启即可回收

如果要保留日志内容，又要控制存储容量，则需要使用logrotate的 拷贝+清空 方式，即只是将日志文件内容拷贝一份存档，然后清空当前日志文件（而非删除）

特殊工具 - logrotate

对于不方便进行自定义日志管理的应用服务组件，可以自定义脚本维护，可以自行开发应用软件维护，但强联推荐使用Linux系统集成的日志管理工具logrotate，该工具由Linux系统crontab定时调度，支持为相关日志文件（或其他文件）自定义存储规则，但日志内容只能按照应用服务组件的实现输出。

logrotate提供的功能参数很多，比较常用的如下

日志分割周期

日志文件扩展名

日志文件分割方式，包括新建+删除，拷贝+清空，等，适用不同应用服务场景

日志内容压缩

日志文件存档数量

 

logrotate 命令格式：
logrotate [OPTION...] 
-d, --debug ：debug模式，测试配置文件是否有错误。
-f, --force ：强制转储文件。
-m, --mail=command ：压缩日志后，发送日志到指定邮箱。
-s, --state=statefile ：使用指定的状态文件。
-v, --verbose ：显示转储过程。


vi /etc/logrotate.d/nginx     #在/etc/logrotate.d/目录下新建nginx文件，内容如下：
/usr/share/nginx/log/*.log{
    daily
    missingok
    rotate 7
    compress
    delaycompress
    notifempty
    create 644 root root
    sharedscripts
    postrotate
        [ ! -f /var/run/nginx.pid ] || kill -USR1 `cat /var/run/nginx.pid`
    endscript
}




#调用方法
logrotate -d /etc/logrotate.d/nginx
#结合crontab定时执行 
echo "0 0 * * * /usr/sbin/logrotate -vf /etc/logrotate.d/nginx > /dev/null 2>&1" >> /var/spool/cron/root






#参数说明：
compress                                  通过gzip 压缩转储以后的日志
nocompress                                不做gzip压缩处理
copytruncate                              用于还在打开中的日志文件，把当前日志备份并截断；是先拷贝再清空的方式，拷贝和清空之间有一个时间差，可能会丢失部分日志数据。
nocopytruncate                            备份日志文件不过不截断
create mode owner group                   轮转时指定创建新文件的属性，如create 0777 nobody nobody
nocreate                                  不建立新的日志文件
delaycompress                             和compress 一起使用时，转储的日志文件到下一次转储时才压缩
nodelaycompress                           覆盖 delaycompress 选项，转储同时压缩。
missingok                                 如果日志丢失，不报错继续滚动下一个日志
errors address                            专储时的错误信息发送到指定的Email 地址
ifempty                                   即使日志文件为空文件也做轮转，这个是logrotate的缺省选项。
notifempty                                当日志文件为空时，不进行轮转
mail address                              把转储的日志文件发送到指定的E-mail 地址
nomail                                    转储时不发送日志文件
olddir directory                          转储后的日志文件放入指定的目录，必须和当前日志文件在同一个文件系统
noolddir                                  转储后的日志文件和当前日志文件放在同一个目录下
sharedscripts                             运行postrotate脚本，作用是在所有日志都轮转后统一执行一次脚本。如果没有配置这个，那么每个日志轮转后都会执行一次脚本
prerotate                                 在logrotate转储之前需要执行的指令，例如修改文件的属性等动作；必须独立成行
postrotate                                在logrotate转储之后需要执行的指令，例如重新启动 (kill -HUP) 某个服务！必须独立成行
daily                                     指定转储周期为每天
weekly                                    指定转储周期为每周
monthly                                   指定转储周期为每月
rotate count                              指定日志文件删除之前转储的次数，0 指没有备份，5 指保留5 个备份
dateext                                   使用当期日期作为命名格式
dateformat .%s                            配合dateext使用，紧跟在下一行出现，定义文件切割后的文件名，必须配合dateext使用，只支持 %Y %m %d %s 这四个参数
size(或minsize) log-size                  当日志文件到达指定的大小时才转储，log-size能指定bytes(缺省)及KB (sizek)或MB(sizem).


#当日志文件 >= log-size 的时候就转储。以下为合法格式：（其他格式的单位大小写没有试过）
size = 5 或 size 5 （>= 5 个字节就转储）
size = 100k 或 size 100k
size = 100M 或 size 100M

 

附录：logrotate简易配置

 

MySQL
/data/mysql/log/mysqld.log
{
    daily
    dateext
    dateyesterday
    copytruncate
    notifempty
    missingok
    olddir backup
    rotate 60
        compress
}


nginx
/usr/local/nginx/logs/access.log
/usr/local/nginx/logs/error.log
{
    daily
    dateext
    dateyesterday
    copytruncate
    notifempty
    missingok
    olddir backup
    rotate 30
        compress
}

 

附录：关于常用组件运行时日志管理

nginx不支持自动清理，默认单文件持续写入，且不会自动滚动

mysql不支持自动清理，默认单文件持续写入，且不会自动滚动

zookeeper默认支持自动清理（限制文件大小和个数），log4j配置文件维护

redis不支持自动清理，只记录少量核心日志，单文件持续写入，但默认只记录少量核心日志，可以不处理

kafka的数据记录日志（topic、offset等），支持自动清理，配置文件维护

kafka操作日志，默认在安装目录logs目录，支持自动滚动，但不会自动清理，log4j配置文件维护

链接：https://www.cnblogs.com/xiaoyaozhe/p/17671275.html