解决Agent日志文件过大的轮转配置方案

引言

在Agent开发过程中，日志文件会随着运行时间不断增长，如果不加以控制，最终可能导致：
– 磁盘空间被占满
– 日志检索效率下降
– 系统性能受影响

本文将介绍如何通过日志轮转(Log Rotation)来解决这个问题，适用于各种基于Linux的Agent服务。

准备工作

环境要求

1. Linux系统(本文以Ubuntu为例)
2. root或sudo权限
3. 已安装的Agent服务

前置知识

• 基本的Linux命令行操作
• 了解简单的shell脚本编写

解决方案一：使用logrotate工具

logrotate简介

logrotate是Linux自带的日志管理工具，可以：
– 按时间或大小自动轮转日志
– 压缩旧日志
– 删除过期日志
– 邮件通知管理员

配置步骤

1. 创建配置文件

sudo vim /etc/logrotate.d/myagent

1. 添加以下内容（示例配置）

/var/log/myagent/*.log {
    daily                   # 每天轮转一次
    rotate 7                # 保留7天的日志
    compress                # 压缩旧日志(gzip)
    delaycompress           # 延迟一天压缩(方便排查最新问题)
    missingok               # 如果日志不存在也不报错
    notifempty              # 如果日志为空则不轮转
    create 0644 root root   # 新日志文件的权限和所有者
    sharedscripts           # 所有日志处理完再执行postrotate脚本
    postrotate              # 轮转后执行的命令(通知服务重载)
        /usr/bin/systemctl reload myagent.service >/dev/null 
    endscript
}

1. 测试配置是否正确

sudo logrotate -d /etc/logrotate.d/myagent   # -d表示调试模式，不实际执行

1. 强制立即执行一次

sudo logrotate -vf /etc/logrotate.d/myagent   # -v显示详情，-f强制运行

参数说明表

解决方案二：使用程序内置的日志轮转功能（以Java Logback为例）

如果你的Agent是用Java开发的，可以在logback.xml中配置：

<configuration>
    <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>/var/log/myagent/app.log</file>
        <rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
            <!-- daily rollover -->
            <fileNamePattern>/var/log/myagent/app.%d{yyyy-MM-dd}.%i.log</fileNamePattern>
            <!-- each file max size -->
            <maxFileSize>100MB</maxFileSize>
            <!-- keep logs for max days -->
            <maxHistory>7</maxHistory>
            <!-- total size cap -->
            <totalSizeCap>1GB</totalSizeCap>
        </rollingPolicy>
        <encoder>
            <pattern>%date %level [%thread] %logger{10} [%file:%line] %msg%n</pattern>
        </encoder>
    </appender>

    <root level="INFO">
        <appender-ref ref="FILE" />
    </root>
</configuration>

实践经验与注意事项

1. 监控磁盘空间

   代码片段 复制代码

   df -h /var/log   #定期检查日志分区空间使用情况
   

2. 异常情况处理

   • logrotate状态文件位置：/var/lib/logrotate.status
   • 手动清理大文件：
     代码片段 复制代码

     truncate -s0 /var/log/myagent/huge.log   #清空但不删除文件(保持inode不变)<br>
     

3. 性能考虑

   • compress会消耗CPU资源，在高负载服务器上可考虑禁用压缩(nocompress)
   • delaycompress可以减轻即时压缩带来的性能冲击

4. 特殊场景

   • Docker容器中：考虑将日志输出到stdout，由Docker daemon处理轮转（配置在/etc/docker/daemon.json）

5. 调试技巧

   代码片段 复制代码

   ls -lh /var/log/myagent/      #查看当前日志大小和数量 
   grep logrotate /var/log/syslog #查看logrotate执行记录 
   

总结

本文介绍了两种解决Agent日志过大的方案：

1. 系统级方案：使用logrotate工具（适合所有类型的Agent）
2. 应用级方案：使用程序内置的轮转功能（需要编程语言支持）

关键配置要点：
– size/time触发条件选择要合理（生产环境推荐100MB或每天）
– maxHistory/totalSizeCap防止磁盘爆满
– postrotate脚本确保服务能正确重载新日志文件

建议同时设置监控告警，当单个日志文件超过预期大小时及时通知处理。