关于Rsyslogd 的一些配置 (高性能、高可用 rsyslogd)
最近公司的日志传输服务器因网间带宽被调整后出现了日志堵塞的情况,更为严重的是公司大量的业务日志也是通过 PHP 的 syslog接口传输的。这样,因为rsyslog的新版本默认不期望丢弃任何数据,而rsyslog中的日志又传输不出去,导致了业务在写日志的时候“被”堵塞住了。
拿到rsyslog的配置后,发现仅有一些简单的关于传输逻辑的配置,而关于rsyslog进程、队列、传输效率的配置参数都采用默认,这种仅仅能够 work around 的配置在测试或运行初期是允许存在一段时间的,在系统、环境正常的时候能够运行。一旦出现异常,各种问题就全出来了。
推荐的文档和我认为比较关键的配置请见下图:
推荐仔细阅读 第一篇 关于 rsyslog queue的文档,细节几乎都在这篇文档里。
定义 $MainMsgQueueFilename 可以简单理解为队列入口无限大,$MainMsgQueueMaxDiskSpace来控制大小。
队列的堵塞可能的原因是各种其他原因导致的 MainMsg 满了,而默认配置下,rsyslog不主动丢弃消息。
$QueueHighWatermark可以控制 MainMsgQueue 如何使用 disk作为队列存储,而不再是仅仅使用内存。
$MainMsgQueueDiscardMark 和 $MainMsgQueueQueueDiscardSeverity 配合控制如何丢弃消息。
在我的 x220i ubuntu 环境下,可以看到几十G的队列文件(网络传输堵塞时以及进入的消息量过大时)、丢弃消息的通知,内存使用的状况。因这一切都不复杂,不再赘述。
rsyslogd的RELP(http://www.librelp.com/)相关的内容暂未涉及。
附加另外两份参考: http://www.gerhards.net/download/LinuxKongress2010rsyslog.pdf http://mperedim.wordpress.com/2010/01/21/rsyslog-evaluation/
2013-07-24 补充文档:
On the (un)reliability of plain tcp syslog http://blog.gerhards.net/2008/04/on-unreliability-of-plain-tcp-syslog.html
The Simple Event Log Protocol (SELP) http://www.monitorware.com/en/workinprogress/selp.txt
RELP - the reliable event logging protocol http://blog.gerhards.net/2008/03/relp-reliable-event-logging-protocol.html
补充:
刚好微博上 @zzyongx 也提供了一个 syslog-safer (https://github.com/zzyongx/syslog-safer) 软件,大家也可以试试。
扫一扫订阅我的微信号:IT技术博客大学习
- 作者:chunshengster@gmail.com 来源: 香草的技术博客
- 标签: Rsyslogd
- 发布时间:2013-09-02 13:30:13
- [70] Twitter/微博客的学习摘要
- [65] IOS安全–浅谈关于IOS加固的几种方法
- [65] 如何拿下简短的域名
- [65] find命令的一点注意事项
- [63] Go Reflect 性能
- [63] android 开发入门
- [61] 流程管理与用户研究
- [59] 读书笔记-壹百度:百度十年千倍的29条法则
- [59] Oracle MTS模式下 进程地址与会话信
- [59] 图书馆的世界纪录