专题：日志 -- IT技术博客大学习 -- 共学习共进步！

有一些文章, 包括 Raft 协议的论文, 已经从反例的角度解释了为什么不允许 Leader 直接 commit 前任的日志, 而是必须追加本任期的一条日志, 以达到隐式地 commit 前任的日志. 我想从 Raft 的几项原则的角度, 在逻辑上解释这个问题。

MySQL relay_log_purge=0 时的风险

有时候，我们希望将 MySQL 的 relay log 多保留一段时间，比如用于高可用切换后的数据补齐，于是就会设置 relay_log_purge=0，禁止 SQL 线程在执行完一个 relay log 后自动将其删除。但是在官方文档关于这个设置有这么一句话： Disabling purging of relay logs when using the --relay-log-recovery option risks data consistency and is therefore not crash-safe. 究竟是什么样的风险呢？

server日志的路径分析

web服务器包括很多，iis，apache，nginx等等。首先要搞清楚什么是服务器日志，因为今天小伙伴问我，日志是什么来的，是不是从数据库中来的？我想很多不懂技术的人对这个都不是很清楚，他是搞数据分析的，自然对技术不了解。

服务器运维：怎样优雅地切割log

在Web开发过程中，你总是因为各种理由，需要跟服务器打交道，因为各种理由需要承担一点点运维工作，哪怕你需要运维自己的blog，比如用Linode这种东西。那么服务器运行，就少不了log，log不少，就不得不翻滚，就是rotate，不知道中文是啥……

用 LEK 组合处理 Nginx 访问日志

Tengine 支持通过 syslog 方式发送日志(现在 Nginx 官方也支持了)，所以可以通过 syslog 发送访问日志到 logstash 平台上，这种做法相对来说对线上服务器影响最小。最近折腾这件事情，一路碰到几个难点，把解决和优化思路记录一下。

改造 Mojolicious 让日志显示当前模块和行号

本着分享的精神, 给近一二年使用 Mojolicious 的经验分享给大家. 今天要分享的是怎么加强默认 Mojo 显示日志, 让我们更加好的排错。

Sentry: 错误日志集中管理

Sentry是个很好用的错误日志服务器，可以将程序错误的详细情况集中捕获，并提供一个很漂亮的Web界面来浏览错误。 Sentry本身是用python写的，但它支持python、php、ruby、iOS等多种语言。要使用Sentry，你需要一台服务器来运行Sentry服务器，然后需要在代码中插入Sentry客户端的代码。

为什么通过前端 .js 记用户日志会丢数据

后端的思维是每发生一次事件就打一条日志, 所以极难发生日志丢失的问题. 而前端不能每发生一次事件就向服务器发请求打一次日志, 这样会带来很大的网络开销并拖慢用户的浏览器, 所以前端都是把要纪录的行为在用户端先缓存, 等积累够若干条或过了若干秒后才向服务器汇总上报, 如果在这个上报条件触发前浏览器崩溃掉, 那日志就没了, 或者用户关掉浏览器也会丢掉这部分数据 (据说有一些方式可以响应关闭事件并上报日志。

大于2GB的Listener.log和运行超过198天的主机上的Oracle实例

在Oracle业界混的兄弟们肯定听说过以下的2个传说： LISTENER.LOG日志大小不能超过2GB，超过会导致LISTENER监听器无法处理新的连接 Oracle Instance实例所在的主机运行超过198天必须重启，否则会遇到Oracle BUG 第一条传说LISTENER.LOG日志不能超过2GB，这个绝对是老DBA津津乐道要向新手介绍的经典经验之一，这条传说带来的负面思想是Oracle数据库的监听器最好不要启动过长时间， LISTENER.LOG日志的内容也要定期清理(这条还是应当推荐的)。

警惕程序日志对性能的影响

做后台系统比做客户端软件的辛苦的地方，就是不能让程序轻易地挂掉。因为在生产环境中无法容易地复现或调试 bug，很多时候需要程序日志提供足够的信息，所以一个后台系统的程序员必须要明白该如何打日志（logging）。

使用nginx记日志

使用nginx记日志做web服务和应用的时候，很多场景下需要记录日志。如访问日志，性能分析日志，打点日志，数据统计日志等。

善用配置

我们总期望程序功能很强大，但是有些功能不是适合任何环境的、任何时候的，这时候我们就可以利用配置来使得灵活。比如：我想方便地看到线上程序的一些调试信息，但是一般情况下我并不需要这些信息，只有在调试线上bug的时候才需要，于是我们就可以在程序中添加这些调试信息的语句，然后通过开关来控制。如果我们没有权限登录线上提供服务的机器，则调试信息就可能需要输出到自己可以登录的某远...

记录程序日志

写程序时，打印日志是非常好的习惯，对我们排错，查问题非常有用。平时我们喜欢自己写个函数来处理日志，要么直接 print .在 Perl 中有个专门处理日志的模块叫 Log::Log4perl 这个是个重量级的...

MySQL 日志

在 MySQL 中有 4 种不同的日志, 分别为错误日志, 查询日志和慢查询日志, 二进制日志. 默认情况下, 为尽量减少 IO 损耗, 系统只打开错误日志. 若需要复制, 就必须要打开二进制日志. 错误日志错误日志在 MySQL 数据库中很重要, 它记录着 MySQL 启动和停止, 以及服务器在运行过程中发生的任何错误的相关信息. 配置如果配置文件 my.cnf 没有指定 log_eror, 则错问日志默认文件名为 hostname.err, 存放于 datadir 目录中. mysql&#...

删除查看二进制日志

分布式日志系统scribe使用手记

scribe 是facebook 开源的分布式日志系统。其使用了thrift传输log，由于使用thrift，所以不论是什么语言的项目都可以实现日志收集，可达到远程或者是本地同步远程的分布式日志收集效果，在其示例配置中，并发量可达到max_msg_per_second=2000000，对普通的应用来说，每秒上百万的访问量可能性很小，因此基本上即使最简单的配置，远程收集所有项目的log也是可靠的，如果压力大的话，可以采取主从的配...

Oracle数据库恢复：归档日志损坏案例一则

最近在帮助用户恢复数据库时遇到了一则罕见的归档日志损坏案例

在 shell 脚本里打日志

今天小弟在重构代码中的一个脚本模块，其中涉及到日志功能。上午花了点儿时间想出了个在 shell 打日志的技巧，觉得值得写一下。希望要实现的效果是：实现一个 write_log 命令，给一条出错消息作为输入，write_log 记录日志时自动加上时间戳、脚本文件名和行号。形如： 2010-12-17 19:13:44 [work.sh:24] FATAL: mkdir -p /x. 时间戳、脚本文件名都好获得，但是行号就没那么容易实现了。shell 中的 $LINENO 变量只能展开成当前行...

说说使用mysqlbinlog按时间查询二进制日志时容易疏忽的地方

使用mysqlbinlog按时间查询二进制日志时，会用到start-datetime和stop-datetime选项。提示：MySQL二进制日志的名称缺省是HOSTNAME-bin，不过推荐通过log-bin设置，以防止HOSTNAME更改所带来的影响。二进制日志的目录可以使用如下方法得到...

利用脚本分析日志并利用snmp自定义OID，再通过cacti画图

日志是很重要的东西，我们可以分析日志得出很多规律和结论。而cacti又是很强大的画图工具，可以通过它把数据以图表的方式表现出来。下面我要做的事情，就是用脚本对日志做实时分析，把结果输出到文本中，然后自定义OID，获取其中的值，而cacti通过自定义图表，用snmp取值，用rrdtool画图。关键在于对日志做实时分析，这个说出来其实很简单，使用一个tail -f 读日志文件，通过管道，调用自己写的脚...