IT技术博客大学习 共学习 共进步
全部 移动开发 后端 数据库 AI 算法 安全 DevOps 前端 设计 开发者

标签:分布式日志

共 2 篇相关文章

IT 累计浏览 2,531

scribe的生产实践总结

作者结合两年生产实践,分享了对Facebook开源日志系统Scribe的应用总结。Scribe以精简稳定著称,作者团队在线上运行超过两年,未曾遭遇其自身进程崩溃。 文章核心聚焦于生产环境中Scribe的关键运维实践。针对Master节点宕机,标准配置是Primary接Secondary文件,故障时日志本地缓存,恢复后自动补发,并可通过一行脚本监控积压。为防止Scribe进程意外阻塞业务,建议采用异步线程写日志。而最棘手的情况是网络拥塞导致日志追送困难,作者提到一项压缩传输的改造尝试。文章最后将Scribe与LinkedIn开源的Kafka进行对比:Scribe如同“激流勇进”的冲锋舟,简单可靠;Kafka则似“航空母舰”,以集群和去中心化设计,对单点故障的容忍度更高。作者认为,对于中心化的日志收集场景,两者各有适用之处。

IT 累计浏览 8,959

分布式日志系统scribe使用手记

这篇讲的是如何用Facebook开源的Scribe搭建分布式日志系统。作者从实际需求出发,介绍了Scribe的核心优势:它通过thrift协议传输日志,能轻松整合不同语言的项目,实现从本地到远程的统一日志收集。在性能上,Scribe示例配置的并发量可达每秒200万条消息,对于绝大多数应用来说,即便是最基础的配置也能保证远程日志收集的可靠性。如果遇到更高压力,还可以通过主从架构自动同步日志到本地,进一步提升稳定性。文章接下来会具体演示Scribe的安装与配置过程。