技术头条 - 一个快速在微博传播文章的方式     搜索本站
您现在的位置首页 --> 系统运维 --> 分布式日志系统scribe使用手记

分布式日志系统scribe使用手记

浏览:8050次  出处信息

     scribe 是facebook 开源的分布式日志系统 。其使用了thrift传输log,由于使用thrift,所以不论是什么语言的项目都可以实现日志收集,可达到远程或者是本地同步远程的分布式日志收集效果,在其示例配置中,并发量可达到max_msg_per_second=2000000,对普通的应用来说,每秒上百万的访问量可能性很小,因此基本上即使最简单的配置,远程收集所有项目的log也是可靠的,如果压力大的话,可以采取主从的配置,将日志打到本地后由scribe的主从配置来自动同步。下面讲述如何安装和使用scribe。

    下载boost、thrift、scribe

    boost_1_45_0.tar.gz

     thrift-0.5.0.tar.gz

     facebook-scribe-2ee14d3.zip

    通过yum安装需要的依赖

    yum install libevent libevent-devel python-devel

     yum install gcc-c++

     yum install automake

     yum install byacc flex

    安装boost

    tar -zxvf boost_1_45_0.tar.gz

     cd boost_1_45_0

     ./bootstrap.sh

     ./bjam install -prefix=/opt/soft/bootstrap

    安装thrift-0.5.0

    tar zxvf thrift-0.5.0.tar.gz

     ./configure -with-php-config=/opt/soft/php/bin/php-config -with-boost=/opt/soft/boost/ -with-java -prefix=/opt/soft/thrift

     make

     make install

    安装fb303

    cd contrib/fb303

     ./bootstrap.sh -prefix=/opt/soft/thrift/fb303 -with-boost=/opt/soft/boost/ -with-thriftpath=/opt/soft/thrift/

     make

     make install

    安装scribe

    unzip facebook-scribe-2ee14d3.zip

     cd facebook-scribe-2ee14d3

    export BOOST_ROOT=/opt/soft/boost/

     export LD_LIBRARY_PATH=/opt/soft/thrift/lib:/usr/lib:/usr/local/lib:/opt/soft/boost/lib/

     ./bootstrap.sh -prefix=/opt/soft/scribe -with-boost=/opt/soft/boost/ -with-thriftpath=/opt/soft/thrift/

     make

     make install

    启动scribe服务

    cd facebook-scribe-2ee14d3

     cp example/exmaple1.conf /opt/soft/scribe/bin

     cd /opt/soft/scribe/bin/

     export BOOST_ROOT=/opt/soft/boost/

     export LD_LIBRARY_PATH=/opt/soft/thrift/lib:/usr/lib:/usr/local/lib:/opt/soft/boost/lib/

     ./scibed example1.conf

    生成客户端使用scribe

    先产生java的thrift代码:

     cd facebook-scribe-2ee14d3/if/

     thrift -r -I ../../thrift-0.5.0/contrib/(这里需要指到你的thrift的源码目录) -gen java scribe.thrift

    使用

    gen-java目录下有thrift的客户端,即取即用。javaeye里有一篇写配置log4j使用scribe的不错:http://www.javaeye.com/topic/800208

建议继续学习:

  1. 分布式缓存系统 Memcached 入门    (阅读:14733)
  2. Zookeeper工作原理    (阅读:10410)
  3. server日志的路径分析    (阅读:10122)
  4. GFS, HDFS, Blob File System架构对比    (阅读:9391)
  5. AWStats简介:Apache/Windows IIS的日志分析工具的下载,安装,配置样例和使用(含6.9中文定义补丁)    (阅读:8869)
  6. 利用脚本分析日志并利用snmp自定义OID,再通过cacti画图    (阅读:8692)
  7. Zookeeper研究和应用    (阅读:8532)
  8. tomcat catalina.out日志切割每天生成一个文件    (阅读:8094)
  9. 一致性哈希算法及其在分布式系统中的应用    (阅读:7940)
  10. 分布式哈希和一致性哈希    (阅读:7672)
QQ技术交流群:445447336,欢迎加入!
扫一扫订阅我的微信号:IT技术博客大学习
© 2009 - 2024 by blogread.cn 微博:@IT技术博客大学习

京ICP备15002552号-1