您现在的位置:首页 --> 查看专题: 流式数据
传统的 MapReduce 如 Hadoop, 是以任务的形式进行的 — 获取一批数据, 提交给系统, 然后获取结果. 但是, 有一些统计的需求是即时的, 统计任务需要持续的运行, 一旦数据生成, 便立即发给统计任务处理, 生成的结果”推”给接收者. 以一个网站用户在线时长统计的需求为例子, 那么系统就有这几个部分: 数据接收接收 Web Server(如 Apache/Nginx) 的 log, 例如使用 syslog. Mapper(格式转换) 依次输入以行为单位的原始的 Apache log, 输出一条或者多条结构化的数据. 这个输出将出 Reducer 进行下一步处理. Reducer(统计器) 不同的精度用不同的统计器, 因为统计结果必须在要求的精度时间内进行输出. 例如当精度要求是小时, 用户连续在线1个小时, 并且横跨在2个自然小时上,......
[ 共1篇文章 ][ 第1页/共1页 ][ 1 ]
近3天十大热文
- [54] Oracle MTS模式下 进程地址与会话信
- [54] 图书馆的世界纪录
- [54] IOS安全–浅谈关于IOS加固的几种方法
- [53] android 开发入门
- [51] 【社会化设计】自我(self)部分――欢迎区
- [51] 如何拿下简短的域名
- [50] Go Reflect 性能
- [47] 读书笔记-壹百度:百度十年千倍的29条法则
- [32] 程序员技术练级攻略
- [31] 视觉调整-设计师 vs. 逻辑
赞助商广告