您现在的位置:首页 --> 查看专题: 流式数据
传统的 MapReduce 如 Hadoop, 是以任务的形式进行的 — 获取一批数据, 提交给系统, 然后获取结果. 但是, 有一些统计的需求是即时的, 统计任务需要持续的运行, 一旦数据生成, 便立即发给统计任务处理, 生成的结果”推”给接收者. 以一个网站用户在线时长统计的需求为例子, 那么系统就有这几个部分: 数据接收接收 Web Server(如 Apache/Nginx) 的 log, 例如使用 syslog. Mapper(格式转换) 依次输入以行为单位的原始的 Apache log, 输出一条或者多条结构化的数据. 这个输出将出 Reducer 进行下一步处理. Reducer(统计器) 不同的精度用不同的统计器, 因为统计结果必须在要求的精度时间内进行输出. 例如当精度要求是小时, 用户连续在线1个小时, 并且横跨在2个自然小时上,......
[ 共1篇文章 ][ 第1页/共1页 ][ 1 ]
近3天十大热文
- [11] 产品设计之QQ邮箱登录页与淘宝登录页
- [10] 逃出你的肖申克(五):看不见的牢笼(上)
- [9] 分布式系统的事务处理
- [9] 五个实用的Google Analytics过
- [9] Python连接 MySQL 数据库的超时问
- [8] 读书:谣言
- [8] 招聘的绑架
- [8] 移动Web开发初学者指南
- [8] 关于不得不在python中使用代理访问网络的
- [8] 浅述各平台系统交互设计的不同关注点
赞助商广告