hadoop使用过程中的一些小技巧
浏览:1678次 出处信息
1.在Eclipse下的hadoop mapred调试
对于小数据量的调试,可以再本机下载并安装cywin,之后将cywin的bin目录添加到系统的Path环境变量中,将hadoop的core包添加到classpath中。此时就可以在Eclipse下调试你的mapred程序,这时hadoop是在local模式下运行的,如果把hadoop的源代码关联进来,你还可以在他的内部处理中设置断点。
2. master重启出问题
之前使用hadoop过程中遇到过几次由于任务执行过程中,某些slave宕机了,然后重启集群,master起不来,一直处在safe mode。查看原因是他一直在试图恢复大量的中间文件,但是此时这些文件已经不存在了。对于这种情况,可以删去他的redo日志,使集群能够快速的启动,当然,弊端是这些中间文件将被忽略。删除的办法是修改设置中的hadoop.tmp.dir的路径下的dfs/name/current/edits文件。
建议继续学习:
- Facebook的实时Hadoop系统 (阅读:10525)
- hadoop rpc机制 && 将avro引入hadoop rpc机制初探 (阅读:5064)
- Hadoop的map/reduce作业输入非UTF-8编码数据的处理原理 (阅读:4454)
- Hadoop超级安装手册 (阅读:3920)
- Hadoop集群间Hadoop方案探讨 (阅读:3685)
- 百度是如何使用hadoop的 (阅读:3633)
- 使用hadoop进行大规模数据的全局排序 (阅读:3396)
- Hadoop安装端口已经被占用问题的解决方法 (阅读:2892)
- Hadoop现有测试框架探幽 (阅读:2807)
- 分布式计算平台Hadoop 发展现状乱而稳定的解读 (阅读:2744)
QQ技术交流群:445447336,欢迎加入!
扫一扫订阅我的微信号:IT技术博客大学习
扫一扫订阅我的微信号:IT技术博客大学习
<< 前一篇:如何创建google浏览器插件
后一篇:OpenGL中文字符的显示 >>
文章信息
- 作者:yunya 来源: 淘宝数据平台团队
- 标签: hadoop
- 发布时间:2010-04-15 09:50:58
建议继续学习
近3天十大热文
- [11] 产品设计之QQ邮箱登录页与淘宝登录页
- [10] 逃出你的肖申克(五):看不见的牢笼(上)
- [10] 五个实用的Google Analytics过
- [9] 分布式系统的事务处理
- [9] Python连接 MySQL 数据库的超时问
- [8] 浅述各平台系统交互设计的不同关注点
- [8] 招聘的绑架
- [8] 读书:谣言
- [8] 社交网络语法:关于“Checkin”
- [8] 数据与理论结合,让交互设计更专业