hadoop使用过程中的一些小技巧
浏览:1675次 出处信息
1.在Eclipse下的hadoop mapred调试
对于小数据量的调试,可以再本机下载并安装cywin,之后将cywin的bin目录添加到系统的Path环境变量中,将hadoop的core包添加到classpath中。此时就可以在Eclipse下调试你的mapred程序,这时hadoop是在local模式下运行的,如果把hadoop的源代码关联进来,你还可以在他的内部处理中设置断点。
2. master重启出问题
之前使用hadoop过程中遇到过几次由于任务执行过程中,某些slave宕机了,然后重启集群,master起不来,一直处在safe mode。查看原因是他一直在试图恢复大量的中间文件,但是此时这些文件已经不存在了。对于这种情况,可以删去他的redo日志,使集群能够快速的启动,当然,弊端是这些中间文件将被忽略。删除的办法是修改设置中的hadoop.tmp.dir的路径下的dfs/name/current/edits文件。
建议继续学习:
- Facebook的实时Hadoop系统 (阅读:10519)
- hadoop rpc机制 && 将avro引入hadoop rpc机制初探 (阅读:5059)
- Hadoop的map/reduce作业输入非UTF-8编码数据的处理原理 (阅读:4446)
- Hadoop超级安装手册 (阅读:3910)
- Hadoop集群间Hadoop方案探讨 (阅读:3676)
- 百度是如何使用hadoop的 (阅读:3621)
- 使用hadoop进行大规模数据的全局排序 (阅读:3390)
- Hadoop安装端口已经被占用问题的解决方法 (阅读:2883)
- Hadoop现有测试框架探幽 (阅读:2800)
- 分布式计算平台Hadoop 发展现状乱而稳定的解读 (阅读:2737)
QQ技术交流群:445447336,欢迎加入!
扫一扫订阅我的微信号:IT技术博客大学习
扫一扫订阅我的微信号:IT技术博客大学习
<< 前一篇:如何创建google浏览器插件
后一篇:OpenGL中文字符的显示 >>
文章信息
- 作者:yunya 来源: 淘宝数据平台团队
- 标签: hadoop
- 发布时间:2010-04-15 09:50:58
建议继续学习
近3天十大热文
- [267] Go Reflect 性能
- [18] 公钥私钥加密解密数字证书数字签名详解
- [16] 基于HTTP缓存轻松实现客户端应用的离线支持
- [15] Linux内存中的Cache真的能被回收么?
- [15] Joomla反序列化漏洞的查漏补缺
- [15] 正态分布的前世今生(一)
- [14] osx平台上lol英雄联盟launcher启
- [13] 无锁HashMap的原理与实现
- [13] 我的git笔记
- [12] 在JavaScript中什么时候使用==是正