hadoop使用过程中的一些小技巧
浏览:1721次 出处信息
1.在Eclipse下的hadoop mapred调试
对于小数据量的调试,可以再本机下载并安装cywin,之后将cywin的bin目录添加到系统的Path环境变量中,将hadoop的core包添加到classpath中。此时就可以在Eclipse下调试你的mapred程序,这时hadoop是在local模式下运行的,如果把hadoop的源代码关联进来,你还可以在他的内部处理中设置断点。
2. master重启出问题
之前使用hadoop过程中遇到过几次由于任务执行过程中,某些slave宕机了,然后重启集群,master起不来,一直处在safe mode。查看原因是他一直在试图恢复大量的中间文件,但是此时这些文件已经不存在了。对于这种情况,可以删去他的redo日志,使集群能够快速的启动,当然,弊端是这些中间文件将被忽略。删除的办法是修改设置中的hadoop.tmp.dir的路径下的dfs/name/current/edits文件。
建议继续学习:
- Facebook的实时Hadoop系统 (阅读:10663)
- hadoop rpc机制 && 将avro引入hadoop rpc机制初探 (阅读:5159)
- Hadoop的map/reduce作业输入非UTF-8编码数据的处理原理 (阅读:4747)
- 百度是如何使用hadoop的 (阅读:4207)
- Hadoop超级安装手册 (阅读:4034)
- Hadoop集群间Hadoop方案探讨 (阅读:3789)
- 使用hadoop进行大规模数据的全局排序 (阅读:3499)
- Hadoop安装端口已经被占用问题的解决方法 (阅读:3019)
- Hadoop现有测试框架探幽 (阅读:2861)
- 分布式计算平台Hadoop 发展现状乱而稳定的解读 (阅读:2868)
QQ技术交流群:445447336,欢迎加入!
扫一扫订阅我的微信号:IT技术博客大学习
扫一扫订阅我的微信号:IT技术博客大学习
<< 前一篇:如何创建google浏览器插件
后一篇:OpenGL中文字符的显示 >>
文章信息
- 作者:yunya 来源: 淘宝数据平台团队
- 标签: hadoop
- 发布时间:2010-04-15 09:50:58
建议继续学习
近3天十大热文
-
[94] memory prefetch浅析
-
[53] 基本排序算法的PHP实现
-
[43] 深入浅出cassandra 4 数据一致性问
-
[37] 转载:cassandra读写性能原理分析
-
[35] 字符引用和空白字符
-
[35] JS中如何判断字符串类型的数字
-
[34] MySQL半同步存在的问题
-
[33] javascript插入样式
-
[32] 获取Dom元素的X/Y坐标
-
[31] js数组去重