hadoop使用过程中的一些小技巧
浏览:1856次 出处信息
1.在Eclipse下的hadoop mapred调试
对于小数据量的调试,可以再本机下载并安装cywin,之后将cywin的bin目录添加到系统的Path环境变量中,将hadoop的core包添加到classpath中。此时就可以在Eclipse下调试你的mapred程序,这时hadoop是在local模式下运行的,如果把hadoop的源代码关联进来,你还可以在他的内部处理中设置断点。
2. master重启出问题
之前使用hadoop过程中遇到过几次由于任务执行过程中,某些slave宕机了,然后重启集群,master起不来,一直处在safe mode。查看原因是他一直在试图恢复大量的中间文件,但是此时这些文件已经不存在了。对于这种情况,可以删去他的redo日志,使集群能够快速的启动,当然,弊端是这些中间文件将被忽略。删除的办法是修改设置中的hadoop.tmp.dir的路径下的dfs/name/current/edits文件。
建议继续学习:
- Facebook的实时Hadoop系统 (阅读:11370)
- hadoop rpc机制 && 将avro引入hadoop rpc机制初探 (阅读:6041)
- Hadoop的map/reduce作业输入非UTF-8编码数据的处理原理 (阅读:5511)
- 百度是如何使用hadoop的 (阅读:4961)
- Hadoop超级安装手册 (阅读:4632)
- Hadoop集群间Hadoop方案探讨 (阅读:4414)
- 使用hadoop进行大规模数据的全局排序 (阅读:4376)
- Hadoop安装端口已经被占用问题的解决方法 (阅读:3836)
- Hadoop现有测试框架探幽 (阅读:3756)
- 分布式计算平台Hadoop 发展现状乱而稳定的解读 (阅读:3762)
QQ技术交流群:445447336,欢迎加入!
扫一扫订阅我的微信号:IT技术博客大学习
扫一扫订阅我的微信号:IT技术博客大学习
<< 前一篇:如何创建google浏览器插件
后一篇:OpenGL中文字符的显示 >>
文章信息
- 作者:yunya 来源: 淘宝数据平台团队
- 标签: hadoop
- 发布时间:2010-04-15 09:50:58
建议继续学习
近3天十大热文
-
[660] WordPress插件开发 -- 在插件使用 -
[57] 程序员技术练级攻略 -
[55] 关于IO的同步,异步,阻塞,非阻塞 -
[54] AWS云平台系列介绍(一):AWS平台与EC -
[53] cookie窃取和session劫持 -
[50] YSLOW法则中,为什么yahoo推荐用GE -
[50] 到底什么是MVC? -
[49] 页面停留时间和网站停留时间详解 -
[48] 红黑树并没有我们想象的那么难(上) -
[43] 7个示例科普CPU Cache
