技术头条 - 一个快速在微博传播文章的方式     搜索本站
您现在的位置首页 --> 其他 --> hadoop使用过程中的一些小技巧

hadoop使用过程中的一些小技巧

浏览:1672次  出处信息

    1.在Eclipse下的hadoop mapred调试

    对于小数据量的调试,可以再本机下载并安装cywin,之后将cywin的bin目录添加到系统的Path环境变量中,将hadoop的core包添加到classpath中。此时就可以在Eclipse下调试你的mapred程序,这时hadoop是在local模式下运行的,如果把hadoop的源代码关联进来,你还可以在他的内部处理中设置断点。

    2. master重启出问题

    之前使用hadoop过程中遇到过几次由于任务执行过程中,某些slave宕机了,然后重启集群,master起不来,一直处在safe mode。查看原因是他一直在试图恢复大量的中间文件,但是此时这些文件已经不存在了。对于这种情况,可以删去他的redo日志,使集群能够快速的启动,当然,弊端是这些中间文件将被忽略。删除的办法是修改设置中的hadoop.tmp.dir的路径下的dfs/name/current/edits文件。

建议继续学习:

  1. Facebook的实时Hadoop系统    (阅读:10514)
  2. hadoop rpc机制 && 将avro引入hadoop rpc机制初探    (阅读:5047)
  3. Hadoop的map/reduce作业输入非UTF-8编码数据的处理原理    (阅读:4434)
  4. Hadoop超级安装手册    (阅读:3906)
  5. Hadoop集群间Hadoop方案探讨    (阅读:3670)
  6. 百度是如何使用hadoop的    (阅读:3616)
  7. 使用hadoop进行大规模数据的全局排序    (阅读:3384)
  8. Hadoop安装端口已经被占用问题的解决方法    (阅读:2880)
  9. Hadoop现有测试框架探幽    (阅读:2793)
  10. 分布式计算平台Hadoop 发展现状乱而稳定的解读    (阅读:2732)
QQ技术交流群:445447336,欢迎加入!
扫一扫订阅我的微信号:IT技术博客大学习
© 2009 - 2024 by blogread.cn 微博:@IT技术博客大学习

京ICP备15002552号-1