IT技术博客大学习 共学习 共进步
全部 移动开发 后端 数据库 AI 算法 安全 DevOps 前端 设计 开发者

hadoop使用过程中的一些小技巧

淘宝数据平台团队 2010-04-15 09:50:58 累计浏览 1,886 次
本机暂存

    1.在Eclipse下的hadoop mapred调试

    对于小数据量的调试,可以再本机下载并安装cywin,之后将cywin的bin目录添加到系统的Path环境变量中,将hadoop的core包添加到classpath中。此时就可以在Eclipse下调试你的mapred程序,这时hadoop是在local模式下运行的,如果把hadoop的源代码关联进来,你还可以在他的内部处理中设置断点。

    2. master重启出问题

    之前使用hadoop过程中遇到过几次由于任务执行过程中,某些slave宕机了,然后重启集群,master起不来,一直处在safe mode。查看原因是他一直在试图恢复大量的中间文件,但是此时这些文件已经不存在了。对于这种情况,可以删去他的redo日志,使集群能够快速的启动,当然,弊端是这些中间文件将被忽略。删除的办法是修改设置中的hadoop.tmp.dir的路径下的dfs/name/current/edits文件。

同分类推荐文章

  1. 等了十年的 Go 链式管道,终于来了:seq 让你像写 Scala 一样写 Go (2026-06-25 18:38:18)
  2. Go 实验特性详解 (2026-06-21 10:05:27)
  3. amd64 微架构级别对 Go 程序性能提升多少? (2026-06-21 09:38:49)

查看更多 后端 文章 →

建议继续学习

  1. android 开发入门 (累计阅读 19,527)
  2. HFile存储格式 (累计阅读 15,972)
  3. hbase运维 (累计阅读 14,922)
  4. Zookeeper工作原理 (累计阅读 12,198)
  5. Facebook的实时Hadoop系统 (累计阅读 11,490)
  6. HBase技术介绍 (累计阅读 8,073)
  7. Java程序员应该知道的10个eclipse调试技巧 (累计阅读 8,011)
  8. Eclipse开发Android应用程序入门:重装上阵 (累计阅读 6,459)
  9. hadoop rpc机制 && 将avro引入hadoop rpc机制初探 (累计阅读 6,217)
  10. HIVE中UDTF编写和使用 (累计阅读 5,998)