如何在Hadoop集群运行jni程序
笔者通过jni技术，将ws分词包成功的运行在hadoop集群，大大提升了数据挖掘的能力。本文将技术架构和细节呈现给读者。
标签：hadoop
共 23 篇相关文章
Hadoop现有测试框架探幽
背景 从使用hadoop的第一天开始，就一直没有离开过对Hadoop自身功能的开发以及hadoop本身bug的修复的相关开发。这样的开发模式已经持续了好几年，但是可以从中发现的一个现象：对于我们修复的bug或者开发的功能，一直都没有一种很规范，很统一，高效，好管理，并且一目了然的测试的方式。常常的现象是：开发了一个功能或修复了一个bug后，就针对该修改进行一些人为手动的环境模拟和测试，然后测试确认没有问题以后，就合入基线版本...
hadoop使用过程中的一些小技巧
1.在Eclipse下的hadoop mapred调试对于小数据量的调试，可以再本机下载并安装cywin，之后将cywin的bin目录添加到系统的Path环境变量中，将hadoop的core包添加到classpath中。此时就可以在Eclipse下调试你的mapred程序，这时hadoop是在local模式下运行的，如果把hadoop的源代码关联进来，你还可以在他的内部处理中设置断点。 2. master重启出问题之前使用hadoop过程中遇到过几次由于任务执行过程中，某些slave宕机了，然后重启集...