IT技术博客大学习 共学习 共进步

标签:MAPJOIN

共 1 篇相关文章

IT 浏览 2,620

HIVE中MAPJOIN可以使用的场景分析

最近开发中遇到几种应用,刚好使用MAPJOIN来解决实际的问题。 应用共同点如下: 1: 有一个极小的表<1000行 2: 需要做不等值join操作(a.x < b.y 或者 a.x like b.y等) 这种操作如果直接使用join的话语法不支持不等于操作,hive语法解析会直接抛出错误 如果把不等于写到where里会造成笛卡尔积,数据异常增大,速度会很慢。甚至会任务无法跑成功~   根据mapjoin的计算原理,MAPJION会把小表全部读入内存中,在map阶段...