2014年5月 的存档

Hive优化

热度:

Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。

使用Hive尽量按照分布式计算的一些特点来设计sql，和传统关系型数据库有区别，

所以需要去掉原有关系型数据库下开发的一些固有思维。

基本原则：

1：尽量尽早地过滤数据，减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段

select … from A

join B

on A.key = … Read More

2014年5月23日12:38 | 没有评论
分类: BigData
标签:

hive中的LEFT SEMI JOIN

热度:

LEFT SEMI JOIN 是 IN/EXISTS 子查询的一种更高效的实现。

Hive 当前没有实现 IN/EXISTS 子查询，所以你可以用 LEFT … Read More

2014年5月20日12:13 | 没有评论
分类: BigData
标签: