‘BigData’ 分类的存档

使用广告插件出来的:[……]

继续阅读

2021年6月18日21:16 | 没有评论
分类: BigData
标签:

好吧,又找了一个空间,恢复了。。。

也升级到了最新的,然后发现后台写文章这里好陌生。。。

AD:老薛主机

优惠码:

all15off 终身15%折扣

wangnet 首次25%折扣[……]

继续阅读

2020年3月24日22:38 | 没有评论
分类: BigData
标签:

大数据是一个含义广泛的术语,是指数据集,如此庞大而复杂的,他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源:传感器,气候信息,公开的信息,如杂志,报纸,文章。大数据产生的其他例子包括购买交易记录,网络日志,病历,军事监控,视频和图像档案,及大型[……]

继续阅读

2014年8月19日11:35 | 没有评论
分类: BigData
标签:

我们的HDFS中有一部分落地数据是用LZO格式来压缩的(另一部分采用gz压缩的RCFile,MapReduce中间结果采用snappy压缩)。第一是因为它的压缩比和压缩/解压速度综合下来比较令人满意,第二是它只需要少量effort就能支持可切分(生成LZO文件后跑单机或分布式建索引程序),这样能充分[……]

继续阅读

2014年8月7日12:41 | 没有评论
分类: BigData
标签:

hive版本: 0.11.0

在执行dense_rank

hive语句:

select ta.cookie_id
, ta.interest_ratio
, ta.goods_id
, DENSE_RANK() over (order by ta.COOKIE_ID) as[……]

继续阅读

2014年8月5日16:14 | 没有评论
分类: BigData
标签: , ,

据估计,到2015年,全世界一半以上的数据将涉及hadoop–围绕这个开源平台的生态系统日益庞大,这有力地印证了这个惊人的数字。
  然而,有些人表示,虽然hadoop是眼下热闹非凡的大数据领域最热话题,但它肯定不是可以解决数据中心和数据管理方面所有难题的灵丹妙药。考虑到这一点,我们暂且不想猜测[……]

继续阅读

2014年8月5日13:40 | 没有评论
分类: BigData
标签:

Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。
使用Hive尽量按照分布式计算的一些特点来设计sql,和传统关系型数据库有区别,
所以需要去掉原有关系型数据库下开发的一些固有思维。

基本原则:
1:尽量尽早地过滤数据,减少每个阶段的[……]

继续阅读

2014年5月23日12:38 | 没有评论
分类: BigData
标签:

LEFT SEMI JOIN 是 IN/EXISTS 子查询的一种更高效的实现。
Hive 当前没有实现 IN/EXISTS 子查询,所以你可以用 LEFT SEMI JOIN 重写你的子查询语句。LEFT SEMI JOIN 的限制是, JOIN 子句中右边的表只能在

ON 子句中设置过[……]

继续阅读

2014年5月20日12:13 | 没有评论
分类: BigData
标签:

IEEE Fellow、IEEE TKDE主编裴建教授5月5-9日在中科院计算所讲授“大数据分析和数据挖掘”课程。

课程免费,食宿自理;报名请附上姓名、学校和研究方向等信息;为保证授课效果,限额50~60人。

报名截止日期为4月10日,报名结果将于4月15日公布。[……]

继续阅读

2014年4月1日13:18 | 没有评论
分类: BigData
标签:

人大sas视频 初中高级

链接: http://pan.baidu.com/s/1o6I2jsI 密码: wja5

R语言视频(考研英语的时候来了)
链接: http://pan.baidu.com/s/1eQxdJnc 密码: 4zc1

 

好多人还是不知道怎么[……]

继续阅读

2014年3月31日19:52 | 没有评论
分类: BigData
标签: ,
苏ICP备2021017351号