大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源：传感器，气候信息，公开的信息，如杂志，报纸，文章。大数据产生的其他例子包括购买交易记录，网络日志，病历，军事监控，视频和图像档案，及大型[……]
6个用于大数据处理分析最好工具
发表评论
月度归档：2014年08月
LZOP解压查看文件
我们的HDFS中有一部分落地数据是用LZO格式来压缩的(另一部分采用gz压缩的RCFile，MapReduce中间结果采用snappy压缩)。第一是因为它的压缩比和压缩/解压速度综合下来比较令人满意，第二是它只需要少量effort就能支持可切分（生成LZO文件后跑单机或分布式建索引程序），这样能充分[……]
HIVE排序函数大小写问题
hive版本： 0.11.0
在执行dense_rank
hive语句：
select ta.cookie_id
, ta.interest_ratio
, ta.goods_id
, DENSE_RANK() over (order by ta.COOKIE_ID) as[……]
六个超大规模Hadoop集群部署案例
据估计，到2015年，全世界一半以上的数据将涉及hadoop–围绕这个开源平台的生态系统日益庞大，这有力地印证了这个惊人的数字。
然而，有些人表示，虽然hadoop是眼下热闹非凡的大数据领域最热话题，但它肯定不是可以解决数据中心和数据管理方面所有难题的灵丹妙药。考虑到这一点，我们暂且不想猜测[……]