2014年8月7日 的存档

我们的HDFS中有一部分落地数据是用LZO格式来压缩的(另一部分采用gz压缩的RCFile,MapReduce中间结果采用snappy压缩)。第一是因为它的压缩比和压缩/解压速度综合下来比较令人满意,第二是它只需要少量effort就能支持可切分(生成LZO文件后跑单机或分布式建索引程序),这样能充分[……]

继续阅读

2014年8月7日12:41 | 没有评论
分类: BigData
标签:
苏ICP备2021017351号