LZOP解压查看文件

2014年8月7日 | 标签:
热度:

我们的HDFS中有一部分落地数据是用LZO格式来压缩的(另一部分采用gz压缩的RCFile,MapReduce中间结果采用snappy压缩)。第一是因为它的压缩比和压缩/解压速度综合下来比较令人满意,第二是它只需要少量effort就能支持可切分(生成LZO文件后跑单机或分布式建索引程序),这样能充分利用MapReduce分而治之的编程思想和数据本地性。
之前要查看已经put到HDFS的LZO文件,都是先get到本地,再用lzop命令解压出来查看,但是有时候我们只是想预览下lzo文件的几行信息,前面一种方式就比较麻烦了,替代方案可以使用如下命令:

hadoop fs -cat /share/data/log/web/2013-08-22/2013-08-22_log.lzo | lzop -dc | head -1

lzop会接受输入流然后解压输出流给head显示第一行

但是如果不加后面的重定向命令,照道理应该输出到终端上,但是事实并非如此

hadoop fs -cat /share/data/log/web/2013-08-22/2013-08-22_log.lzo | lzop -dc

会报错“lzop: <stdout>: uncompressed data not written to a terminal”

而对于gzip命令和zcat命令,没有发生这种情况

hadoop fs -cat /tmp/temp.txt.gz | gzip -d  
hadoop fs -cat /tmp/temp.txt.gz | zcat

其实这是lzop故意这样设计的,因为解压后的数据可能非常大,如果不加限制全部输出到终端会撑爆终端的,所以不管文件大小一律先报错,可以做这样一个实验

[hadoop@jindows.cn tmp]$ echo "chenyukang" | gzip -c | gzip -d  
chenyukang
[hadoop@jindows.cn tmp]$ echo "chenyukang" | lzop -c | lzop -dc  
lzop: <stdout>: uncompressed data not written to a terminal

如果确实要打印全部数据到终端有两种办法

1. 后面跟重定向到cat命令

[hadoop@jindows.cn tmp]$ echo "chenyukang" | lzop -c | lzop -dc | cat  
chenyukang

2. 使用lzop的-f参数或者–force,强制输出

[hadoop@jindows.cn tmp]$ echo "chenyukang" | lzop -c | lzop -dcf  
chenyukang
feihu分享到:

          

相关博文

» 转载请注明来源:首页-->>LZOP解压查看文件
目前还没有任何评论.
您必须在 登录 后才能发布评论.