美文网首页
统计文件行数和文件的大小

统计文件行数和文件的大小

作者: 山的那边是什么_ | 来源:发表于2017-08-15 17:33 被阅读1052次

1.hdfs下载文件夹中多个文件

```

hadoop fs -get  /目录   目录

```

结果是输出到本地的文件夹之中

2. 多个文件合并后输出到一个文件之中

```

hadoop fs -getmerge  filePath  localPath/data.dat

```

3.统计多个文件行数

```

hadoop fs -cat  /文件* | wc -l

```

4.统计文件大小

```

hadoop fs -count /文件*

```

统计单个文件  只需要精确到文件即可

相关文章

网友评论

      本文标题:统计文件行数和文件的大小

      本文链接:https://www.haomeiwen.com/subject/soevrxtx.html