Hadoop, 大数据

hadoop-05 hdfs shell操作

基本语法

  • hadoop fs 命令
  • hdfs dfs 命令

上传

  • -moveFromLocal 从本地剪切粘贴到HDFS
  • -copyFromLocal 从本地文件系统拷贝到HDFS路径
  • -put 等同于 -copyFromLocal
  • -appendToFile 追加一个文件到已经存在的文件末尾

下载

  • -copyToLocal 从HDFS拷贝到本地
  • -get 等同于copyToLocal

直接操作

  • -ls
  • -cat
  • -chgrp -chmod -chown
  • -mkdir 创建路径
  • -cp 从hdfs一个路径拷贝到hdfs另一个路径
  • -mv 在hdfs目录中移动文件
  • -tail 查看一个文件的末尾1kb的数据
  • -rm
  • -rm -r
  • -du 查看文件夹的大小信息
    • hadoop fs -du -s -h
    • hadoop fs -du -h
    • 第一个返回值 单个副本文件大小
    • 第二个返回值 所有副本文件大小
  • -setrep 设置副本数大小