aws s3常用命令、hdfs dfs/hadoop fs常用命令

QInzhengk/Math-Model-and-Machine-Learning (github.com)

一、aws s3常用命令

1、查看目录下所有文件夹(|head查看前10个)：

aws s3 ls s3://mleang/qk/data/
aws s3 ls s3://dfiee/06/|head

查看文件夹大小：

aws s3 ls  s3://acne-l/202221/ --s --h
# 输出结果
Total Objects: 1001
   Total Size: 226.0 GiB

2、复制文件到s3：

aws s3 cp *** s3://bucket-name/

从s3复制文件到其他地方（后面是复制后的名称，注意相对路径/绝对路径）

aws s3 cp s3://mning/qz/dta/anis19.csv eve19.csv （路径...）