在做数据预处理的时候, 先是在local实现, 使用了os去获取单个文件夹下所有文件的路径然后去处理.

def get_file_list(mainfile):
    path_list = []
    for doc in os.listdir(mainfile):
        newpath = os.path.join(mainfile, doc)
        if os.path.isfile(newpath):
            path_list.append(newpath)
    return path_list
然而在将代码转移到AWS Sagemaker时当然就不能使用os去获取路径了. 要理解的是S3是没有folder的概念的, 虽然我们在S3的console里面可以看到类似folder的结构, 但实际上我们只是在不同object的名称中加了prefix而已. (其实我觉得是一个东西…但亚麻强调没有…那就没有吧)下面是获取一个buket中相关key的所有文件路径的方法
 
import boto3
def get_file_list(bucket_name, prefix):
    s3 = boto3.resource('s3')
    bucket=bucket_name
    my_bucket = s3.Bucket(bucket)
    location_list = []
    for (bucket_name, key) in map(lambda x: (x.bucket_name, x.key), my_bucket.objects.filter(Prefix=prefix)):
        data_location = "s3://{}/{}".format(bucket_name, key)
        location_list.append(data_location)
    # Remove the root folder path
    location_list.remove("s3://{}/{}".format(bucket_name, prefix))
    return location_list
bucket_name: 在S3中建立的桶的名称
 prefix: 索引关键词 (有prefix当然就会有suffix可用于筛选文件类型)
 
值得注意的是这种索引方法最后根目录的路径也会在list中, 这个“folder”的object都乱七八糟的我不好加suffix, 所以我最后remove掉了根目录. 不知道filter有没有什么参数可以避免这一步.
 
欢迎交流, 谢谢!
                                    Awsls
 AWS资源的列表命令。
 awsls支持列出91种不同的AWS服务中的。 目标是为Terraform AWS Provider（当前超过500个）涵盖的每个AWS资源编码生成一个列表函数。 如果您想贡献力量，。
 如果您遇到awsls任何问题或有功能要求，请打开一个问题或在给我写信。
 上市愉快！
 注意：如果您还在寻找一种简单而强大的删除AWS资源的方法， 通过Unix-pipes将awsls的输出通过管道awsls到其新的同级 ，并使用众所周知的标准工具（例如grep进行过滤。
使用全局模式一次列出多种类型的资源（例如， "aws_iam_*"列出您帐户中的所有IAM资源，而"*"列出您帐户中的所有资源）
 新增功能：使用--profiles和--regions标志列出多个帐户和区域中的资源（例如， -p account1,account2 -r us-east-1,us-west-2 ）
 显示记录的任何资源属性（例如， -a private_ip,tags列出类型的资源的IP和标签）
列出各种资源属性
使用Terraform资源类型告诉awsls哪
var BucketList = require ( 'bucket-list' ) ;
var bucket = BucketList . connect ( {
  key : 's3-key' ,
  secret : 's3-secret'
  bucket : 'name-of-the-s3-bucket'
} ) ;
// Stream bucket files
var bucketStream = bucket ( 'folder_name' ) ;
bucketStream . on ( 'data' , function ( fileNameWithPath ) {
  console . log ( fileNameWithPath ) ;
                                    本文档主要面向JAVA开发人员，旨在指导JAVA开发人员利用AWS S3 JAVA SDK进行开发，对接XSKY EOS产品。阅
读该文档最好对对象存储有一定的了解，并且详细阅读过《XSKY EOS应用与开发指南》。
文档主要包括以下内容：
如何使用AWS S3 JAVA SDK；
如何使用SDK连接EOS；
使用SDK进行Bucket管理，及其相关接口和类介绍；
使用SDK进行Object管理。及其相关接口和类介绍；
const { S3 } = require ( 'aws-sdk' )
const copy = require ( 'aws-s3-object-multipart-copy' )
const s3 = new S3 ( )
const source = 's3://source-bucket/path'
const destination = 's3://destination-bucket/path'
// async
copy ( source , destination , { s3 } )
  . then ( ( ) => { console . log ( 'done' ) } )
通过在本地系统中运行以下命令，将此存储库克隆到本地计算机。 
 git clone https://github.com/aliarslanansari/node_express_aws_s3.git
克隆后，通过运行将当前目录更改为此存储库文件夹
 cd node_express_aws_s3
然后运行以下命令从packages.json文件安装所有软件包。 请注意，您的系统中必须安装 yarn 或 npm（或从这里安装 |  ） 
 npm install
 yarn install
配置环境变量
在根目录下创建一个.env文件，并在其中添加以下变量
 AWS_ACCESS_KEY_ID = 'AWSACCESSKEY123'
AWS_S
                                    跨区域复制（Cross Region Replication）是AWS对象存储服务S3的一项非常实用的功能特性，允许用户跨不同区域中的存储桶自动、异步地复制对象，要求源存储桶和目标存储桶必须已经启 用版本控制源存储桶和目标存储桶必须处于不同的区域S3必须有权代表用户将对象从源存储桶复制到目标存储桶跨区域复制既可以在同一个账号之下进行，也可以在不同的账号之间进行，因为我只有一个账号，所以本次实践就是...
                                    I am trying to get all the files from a amazon S3 buckets sub folder and make them downloadable in a web page.I have a bucket called images. Inside that bucket I have some other folders. Now I am tryi...
                                    我有一些麻烦，弄清楚如何从Amazon S3访问文件。让我们说文件所在的存储桶是BUCKET_NAME，文件是FILE_NAME等。我已经尝试了以下两个URL：https://s3.amazonaws.com/BUCKET_NAME/FILE_NAME/?Expires=EXPIRATION&Signature=SIGNATURE&SignatureVersion=2&Si...
                                    我试图从亚马逊S3桶子文件夹中获取所有文件,并使其可以在网页中下载.我有一个叫做图像的桶.在那个桶里面我有一些其他的文件夹.现在我试图获取该子文件夹中的所有文件并在页面中显示它.S3铲斗：/图片/图像/ TEST1 //图像/ TEST2 //图像/ TEST1 / 1/图像/ TEST1 / 2/图像/ TEST1 / 1 /项目我试过这样,但无法得到预期的结果.// Target files ...
                                    我们知道，在微信开发者工具中开发完小程序后，我们点击“上传”按钮，微信开发者工具会进行“编译”，对 JS 代码进行压缩混淆以及对wxml、wxss和资源文件等进行整合打包成一个.wxapkg文件上传给微信服务器。
所以要“反编译”小程序，首先我们要获取到小程序对应的.wxapkg包。
我们只能从手机端入手，在手机上找到微信客户端下载保存在本地的小程序包。
获取小程序的 .wxapkg 文件
工具：一台已越狱的iPhone手机或者已Root的Android手机
在已越狱的 i...
                                    /*** 提供对aws s3 文件操作** @auther xushy* since 20200724*///@Slf4j@Componentpublic classS3Util {private BasicAWSCredentials awsCreds = null;private AmazonS3 s3 = null;@AutowiredS3Config s3Config;@PostConst...
                                    需要注意的是，这些命令仅仅只是查看Bucket下的对象列表，如果您需要查看目录结构，您可以将对象名按照某种规则进行命名，例如将对象名按照"path/to/folder/file.jpg"的方式进行命名，以此来实现对目录形式的模拟。要查看AWS S3存储桶（Bucket）的目录，您可以通过AWS管理控制台或AWS CLI（命令行界面）来实现。
  for doc in os.listdir(mainfile):
    newpath = os.path.join(mainfile, doc)
    if os.path.isfile(newpath):
      path_list.append(newpath...