AWS S3

​

AWS S3

​

如何获取鉴权参数

1. 登录 国内版 AWS 控制台 或 全球版 AWS 控制台
2. 进入 S3 服务，创建存储桶
3. 进入 IAM 服务，创建策略
   • 在左边栏选择 策略 选项，创建权限策略 策略详情如下：
   复制

   询问AI

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:ListBucket",
                   "s3:GetObject"
               ],
               "Resource": [
                   "arn:aws:s3:::*"
               ]
           }
       ]
   }
   
4. 进入 IAM 服务，获取访问密钥：
   • 在左边栏选择 用户 选项，创建子用户
   • 在用户详情中的权限选项卡中为用户授予上面新建的策略
   • 为用户创建 AccessKey，获取 AccessKey ID 和 AccessKey Secret
5. 获取 AWS S3 端点： 访问端点形如https://s3.us-east-1.amazonaws.com，请将其中的us-east-1配置为您实际的可用区。

​

配置示例

source = S3Source(
    endpoint='https://s3.us-east-1.amazonaws.com', # 按实际配置
    access_key='your-access-key-id',
    secret_key='your-secret-access-key',
    bucket='your-bucket-name',
    prefix='',
    region='us-east-1' # 按实际配置
)

​

使用示例

from xparse_client import S3Source, Pipeline

source = S3Source(
    endpoint='https://s3.us-east-1.amazonaws.com',
    access_key='your-access-key-id',
    secret_key='your-secret-access-key',
    bucket='your-bucket-name',
    prefix='',
    region='us-east-1'
)

# ... 其他配置

pipeline = Pipeline(
    source=source,
    # ...其他配置
)
pipeline.run()