跳转到主要内容

Documentation Index

Fetch the complete documentation index at: https://docs.textin.com/llms.txt

Use this file to discover all available pages before exploring further.

​
AWS S3

AWS S3 可以使用 S3 SDK 接入。

​
如何获取鉴权参数

  1. 登录 国内版 AWS 控制台 或 全球版 AWS 控制台
  2. 进入 S3 服务，创建存储桶 创建Bucket
  3. 进入 IAM 服务，创建策略
    • 在左边栏选择 策略 选项，创建权限策略 创建权限策略 策略详情如下：
    {
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket",
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::*"
            ]
        }
    ]
}
  4. 进入 IAM 服务，获取访问密钥：
    • 在左边栏选择 用户 选项，创建子用户 创建用户
    • 在用户详情中的权限选项卡中为用户授予上面新建的策略 授予权限-1 授予权限-2
    • 为用户创建 AccessKey，获取 AccessKey ID 和 AccessKey Secret 创建AccessKey
  5. 获取 AWS S3 端点： 访问端点形如https://s3.us-east-1.amazonaws.com，请将其中的us-east-1配置为您实际的可用区。

​
配置示例

source = S3Source(
    endpoint='https://s3.us-east-1.amazonaws.com', # 按实际配置
    access_key='your-access-key-id',
    secret_key='your-secret-access-key',
    bucket='your-bucket-name',
    prefix='',
    region='us-east-1' # 按实际配置
)

​
使用示例

from xparse_client import S3Source, Pipeline

source = S3Source(
    endpoint='https://s3.us-east-1.amazonaws.com',
    access_key='your-access-key-id',
    secret_key='your-secret-access-key',
    bucket='your-bucket-name',
    prefix='',
    region='us-east-1'
)

# ... 其他配置

pipeline = Pipeline(
    source=source,
    # ...其他配置
)
pipeline.run()