跳转到主要内容

​
火山引擎 TOS

火山引擎 TOS（TikTok Object Storage）对象存储兼容 S3 协议。

​
如何获取鉴权参数

  1. 登录 火山引擎控制台
  2. 进入对象存储（TOS）服务，创建存储桶 创建存储桶
  3. 获取访问密钥：
    • 进入”访问控制” → “密钥管理”
    • 创建访问密钥，获取 Access Key ID 和 Secret Access Key
    • 确保密钥具有 TOS 读取权限，至少包括：
      • tos:HeadBucket：检查存储桶是否存在
      • tos:ListBucket：列出存储桶中的对象
      • tos:GetObject：获取对象内容 获取密钥
  4. 获取 TOS 端点：
    • 在存储桶概览页查看”Endpoint”
    • 格式：https://tos-s3-{region}.volces.com
    • 例如：https://tos-s3-cn-shanghai.volces.com 获取端点

​
配置示例

source = S3Source(
    endpoint='https://tos-s3-cn-shanghai.volces.com',
    access_key='your-access-key-id',
    secret_key='your-secret-access-key',
    bucket='your-bucket-name',
    prefix='documents/',  # 可选
    region='cn-shanghai'
)

​
使用示例

from xparse_client import S3Source, Pipeline

source = S3Source(
    endpoint='https://tos-s3-cn-shanghai.volces.com',
    access_key='your-access-key-id',
    secret_key='your-secret-access-key',
    bucket='my-documents',
    prefix='pdfs/',
    region='cn-shanghai'
)

# ... 其他配置

pipeline = Pipeline(
    source=source,
    # ...其他配置
)
pipeline.run()

​
参考文档