火山引擎 TOS - Textin 智能文档解析

火山引擎 TOS

火山引擎 TOS（TikTok Object Storage）对象存储兼容 S3 协议。

如何获取鉴权参数

登录火山引擎控制台
进入对象存储（TOS）服务，创建存储桶
获取访问密钥：
- 进入”访问控制” → “密钥管理”
- 创建访问密钥，获取 Access Key ID 和 Secret Access Key
- 确保密钥具有 TOS 读取权限，至少包括：
  - tos:HeadBucket：检查存储桶是否存在
  - tos:ListBucket：列出存储桶中的对象
  - tos:GetObject：获取对象内容
获取 TOS 端点：
- 在存储桶概览页查看”Endpoint”
- 格式：https://tos-s3-{region}.volces.com
- 例如：https://tos-s3-cn-shanghai.volces.com

配置示例

source = S3Source(
    endpoint='https://tos-s3-cn-shanghai.volces.com',
    access_key='your-access-key-id',
    secret_key='your-secret-access-key',
    bucket='your-bucket-name',
    prefix='documents/',  # 可选
    region='cn-shanghai'
)

使用示例

from xparse_client import S3Source, Pipeline

source = S3Source(
    endpoint='https://tos-s3-cn-shanghai.volces.com',
    access_key='your-access-key-id',
    secret_key='your-secret-access-key',
    bucket='my-documents',
    prefix='pdfs/',
    region='cn-shanghai'
)

# ... 其他配置

pipeline = Pipeline(
    source=source,
    # ...其他配置
)
pipeline.run()

参考文档

火山引擎 TOS S3 兼容性说明

⌘I