> ## Documentation Index
> Fetch the complete documentation index at: https://docs.textin.com/llms.txt
> Use this file to discover all available pages before exploring further.

# 火山引擎 TOS

> 配置火山引擎 TOS 对象存储数据源

## 火山引擎 TOS

火山引擎 TOS（TikTok Object Storage）对象存储兼容 S3 协议。

### 如何获取鉴权参数

1. 登录 [火山引擎控制台](https://console.volcengine.com/)
2. 进入对象存储（TOS）服务，创建存储桶
   ![创建存储桶](https://static.textin.com/docs/images/pipeline/tos-bucket-create.png)
3. 获取访问密钥：
   * 进入"访问控制" → "密钥管理"
   * 创建访问密钥，获取 `Access Key ID` 和 `Secret Access Key`
   * 确保密钥具有 TOS 读取权限，至少包括：
     * `tos:HeadBucket`：检查存储桶是否存在
     * `tos:ListBucket`：列出存储桶中的对象
     * `tos:GetObject`：获取对象内容
       ![获取密钥](https://static.textin.com/docs/images/pipeline/tos-create-accesskey.png)
4. 获取 TOS 端点：
   * 在存储桶概览页查看"Endpoint"
   * 格式：`https://tos-s3-{region}.volces.com`
   * 例如：`https://tos-s3-cn-shanghai.volces.com`
     ![获取端点](https://static.textin.com/docs/images/pipeline/tos-get-endpoint.png)

### 配置示例

```python theme={null}
source = S3Source(
    endpoint='https://tos-s3-cn-shanghai.volces.com',
    access_key='your-access-key-id',
    secret_key='your-secret-access-key',
    bucket='your-bucket-name',
    prefix='documents/',  # 可选
    region='cn-shanghai'
)
```

### 使用示例

```python theme={null}
from xparse_client import S3Source, Pipeline

source = S3Source(
    endpoint='https://tos-s3-cn-shanghai.volces.com',
    access_key='your-access-key-id',
    secret_key='your-secret-access-key',
    bucket='my-documents',
    prefix='pdfs/',
    region='cn-shanghai'
)

# ... 其他配置

pipeline = Pipeline(
    source=source,
    # ...其他配置
)
pipeline.run()
```

### 参考文档

* [火山引擎 TOS S3 兼容性说明](https://www.volcengine.com/docs/6349/147050)