本地文件夹
本地文件夹数据源用于从本地文件系统读取文档。参数说明
文件匹配模式
pattern 参数支持以下通配符:
*:匹配任意字符(不包括路径分隔符)**:匹配任意字符(包括路径分隔符)
['*.pdf']:匹配当前目录下所有 PDF 文件['*.pdf', '*.docx']:匹配当前目录下所有 PDF 和 Word 文件['**/*.txt']:递归匹配所有子目录下的 txt 文件,必须配合recursive=True参数使用
Documentation Index
Fetch the complete documentation index at: /llms.txt
Use this file to discover all available pages before exploring further.
配置本地文件夹数据源,从本地文件系统读取文档
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
type | string | 是 | 固定为 "local" |
directory | string | 是 | 本地文件夹路径(绝对路径或相对路径) |
pattern | list[string] | 否 | 文件匹配模式,支持通配符(如['*.pdf'])来过滤需要处理的文件,默认为 None,处理全部文件 |
pattern 参数支持以下通配符:
*:匹配任意字符(不包括路径分隔符)**:匹配任意字符(包括路径分隔符)['*.pdf']:匹配当前目录下所有 PDF 文件['*.pdf', '*.docx']:匹配当前目录下所有 PDF 和 Word 文件['**/*.txt']:递归匹配所有子目录下的 txt 文件,必须配合 recursive=True 参数使用source = LocalSource(
directory='./documents', # 相对路径
pattern=['*.pdf'] # 只匹配 PDF 文件
)
source = LocalSource(
directory='/home/user/documents', # 绝对路径
pattern=['*.pdf'] # 只匹配 PDF 文件
)
from xparse_client import LocalSource, Pipeline
source = LocalSource(
directory='./documents',
recursive=True,
pattern=['*.pdf'] # 递归处理所有 PDF 文件
)
# ... 其他配置
pipeline = Pipeline(
source=source,
# ...其他配置
)
pipeline.run()
此页面对您有帮助吗?
