基本信息

---

下载

文档摘要

---

语料工程管理平台需求说明

序号

系统名称

功能模块

技术要求

1

采集管理

采集规则管理

提供维护数据采集的规则和策略，支持动态调整、优先级配置。

(1)数据采集规则支持LLM格式数据接入，包括预训练数据集、SFT、KTO偏好对齐、DPO偏好对齐、RLHF偏好对齐、图像caption、视频caption、图像问答，需提供接入样例下载。

（2）支持传输中断后恢复续传，对采集过程进度包括文件的上传进度、上传百分比等，支持取消上传。

2

采集接口管理

对接口参数进行维护，通过身份验证、数据加密等技术手段，确保采集过程中的数据不被泄露或篡改。

（1）采集接口需支持对象存储（MinIO、OSS、OBS）