基本信息

---

下载

文档摘要

---

大数据应用与管理手册（执行版）

第1章数据采集与处理

1.1数据源管理

数据源管理是大数据应用与管理的基础，涉及对各类数据来源的识别、分类、授权与监控。数据源主要包括结构化数据（如数据库、ERP系统）和非结构化数据（如日志文件、社交媒体数据、图像、视频等）。在实际操作中，需通过数据目录、数据湖、数据仓库等机制实现数据的统一管理。数据源管理需明确数据来源的合法性与合规性，确保数据采集过程符合相关法律法规（如《个人信息保护法》）。同时，需建立数据源清单，记录数据来源机构、数据类型、数据量、数据更新频率等关键信息。

在数据源管理过程中，需采用数据质量评估工具对数据源进行评估，包括数据完