基本信息

---

下载

文档摘要

---

大数据处理与分析应用手册（执行版）

第1章数据采集与预处理

1.1数据来源与类型

数据来源可以是结构化数据、非结构化数据、实时数据以及历史数据等多种类型。结构化数据如数据库中的表格数据，非结构化数据如文本、图像、音频、视频等，实时数据则来自传感器、IoT设备或流式数据处理系统，而历史数据则存储在数据仓库或数据湖中。常见的数据来源包括企业内部系统（如CRM、ERP）、外部API接口、社交媒体平台、物联网设备、政府公开数据、市场调研数据等。例如，电商企业可能从用户行为日志、支付记录、商品评论等多个渠道获取数据。

数据类型可以分为结构化数据（如CSV、JSON、SQL数据库）、半结构