数据的收集整理
演讲人：
日期:
未找到bdjson
目录
CATALOGUE
01
规划阶段准备
02
采集方法实施
03
数据清洗规范
04
存储与管理体系
05
质量评估流程
06
应用场景衔接
01
规划阶段准备
确定数据收集的质量要求和准确性标准，包括数据精度、完整性、可靠性等。
数据质量和准确性
制定数据安全和隐私保护措施，确保数据收集、存储和使用的合法性和安全性。
数据安全性和隐私
明确需要收集的数据类型和格式，包括结构化数据、非结构化数据、文本、图像等。
数据类型和格式
数据需求明确标准
收集范围与路径设计
设计数据收集的路径和方法，包括问卷调查、网络爬虫、API接口等。
数据收集路径
确定数据收集的来源，包括内部数据、外部数据、第三方数据等。
数据来源
制定数据筛选和过滤规则，去除重复、无效和错误数据。
数据筛选和过滤
资源分配与时间表
人力资源
确定数据收集、整理和分析的人员及其职责和分工。
确定数据收集、整理和分析所需的软件、工具和技术。
技术资源
制定详细的时间表和进度计划，确保数据收集、整理和分析工作按时完成。
时间安排
02
采集方法实施
结构化数据获取方式
通过SQL等数据库查询语言，从关系型数据库中获取数据。
数据库查询
01
通过调用应用程序编程接口（API），从第三方系统获取数据。
API接口
02
从数据仓库中提取和整理数据，满足分析需求。
数据仓库
03
文本挖掘
利用自然语言处理（NLP）技术，从文本数据中提取有用信息。
图像识别
利用图像识别技术，从图片、视频等非文本数据中提取信息。
网络爬虫
通过编写爬虫程序，从网站上获取数据，如文章内容、评论等。
非结构化数据抓取技术
消息队列
利用Kafka、RabbitMQ等消息队列技术，实现数据的实时采集和传输。
流式处理
采用Storm、SparkStreaming等流式处理技术，对数据流进行实时处理和分析。
数据湖
将数据实时接入数据湖，进行存储和处理，以满足实时分析需求。
实时数据流接入策略
03
数据清洗规范
完全删除法
适用于缺失值占比较大、对整体数据分布影响较大的情况。
填充法
利用均值、中位数、众数等统计量进行填充，或根据数据分布情况进行合理的推测和补充。
插值法
根据相邻数据的值进行插值，常用于时间序列数据。
保留法
不进行任何处理，保留缺失值，适用于缺失值对后续分析影响较小的情况。
缺失值处理原则
01
02
03
04
异常值检测与修正
6px
6px
6px
根据正态分布特性，将超出均值3倍标准差的数据视为异常值。
3σ原则
将数据划分为若干类，与类中心距离超过一定范围的数据视为异常值。
聚类分析法
利用箱线图直观地识别数据中的异常值。
箱线图法
01
03
02
对于检测出的异常值，可以进行删除、替换、修正等处理，以保证数据的准确性和可靠性。
修正方法
04
数据格式统一标准
数据类型统一
确保数据集中每个字段的数据类型一致，如整数、浮点数、字符串等。
01
数据格式规范
遵循一定的数据格式规范，如日期格式、时间格式、编码格式等，确保数据的一致性和可读性。
02
数据命名规范
采用统一、有意义的命名方式，避免使用模糊、易混淆的命名，提高数据的可理解性和可维护性。
03
04
存储与管理体系
根据数据的不同结构，将数据分为结构化数据、半结构化数据和非结构化数据，分别存储在不同的数据库中。
按照数据结构分类
根据数据的业务主题，将数据划分为不同的数据域，如财务、生产、销售等，便于管理和访问。
按照数据主题分类
将数据分为高频访问数据和低频访问数据，分别存储在不同的存储介质中，提高数据访问效率。
按照数据访问频次分类
数据库分类存储规则
记录数据的来源，包括数据采集、数据转换和数据加工等环节。
数据来源
元数据标注规范
标记数据的质量信息，包括数据的准确性、完整性、一致性等。
数据质量
定义数据的格式和编码规范，确保数据的可读性和可解析性。
数据格式
标记数据的安全级别和访问权限，保证数据的安全性和隐私性。
数据安全
本地备份
异地备份
数据加密
备份恢复测试
在本地建立数据备份机制，定期对数据进行备份，防止数据丢失。
在不同的地理位置建立数据备份中心，防止本地灾难性事件导致数据丢失。
对敏感数据进行加密处理，防止数据被非法访问和篡改。
定期进行备份恢复测试，确保备份数据的可用性和完整性。
安全备份机制设计
05
质量评估流程
完整性校验指标
评估数据集中各个数据项的缺失情况，确保数据完整性。
检查数据记录是否完整，是否存在丢失或截断现象。
评估关联数据是否完整，确保相关数据能够正确关联。
数据项缺失率
数据记录完整性
关联数据完整性
准确性验证方法
根据数据内部逻辑关系，检查数据是否存在不合理或矛盾之处。
逻辑检查法