数据治理支持服务通用品类协议
II
目录
1数据子湖建设2
1.1数据清洗实施2
1.1.1结构化数据清洗3
1.1.2非结构化数据清洗6
1.2入湖方式制定6
1.3数据迁移8
1.3.1结构化数据迁移8
1.3.2非结构化数据迁移9
1.4数据管理工具建设及优化12
1.4.1主数据管理工具12
1.4.2数据交换与服务工具13
1.4.3数据模型管理工具15
1.4.4数据质量管理工具16
1.4.5数据资源管理工具18
1.4.6数据管控门户20
1.4.7数据安全管理工具20
1.4.8数据管理工具定制开发23
1.5数据应用及服务23
1.5.1数据服务分类23
1.5.2数据服务定制24
1.5.3数据赋能场景构建28
2项目人力资源35
2.1项目组织架构35
3项目管理方案36
3.1项目质量管理36
3.1.1质量管理综述36
3.1.2本项目的质量管理特征分析36
3.1.3质量管理方法37
3.1.4项目质量管理执行建议39
3.2进度管理43
3.2.1进度管理原则43
3.2.2进度管理内容43
3.2.3进度管理操作44
3.3沟通管理46
3.3.1沟通过程管理46
3.3.2项目技术联络会议47
I
1数据子湖建设
基于建立的数据标准实现数据的物理或逻辑入湖，涉及的数据包括在各
类生产作业过程中产生的结构化数据、非结构化数据，实时数据与离线数据。
专业类数据包括但不限于钻完井数据、实验分析数据、档案数据、增产增注数
据、化学驱数据、设备定位数据、人工举升数据、油田化工生产动态、井控数
据、生产经营数据以及正在同步建设的相关专业数字项目库，共同形成“一湖
数据”。数据子湖建设是对内外部的结构化、非结构化的原始数据的逻辑汇聚。
数据入湖要遵从6项入湖标准，基于6项标准保证入湖的质量，同时面向不同
的消费场景提供两种入湖方式（推拉方式），满足数据消费的要求。
图4-1数据湖总体视图
1.1数据清洗实施
数据清洗是数据入湖的前提，主要对各业务系统中准备进入湖的数据进
行数据一致性、有效性、完整性的手段纠偏。主要工作为进行数据补全、数据
去重、数据业务有效性检查等。
2
1.1.1结构化数据清洗
（1）数据分析、定义错误类型：数据分析是数据清洗的前提与基础，通过详
尽的数据分析来检测数据中的错误或不一致情况，除了手动检查数据或
者数据样本之外，还可以使用分析程序来获得关于数据属性的元数据，
从而发现数据集中存在的质量问题
（2）定义清洗转换规则：数据分析得到的结果来定义清洗转换规则与工作流。
根据数据源的个数，数据源中不一致数据和“脏数据”多少的程度，需
要执行大量的数据转换和清洗步骤。数据清洗针对的对象主要有四个—
—缺失值、异常值、重复值和无用值，针对不同对象的不同形式，采取
相应的方法进行处理，从而得到期望的数据
?非空校核：要求字段为非空的情况下，对该字段数据进行校核。如果
数据为空，需要进行相应处理
?重复校核：多个业务系统中同类数据经过清洗后，在统一保存时，为
保证主键唯一性，需进行校核工作
?异常值校核：包括取