某集团联通大数据平台建设方案技术交流;
1.本期建设目标
2.平台的建设规划
3.平台建设技术方案：建设背景、探索历程、平台实践、总结与展望;
1现状分析;
集团大数据平台建设现状
集团现状：目前接入全国的O域话单数据、B域用户数据、M域工参数据等基础数据，包括全量信令面、用户面2G/3G/4G/5G数据，数据量预估1.2P/天。平台现有规模700台+服务器，预计未来规模将达到数千台服务器。在数据层面，数据资产管理首先解决的是企业内系统间数据孤岛的问题，将不同系统中的数据进行全面汇集和管理，通过数据提炼分析、集中化管理，形成企业数据资产和洞察，服务于业务，解决了数据“汇管用”的问题。在业务层面，通过对各业务线的模块去重和沉淀，共享通用模块，让前台业务更加敏捷地面向市场，实现企业新业务的快速上线与迭代试错，服务更多场景，提升业务响应力。在技术层面，避免重复开发，技术迭代升级更高效，可按需扩展服务，让整个技术架构更开放。数字中台最终的应用价值是在充分市场竞争下，保持并提升企业的运营效率和创新能力。
痛点分析
1.数据割裂，跨区域，冒烟式建设，集群很难统一管理。
2.数据分散、共享困难，数据价值释放有限，无法变现。
3.数据冗余多、集群数据处理效率不高、占用物理资源高，重复建设，成本高。
4.数据质量有待提升、缺乏端到端的血缘管控，缺乏数据治理体系。
5.数据服务便捷性有待提升，缺一站式数据安全取数体系。
6.数据挖掘模型不够丰富，行业垂直数据建模能力相对较弱。;
建设背景：集团痛点
n全域数据汇聚和管理中心，沉淀了海量的计算能力、存储能力、数据能力。
n面临着如何实现资源智能调度、最大化利用、能力共享，进一步赋能各类合作伙伴应用创新、促进数据价值变现的发展瓶颈。;
平台架构
1、需要建立跨区域、多集群数据管理
2、可视化管理、跨集群数据交换能力不足
3、统一运维、自动化运维能力不足
4、多租户，统一任务调度管理
5、建底层存储、计算集群搭建、容器化部署
数据汇聚
1、数据采集汇聚效率不足
2、数据采集范围尚未覆盖企业级整体数据
3、不同种类的数据存放仍需规范化
4、源系统接口不规范，数据采集不稳定
数据处理
1、实时、准实时数据处理支撑能力不足
2、数据处理的效率有待提升
数据治理
1、数据资产可视化程度偏低
2、缺少数据资产面向企业的服务能力
3、数据质量管理仍有很大的提升空间;
2规划思路;
1、建立集团数据中心：打通网络侧、终端侧、内外业务侧，建设跨区域、跨机房、集约化集群管控。
2、构建基础集群能力：数据治理、降本增效。贯通生态，强化网络能力输出。
3、提供数据变现能力：包括行业精准画像、应用产业影响和发展支撑。
4、打通行业垂直数据：以O域为主，融合B域以及全国平台侧数据、网络侧、终端侧、内外业
务侧，实现网络数据变现能力，包括行业精准画像、应用产业营销和发展支撑。;;
总体架构：技术特点-多集群和混合云;;
生产环境;
01.管理
●节点CPU卡识别
●容器内挂载CPU
02.分配
●大粒度：按租户
●小粒度：用户集群
●硬件型号
03.监控
●CPU状态监控
●CPU用量监控（使用率、显存、温度等）;
集群管理资产管理数说工厂运维中心;
?大数据的目标是充分挖掘海量数据中的信息，以发现数据中的价值
?云计算的目标是通过资源共享的方式更好地调用、扩展和管理计算和存储等方面的资源和能力，以提高资源利用率，降低企业的IT成本
?云计算可以为大数据平台的计算和存储提供资源层的灵活性
?大数据组件部署到云平台上，作为通用PaaS能力，为用户带来使用上的便利和高效;
Admin
SpecializationSimplicity;
建设背景：中国联通构建了业界领先的大数据平台
n中国联通拥有集中的，企业级全域数据的存储中心、计算中心、能力中心和孵化中心。;
应
用
数据服务能力封装/开放
数据能力AI能力
()
基于容器云的数据中心操作系统;
历程回顾：中国联通大数据平台建设
n2