基本信息
文件名称:2025年大数据平台架构.doc
文件大小:2.45 MB
总页数:27 页
更新时间:2025-04-04
总字数:约1.19万字
文档摘要

1.技术实現框架

大数据平台架构

大数据库是未来提高业务能力的关键要素

以“大数据”為主导的新一波信息化浪潮正席卷全球,成為全球范围内加速企业技术创新、推進政府职能转变、引领社會管理变革的利器。目前,大数据技术已經從技术研究步入落地实行阶段,数据资源成為未来业务的关键原因。通過采集和分析数据,我們可以获知事物背後的原因,优化生产/生活方式,预知未来的发展動态。

通過数年的信息化建设,省地税已經积累了丰富的数据资源,為下一步的优化业务、提高管理水平,奠定了坚实的基础。

未来的数据和业务应用趋势,大数据才能处理這些問題。

《1.巨杉软件SequoiaDB产品和案例简介v2》P12“银行的大数据资产和应用“,阐明税务数据和业务分析,需要用大数据处理。

《1.巨杉软件SequoiaDB产品和案例简介v2》P14“大数据与老式数据处理”,阐明处理模式的差异。

大数据平台总体框架

大数据平台总体技术框架分為数据源层、数据接口层、平台架构层、分析工具层和业务应用层。如下图所示:

(此图要修改,北明)

数据源层:包括各业务系统、服务系统以及社會其他單位的构造化数据和非构造化数据;

数据接口层:是原始数据進入大数据库的入口,针對不一样类型的数据,需要有针對性地開发接口,進行数据的缓冲、预处理等操作;

平台架构层:基于大数据系统存储各类数据,進行处理?;

分析工具层:提供多种数据分析工具,例如:建模工具、报表開发、数据分析、数据挖掘、可视化展現等工具;

业务应用层:根据应用领域和业务需求,建立分析模型,使用分析工具,发現获知事物背後的原因,预知未来的发展趋势,提出优化业务的措施。例如,寻找服务资源的最佳配置方案、发現业务流程中的短板進行优化等。

大数据平台产品选型

针對业务需求,我們选择巨杉数据库作為大数据基础平台。

老式数据库与大数据库的差异(丰富一下内容,阐明应當选择大数据平台)

老式的关系型数据库,只能存储构造化数据,在目前互联网迅速发展的時代,僵硬的数据模型已經無法适应迅速開发、迅速迭代的互联网思维。同步,越来越广阔的移動無线网络覆盖,不停提高的上网体验,人們的生活已經与网络连接起来,目前人們在互联网产生的数据,比较過去正在以几何倍数增長。

巨杉的产品框架()

巨杉的简要简介。

产品框架下的组件的简要简介,阐明由哪些東西构成,实現哪些功能。

产品比较?(与类似产品的竞争优势?)

SequoiaDB作為一款拥有完全自主知识产权的文档型分布式数据库,天生具有高性能、高可用的特性。SequoiaDB采用分片技术為数据库提供横向扩展机制,這個分片過程對应用程序来說是透明的。分片分派数据跨越多种物理分区,每個分区也即分片。分片是為了替SequoiaDB布署处理單台服务器硬件资源受限問題,如内存或者磁盘I/O瓶颈,不會增長应用程序复杂性。

SequoiaDB相比其他数据库的独有功能如下:

序号

功能點

1

灵活的数据类型

2

统一管理构造化数据及海量小文献

3

双存储引擎,简化系统架构

4

统一数据视图,实現冷、热数据物理分离

5

SequoiaDB支持讀写分离,顾客可以针對一份数据完毕更多的业务处理

6

深度整合大数据体系的各個组件,如Spark/Hadoop

7

完善的运维、监控工具

8

SequoiaDB支持在线扩容,系统扩容升级迅速简朴

巨杉的特點?()

SequoiaDB不仅在性能上领先业界其他的非关系型数据库,對比其他数据库,SequoiaDB提供了非常多的独有功能:

灵活的数据类型

SequoiaDB采用文档类型数据模型(對象存储),将程序中的對象以原生的方式保留在数据库中,并且可以對其中而已属性或子對象進行检索匹配,可以大幅度弱化复杂的关系模型,加紧应用的開发速度,并減少系统的运维成本。

灵活的数据类型

统一管理构造化数据和海量小文献

在過去,企业构建一种内容管理系统,基本是一种关系型数据库+存储這样的组合。這种构建措施,在過去数据量不大,并发数不高的状况下,系统還能运行得比较平稳。不過伴随時间的推移,需要接入该系统的业务會越来越多,需要管理的文献和信息量都開始開始激增,并且伴随查询的并发量增長,這時候,按照老式措施构建的系统,性能、扩容能力都無法满足需求。

SequoiaDB是一款以BSON数据类型作為底层存储格式的文档型数据库。

BSON格式自身是一种弱Schema的数据类型,一条BSON记录裏面,可以包括多种类型的数据,如整型、字符型、浮點型和二進制类型的数据。顾客可以运用BSON這种特性,将像图片,音频這种小文献以二進制类型放到一种BSON记录裏面,同步将對文献的描述信息也存储在同一种BSON记录上,形成一条完整的信息存储在SequoiaDB中。

构造化数据与非构造化数据存储在同一条记录上

這种运用BS