基本信息
文件名称:产品天鹰态势感知系统功能与架构概览.pptx
文件大小:3.3 MB
总页数:40 页
更新时间:2026-03-05
总字数:约1.45千字
文档摘要

天鹰态势感知系统;目录;网络安全基本态势;目录;安全理念;安全实践;目录;系统架构;功能框架;系统详细架构;计算框架;;部件功能;分布式基本框架

zookeeper(竞争选举)

ResourceManager(资源管理)

hadoop(分布式计算系统,文件系统)

HBase(数据库)

Storm(更快的集群计算系统)

还有很多,不再举例

;zookeeper是分布式应用程序协调服务,为分布式应用提供一致性的服务,提供的功能包括:配置维护、名字服务、分布式同步、组服务

zookeeper通常用来进行选举leader。想想前面多个master之间选举leader

实际上zookeeper能做的事情很多,选举leader只是其中之一;开源的、可靠的、可扩展的、分布式的计算系统

hadoop包含下述模块

1)clients:基础工具模块,比如hadoop的基本命令程序

2)HDFS:HadoopDistribtedFileSystem,分布式文件系统,具有高容错性,和高吞吐性的特点

3)YARN:YetAnotherResourceNegotiator,任务调度和集群资源管理框架

4)MapReduce:基于YARN的,并行处理大数据的系统;HadoopDistribtedFileSystem,分布式文件系统

数据分散在各个存储节点,数据都有副本,副本丢失或者宕机后可以自动恢复

一句话保证了数据的可靠性。

;HDFS通常由namenode,datanode,secondarynamenode组成,namenode是master,datanode是slave,secondarynamenode是namenode的冷备份。;YARN:YetAnotherResourceNegotiator,任务调度和集群资源管理框架,通常YARN也称为MapReduce2.0(MRv2),它是对第一代MapReduce的改进。

可以简单的认为YARN用于资源管理

下面两个图是两种资源管理的基本方法,可以用来说明一些基本原理,实际情况会更复杂一些

;一个全局ResourceManager,对可用资源进行管理。

ApplicationMaster(AppMstr)用来协调应用程序内的所有任务的执行。这包括监视任务,重新启动失败的任务,向ResourceManager申请资源。

Nodemanager:以容器的形式提供资源,监控资源的使用情况,向ResourceManager报告资源情况。

容器:运行具体的任务。

ResourceManager和NodeManager是HadoopYARN的进程,ApplicationMaster提供了编程框架,不同的应用程序会有自己的实现

;分布式的、实时计算系统

用于实时分析、在线机器学习、连续计算

针对源源不绝的快速计算任务而???生的计算模式,通常应用在互联网点击分析、广告精准推送等领域中。

流式计算是在数据产生时,有一个程序一直监控日志产生,产生一行就通过传输系统发给流式计算系统,然后流式计算系统直接处理再写入数据库,由于基于内存计算,每条留从数据产生到写入数据库是,可以再亚秒级别完成。

;MySQL;平台功能;资产监控;定制大屏;风险预警;告警细节;;目录;;系统优势;目录;数据采集;安全分析;预警管理;处置管理;信息发布;目录;产品布置;谢谢!