毕业设计(论文)报告
PAGE2
目录TOC\o1-3\h\z\u
摘要 4
Abstract 5
第一章绪论 6
1.1研究背景 6
1.2研究意义 6
1.3研究内容 6
1.4本文组织结构 7
第二章需求分析 8
2.1业务概述 8
2.2业务活动流程分析 8
2.2.1数据采集活动流程 8
2.2.2数据存储活动流程 8
2.2.3数据分析活动流程 9
2.2.4数据可视化活动流程 10
2.3功能需求 10
2.4非功能需求 10
2.5本章小结 11
第三章系统概要设计 12
3.1总体设计 12
3.2架构设计 12
3.3数据库设计 13
3.3.1数据库结构设计 13
3.3.2数据库表设计 13
3.4业务流程设计 13
3.4.1数据采集流程 13
3.4.2数据存储流程 14
3.4.3数据分析流程 15
3.4.4数据可视化流程 15
3.5本章小结 16
第四章系统详细设计 17
4.1日志采集功能设计 17
4.1.1功能概述 17
4.1.2输入输出 17
4.2数据存储功能 17
4.2.1功能概述 17
4.2.2输入输出 17
4.2.3流程时序图 18
4.3数据分析功能 18
4.2.1功能概述 18
4.2.2输入输出 19
4.2.3流程时序图 19
4.4数据可视化功能 19
4.4.1功能概述 19
4.4.2输入输出 20
4.4.3流程时序图 20
4.5本章小结 21
第五章系统编码实现 22
5.1Linux搭建 22
5.2数据采集功能实现 23
5.2.1数据采集实现 23
5.2.2程序编码 23
5.3数据存储功能实现 24
5.3.1数据存储实现 24
5.3.2程序编码 24
5.4数据分析功能实现 25
5.5数据可视化功能实现 26
5.5.1可视化实现 26
5.5.2程序编码 26
5.6本章小结 27
第六章系统测试 28
6.1功能测试 28
6.1.1收集功能测试 28
6.1.2存储功能测试 28
6.1.3分析功能测试 29
6.1.4可视化功能测试 30
6.2本章小结 31
第七章总结与展望 32
7.1总结 32
7.2展望 32
致谢 33
参考文献 34
摘要
随着系统规模的扩大,日志数据量急剧增加,手动登录服务器查看日志已不现实。因此,需要搭建一个日志自动收集系统,将分散在各个服务器上的日志实时收集并统一存储到中心系统,以便进行快速搜索和问题定位,同时降低运维成本并提高日志处理的效率。
本系统为基于Linux日志自动收集系统搭建与应用。系统选择Linux虚拟机操作之日座位数据来源,利用Python语言中的Flask框架来实现对系统数据进行分析,为了方便数据存储与查询摆脱了CSV和Excel文件,利用MySQL数据库进行存放。利用Html与CSS3技术完成Web前端页面绘制,并使用JavaScript语言中的Echarts.js组件库进行数据展示。整个系统对类型占比、组件日志量、进程号分布、日志信息以及词云等信息都进行了分析以不同的图形进行展示。能够更加直观的对操作日志进行了解。
关键词:Linux日志收集;Python语言、数据分析、Echarts.js
Abstract
Withtheexpansionofthesystemscale,theamountoflogdataincreasessharply.Therefore,itisimpracticaltomanuallylogintotheservertoviewlogs.Therefore,youneedtosetupanautomaticlogcollectionsystemtocollectandstorethelogsscatteredoneachserverinrealtime