第四章数据存储与管理大数据概论及应用实践IntroductiontoBigDataandApplicationPractice
第4章数据存储与管理数据存储与管理是大数据分析应用的关键一环。通过数据采集获取的数据，必须进行有效的存储和管理，采用高效的处理和分析。特别是在当下大数据时代，一方面，数据类型越来越多，包括结构化数据、半结构化数据和非结构化数据；另一方面，涉及的数据量越来越庞大，已经超出了传统的数据存储与管理技术的范畴，数据存储与管理面料这巨大的挑战。因此，催生了新一代的数据存储与管理技术，包括文件系统和分布式数据库等。本章首先介绍了传统的数据存储和管理技术，然后介绍了大数据时代的数据存储和管理技术，同时给出了对应的代表性技术和产品的介绍。
目录CONTENTS存储管理技术的发展4.1传统的存储和管理技术4.2大数据时代的存储和管理技术4.3拓展实训4.4本章小结4.5习题4.6
数据采集（DataAcquisition，DAQ）也称为数据获取或数据收集，是指利用不同的设备和技术通过一系列的流程自动采集数据，并传到存储空间中进行分析、处理的过程。概述PART01
4.1存储管理技术的发展对于通过多源异构采集到的大量数据，只有科学的存储、高效的管理才能够最大程度地发挥它们的价值。在最初设计的初衷是通过收集到的数据进行复杂的科学计算。但是随着技术的发展和数据的大量增长，应用也越来越广泛，对存储管理的要求也就越来越高。总体来说，数据存储和管理技术的发展经历了以下几个阶段：人工管理阶段、文件系统阶段、数据库系统管理阶段、大数据管理阶段。如图4-1所示存储管理技术的发展。图4-1存储管理技术的发展
4.1存储管理技术的发展1.人工管理阶段人工管理阶段是指20世纪50年代中期以前。当时计算机的软硬件技术都不完善，在硬件方面，存储设备主题语磁带、卡片和纸带，没有大容量的存储器；在软件方面，没有操作系统和管理数据的软件。这一阶段的数据处理方式是批处理，而且基本上是依赖于人工。人工管理阶段具有如下特点。（1）数据不能长期保存，用完就删除。（2）数据的管理由应用程序完成。应用程序不仅要规定数据的逻辑结构，还要设计数据的存储结构、存储方法等。（3）数据面向应用，不能共享。一组数据只能对应一个应用程序。当多个应用程序涉及某些相同数据时，必须各自定义，无法共享，由此产生了大量的冗余数据。（4）数据不独立。当数据的物理结构或逻辑结构发生变化时，只能依靠对应的应用程序来修改。
4.1存储管理技术的发展2.文件系统阶段文件系统阶段是指在20世纪50年代后期到60年代中期。硬件方面，可以使用磁盘、磁鼓等可以直接存取的存储设备；软件方面，有了专门管理数据的软件，也就是文件系统。不仅能够对数据进行批处理，而且能够联机实时处理。文件系统阶段具有如下特点。（1）数据实现了长期保存。（2）由文件系统管理数据。文件系统把数据组织成相互独立的文件，采用“按文件名访问，按记录存取”的技术对文件进行各种操作，很大程度上减少了维护应用程序的工作量。（3）数据共享率低，冗余度高。在文件系统中，文件仍然是面向应用程序的，不能共享相同的数据。这部分相同数据重复存储和独立管理极易导致数据的不一致，给数据的修改和维护带来很大的困难。（4）数据独立性差。文件系统中的文件是为某一特定的应用程序服务的，数据和应用程序是相互依赖的，要想改变数据的逻辑结构也要相应地修改应用程序和文件结构的定义；对应用程序的修改，也会引起文件结构的改变。
4.1存储管理技术的发展3.数据库系统阶段数据库系统阶段是指20世纪60年代后期。这一时期，计算机硬件技术迅猛发展，大容量磁盘、磁盘阵列等基本的数据存储技术日趋成熟，同时价格也在不断下降；软件方面，编制和维护系统软件及应用程序所需的成本也在不断增加；处理方式上，联机实时处理要求更多；为了满足这些要求，共享性高，冗余度地，程序与数据之间具有一定的独立性，数据库这样的数据管理技术应运而生，对数据进行统一控制。数据库系统阶段具有如下特点。（1）数据结构化。在描述数据时不仅要描述数据本身，还有描述数据之间的联系。（2）数据共享性高、冗余少且易扩充。数据不再是针对某一个应用，而是面向整个系统，能更好地保证数据的安全性和完整性。（3）数据独立性高。应用程序与数据库中的数据相互独立，简化了应用程序的编制，大大减少了应用程序的维护带来的开销。
4.1存储管理技术的发展4.大数据管理阶段大数据管理管理阶段是2008年8月提出来的。在这一时期，由于信息技术的高度发展，信息系统所积累的数据越来越多，数据类型也越来越丰富,而且产生的速度非常快。传统的数据库技术“存不下”、无法建模