基本信息
文件名称:Hadoop大数据开发基础与案例实战(微课版) 课件 6 Hive数据仓库.pptx
文件大小:3.45 MB
总页数:171 页
更新时间:2025-03-16
总字数:约1.17万字
文档摘要

Hadoop大数据项目开发——Hive概述

目录content02Hive支持的文件存储格式01Hive简介03Hive特点

Hive简介Hive是构建在Hadoop上的数据仓库Hive是Hadoop的顶级项目之一Hive可以将Hive查询语句解析成MapReduce作业Hive不适合实现复杂的机器学习算法等Hive适合批量处理海量数据。Hive并非数据库。Hive的数据存储在HDFS

Hive支持的文件存储格式文本文件(TextFile)该格式是Hive默认的存储格式。文本文件格式简单,但用它存储的数据会占用大量的磁盘空间。序列文件(SequenceFile)该格式文件存储的数据是有序键值对,并具有可分割和可压缩的特点。列式记录文件(RCFile)使用该格式存储数据时,先对数据水平切分,再做垂直切分。

Hive的特点操作接口采用类SQL语法,提供快速开发的能力。Hive优势在于处理大数据Hive支持用户自定义函数优点缺点Hive的HQL表达能力有限Hive的效率比较低Hive延时较高

本章小结本节介绍了Hive,包括Hive简介,Hive支持的文件存储格式和Hive特点,相信大家对Hive有了全新的认识。

Hadoop大数据项目开发——MySQL安装

目录content01MySQL安装02MySQL授权

MySQL安装步骤由于Hive的元数据需要保存在关系型数据库MySQL中,本节将介绍如何在CentOS环境下安装MySQL,以便用它来保存Hive的元数据。

MySQL安装步骤查询Mariadb步骤1卸载Mariadb步骤2

MySQL安装步骤Xshell中的文件传输拖到文件传输窗口查看MySQL安装包步骤3

MySQL安装步骤安装MySQL步骤4

MySQL安装步骤启动服务和查看服务状态步骤5启动MySQL服务查看MySQL服务状态

MySQL安装步骤查询初始密码步骤6:查询密码命令

MySQL安装步骤启动HBase步骤7:输入/var/log/mysqld.log文件中查询到的默认root用户登录密码输入新密码Password123$输入新密码Password123$输入新密码Password123$输入新密码Password123$初始化命令

MySQL授权登录到MySQL命令输入新设定的密码Password123$

MySQL授权

本章小结本节介绍了MySQL的安装,相信大家对Linux操作系统下安装MySQL有了全新的认识,为我们后续学习Hive打下来基础。

Hadoop大数据项目开发——Hive安装与验证

目录content0201Hive安装Hive验证

Hive安装步骤Xshell中的文件传输拖到文件传输窗口查看Hive安装包步骤1

Hive安装步骤解压Hive安装包命令Hive系统环境变量步骤2步骤3重命名命令步骤4编辑profile文件步骤5使profile文件生效

Hive安装步骤步骤6hive-site.sh文件内容

Hive安装步骤步骤7将mysql驱动jar包上传到Hive的安装目录的lib中

Hive验证启动Hive

Hive验证Hive的元数据信息表

本章小结本节介绍了Hive的安装与配置,相信大家已经掌握了Hive的安装与配置,为我们后续学习Hive表操作打下了坚实的基础。

Hadoop大数据项目开发——Hive安装与验证

目录content0201Hive安装Hive验证

Hive安装步骤步骤1:使用Xshell的文件传输功能,将下载的Hive安装包传到虚拟机master中,点击Xshell中的文件传输,然后将Hive安装包直接拖到文件传输窗口即可,此时可以切换到文件传输路径;

Hive安装步骤

Hive安装步骤使用查看命令,查看Hive安装包是否已经传输成功。

Hive安装步骤步骤2:在虚拟机master上安装Hive,解压Hive安装包即可,解压命令如下所示:步骤3:为了配置Hive系统环境变量方便,此处可以修改目录名,命令如下:

Hive安装步骤步骤4:配置Hive系统环境变量,修改文件/etc/profile,执行以下命令:在文件的末尾添加如下内容:步骤5:profile文件配置完成之后,需要使刚刚修改的内容生效,执行如下命令:

Hive安装步骤步骤6:修改Hive的配置文件:新建hive-site.xml配置文件配置文件位于Hive安装目录下的conf目录下面,在该目录下可以使用自带hive-default.xml.template文件,由于该文件中内容较多,本课程中使用新建hive-site.xml的方式。

Hive安装步骤hive-site.xml配置文件的内容如下:

Hive安装步骤上述配置文件中参数是设置存储元数据的:javax.jdo.option