Hadoop大数据项目开发——Hive概述
目录content02Hive支持的文件存储格式01Hive简介03Hive特点
Hive简介Hive是构建在Hadoop上的数据仓库Hive是Hadoop的顶级项目之一Hive可以将Hive查询语句解析成MapReduce作业Hive不适合实现复杂的机器学习算法等Hive适合批量处理海量数据。Hive并非数据库。Hive的数据存储在HDFS
Hive支持的文件存储格式文本文件(TextFile)该格式是Hive默认的存储格式。文本文件格式简单,但用它存储的数据会占用大量的磁盘空间。序列文件(SequenceFile)该格式文件存储的数据是有序键值对,并具有可分割和可压缩的特点。列式记录文件(RCFile)使用该格式存储数据时,先对数据水平切分,再做垂直切分。
Hive的特点操作接口采用类SQL语法,提供快速开发的能力。Hive优势在于处理大数据Hive支持用户自定义函数优点缺点Hive的HQL表达能力有限Hive的效率比较低Hive延时较高
本章小结本节介绍了Hive,包括Hive简介,Hive支持的文件存储格式和Hive特点,相信大家对Hive有了全新的认识。
Hadoop大数据项目开发——MySQL安装
目录content01MySQL安装02MySQL授权
MySQL安装步骤由于Hive的元数据需要保存在关系型数据库MySQL中,本节将介绍如何在CentOS环境下安装MySQL,以便用它来保存Hive的元数据。
MySQL安装步骤查询Mariadb步骤1卸载Mariadb步骤2
MySQL安装步骤Xshell中的文件传输拖到文件传输窗口查看MySQL安装包步骤3
MySQL安装步骤安装MySQL步骤4
MySQL安装步骤启动服务和查看服务状态步骤5启动MySQL服务查看MySQL服务状态
MySQL安装步骤查询初始密码步骤6:查询密码命令
MySQL安装步骤启动HBase步骤7:输入/var/log/mysqld.log文件中查询到的默认root用户登录密码输入新密码Password123$输入新密码Password123$输入新密码Password123$输入新密码Password123$初始化命令
MySQL授权登录到MySQL命令输入新设定的密码Password123$
MySQL授权
本章小结本节介绍了MySQL的安装,相信大家对Linux操作系统下安装MySQL有了全新的认识,为我们后续学习Hive打下来基础。
Hadoop大数据项目开发——Hive安装与验证
目录content0201Hive安装Hive验证
Hive安装步骤Xshell中的文件传输拖到文件传输窗口查看Hive安装包步骤1
Hive安装步骤解压Hive安装包命令Hive系统环境变量步骤2步骤3重命名命令步骤4编辑profile文件步骤5使profile文件生效
Hive安装步骤步骤6hive-site.sh文件内容
Hive安装步骤步骤7将mysql驱动jar包上传到Hive的安装目录的lib中
Hive验证启动Hive
Hive验证Hive的元数据信息表
本章小结本节介绍了Hive的安装与配置,相信大家已经掌握了Hive的安装与配置,为我们后续学习Hive表操作打下了坚实的基础。
Hadoop大数据项目开发——Hive安装与验证
目录content0201Hive安装Hive验证
Hive安装步骤步骤1:使用Xshell的文件传输功能,将下载的Hive安装包传到虚拟机master中,点击Xshell中的文件传输,然后将Hive安装包直接拖到文件传输窗口即可,此时可以切换到文件传输路径;
Hive安装步骤
Hive安装步骤使用查看命令,查看Hive安装包是否已经传输成功。
Hive安装步骤步骤2:在虚拟机master上安装Hive,解压Hive安装包即可,解压命令如下所示:步骤3:为了配置Hive系统环境变量方便,此处可以修改目录名,命令如下:
Hive安装步骤步骤4:配置Hive系统环境变量,修改文件/etc/profile,执行以下命令:在文件的末尾添加如下内容:步骤5:profile文件配置完成之后,需要使刚刚修改的内容生效,执行如下命令:
Hive安装步骤步骤6:修改Hive的配置文件:新建hive-site.xml配置文件配置文件位于Hive安装目录下的conf目录下面,在该目录下可以使用自带hive-default.xml.template文件,由于该文件中内容较多,本课程中使用新建hive-site.xml的方式。
Hive安装步骤hive-site.xml配置文件的内容如下:
Hive安装步骤上述配置文件中参数是设置存储元数据的:javax.jdo.option