官网下载地址
阿里镜像
CentOS Linux release 7.9.2009 (Core)
JDK版本:1.8.0_401
Hadoop版本:3.4.0
MySQL版本:8.3.0
Hive版本:3.1.3
JDK安装
MySQL安装
Hadoop配置
提前配置
ssh免密
MySQL远程登录
下载hive并配置环境变量,服务器端和客户端分别在hive中添加hadoop环境变量,创建各自的配置文件。初始化hive前,clone2作为MySQL服务器开启远程登录,在这之前配置ssh免密,再之前关闭hive服务器和MySQL服务器的防火墙。
初始化hive前,启动hive客户端、hive服务器端、MySQL服务器hadoop集群
初始化hive前,在MySQL手动创建myhive库
slf4j多重绑定会报警,但不会阻碍运行
准备
第一步:下载tar包,使用xftp传输到主机并解压
第二步:添加环境变量
点击查看代码
[root@clone1 apache-hive-3.1.3-bin]# vim /etc/profile...前文省略...
#Java
export JAVA_HOME=/root/jdk1.8.0_401
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:JAVA_HOME/lib/dt.jar
export PATH=$PATH:$JAVA_HOME/bin
#Hadoop
export HADOOP_HOME=/root/hadoop-3.4.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/libexec
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
#Hive
export HIVE_HOME=/root/apache-hive-3.1.3-bin
export PATH=$PATH:$HIVE_HOME/bin[root@clone1 apache-hive-3.1.3-bin]# source /etc/profile
配置
clone1
第三步:
cd /root/apache*/conf
cp hive-env.sh.template hive-env.sh
vim hive-env.sh
Hadoop
export HADOOP_HOME=/root/hadoop-3.4.0
第四步:
点击查看代码
<configuration>
<property><name>hive.metastore.warehouse.dir</name><value>/user/hive_remote/warehouse</value></property><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://clone2:3306/myhive?createDatabaseIfNoExist=true&useSSL=false&useUnicode=true&characterEncoding=UTF-8</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.cj.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>Peng!3!4</value></property><property><name>hive.metastore.schema.verification</name><value>false</value></property><property><name>datanucleus.schema.autoCreateAll</name><value>true</value></property></configuration>
~ ```
</details>
第五步:使用MySQL作为hive的元数据库
bin/schematool -dbType mysql -initSchemamaster
第三步:
cp /root/apache-hive-3.1.3-bin/lib/jline-2.12.jar /root/hadoop-3.4.0/share/hadoop/yarn/lib/jlb
第四步:
cd /root/apache*/confcp hive-env.sh.template hive-env.shvim hive-env.sh`#Hadoop
export HADOOP_HOME=/root/hadoop-3.4.0`
第五步:
<details>
<summary>点击查看代码</summary>
启动
clone1
第六步:启动服务器服务后挂起
bin/hive --service metastore &
master
第六步:启动客户端
hive