网站开发的技术在线网站建设

hadoop3.3x和hive4.0安装部署

为什么我要安装hive4.0，因为阿里云镜像只有hive4.0

软件相互兼容性版本

系统centos7

uname -a如果内核3.0以上可以用

安装jdk1.8以上的版本（配置好环境变量）

hadoop3.3.x与hive4.0.x

---

创建目录

mkdir -p /usr/local/service/

先解压hadoop

tar -zxvf hadoop-3.3.5.tar.gz -C /usr/local/service/

cd /usr/local/service/hadoop-3.3.5/

cd /etc/hadoop

设置资源调度为yarn

vi mapred-site.xml

<property>

　　　　<name>mapreduce.framework.name</name>

　　　　<value>yarn</value>

</property>

创建namenode和datanode的webui存储路径

mkdir -p /data/emr/hadoop/namenode

mkdir -p /data/emr/hadoop/namenode

vi hdfs-site.xml

<configuration>

 <property>
　　　　<name>dfs.replication</name>
　　　　<value>2</value>
　　</property>
　　<property>
　　　　<name>dfs.namenode.name.dir</name>
　　　　<value>file:/home/hadoop/hadoop/tmp/dfs/name</value>
　　</property>
　　<property>
　　　　<name>dfs.datanode.data.dir</name>
　　　　<value>file:/home/hadoop/hadoop/tmp/dfs/data</value>
　　</property>
<property>

        <name>dfs.namenode.http-address</name>

        <value>namenode-host:50070</value>

</property>

<property>

        <name>dfs.namenode.https-address</name>

        <value>namenode-host:50470</value>

</property>

</configuration>