Oozie安装及使用

• 部署 Hadoop（CDH 版本的）
• 1.修改 Hadoop 配置
• 重启 Hadoop 集群
• 部署 Oozie
• 在 Mysql 中创建 Oozie 的数据库
• 初始化 Oozie
• Oozie 的启动与关闭
• 访问 Oozie 的 Web 页面

部署 Hadoop（CDH 版本的）

1.修改 Hadoop 配置

core-site.xml

<!-- Oozie Server 的 Hostname -->
<property>
<name>hadoop.proxyuser.atguigu.hosts</name>
<value>*</value>
</property>
<!-- 允许被 Oozie 代理的用户组 -->
<property>
<name>hadoop.proxyuser.atguigu.groups</name>
<value>*</value>
</property>

mapred-site.xml

<!-- 配置 MapReduce JobHistory Server 地址 ，默认端口 10020 -->
<property>
 <name>mapreduce.jobhistory.address</name>
 <value>hadoop102:10020</value>
</property>
<!-- 配置 MapReduce JobHistory Server web ui 地址， 默认端口 19888 -->
<property>
 <name>mapreduce.jobhistory.webapp.address</name>
 <value>hadoop102:19888</value>
</property>

yarn-site.xml

<!-- 任务历史服务 -->
<property> 
<name>yarn.log.server.url</name> 
<value>http://hadoop102:19888/jobhistory/logs/</value> 
</property>

完成后：记得 scp 同步到其他机器节点

重启 Hadoop 集群

[atguigu@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh
[atguigu@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh
[atguigu@hadoop102 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver

注意：需要开启 JobHistoryServer, 最好执行一个 MR 任务进行测试。

部署 Oozie

解压 Oozie

[atguigu@hadoop102 software]$ tar -zxvf /opt/software/cdh/oozie-4.0.0-cdh5.3.6.tar.gz -C ./

在 oozie 根目录下解压 oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ tar -zxvf oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz 
-C ../

完成后 Oozie 目录下会出现 hadooplibs 目录。

在 Oozie 目录下创建 libext 目录

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ mkdir libext/

拷贝依赖的 Jar 包
1）将 hadooplibs 里面的 jar 包，拷贝到 libext 目录下：

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ cp -ra 
hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6/* libext/

2）拷贝 Mysql 驱动包到 libext 目录下：

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ cp -a 
/opt/software/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar ./libext/

将 ext-2.2.zip 拷贝到 libext/目录下
ext 是一个 js 框架，用于展示 oozie 前端页面：

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ cp -a /opt/software/cdh/ext-2.2.zip libext/

修改 Oozie 配置文件
oozie-site.xml

#JDBC 的驱动
	<property>
        <name>oozie.service.JPAService.jdbc.driver</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    #oozie 所需的数据库地址
    <property>
        <name>oozie.service.JPAService.jdbc.url</name>
        <value>jdbc:mysql://hadoop102:3306/oozie</value>
    </property>
    #数据库用户名
    <property>
        <name>oozie.service.JPAService.jdbc.username</name>
        <value>root</value>
    </property>
    #数据库密码
    <property>
        <name>oozie.service.JPAService.jdbc.password</name>
        <value>123456</value>
    </property>
    #让 Oozie 引用 Hadoop 的配置文件
    <property>
        <name>oozie.service.HadoopAccessorService.hadoop.configurations</name>
        <value>*=/opt/bigdata/hadoop2.7.2/etc/hadoop/</value>
    </property>

在 Mysql 中创建 Oozie 的数据库

进入 Mysql 并创建 oozie 数据库：

service mysql start

mysql -uroot -p123456
mysql> create database oozie;

初始化 Oozie

1. 上传 Oozie 目录下的 yarn.tar.gz 文件到 HDFS：
   提示：yarn.tar.gz 文件会自行解压

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozie-setup.sh sharelib create -fs 
hdfs://hadoop102:8020 -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz

执行成功之后，去 50070 检查对应目录有没有文件生成。

1. 创建 oozie.sql 文件

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/ooziedb.sh create -sqlfile oozie.sql -run

1. 打包项目，生成 war 包

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozie-setup.sh prepare-war

Oozie 的启动与关闭

启动命令如下：

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozied.sh start

关闭命令如下：

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozied.sh stop

访问 Oozie 的 Web 页面

http://hadoop102:11000/oozie/

本文地址：https://blog.csdn.net/cai_and_luo/article/details/107167897