主页 分类 关于

大数据分析师 (比赛)

  1. 1. 安装数据库(0/4分)
  2. 2. Hive基础环境配置(0/6分)
  3. 3. 配置HIVE元数据至MySQL(0/6分)
  4. 4. 配置HIVE客户端(0/3分)
  5. 5. 启动Hive(0/2分)

大数据比赛文档

1. 安装数据库(0/4分)

安装mysql的链接,把它放在home或者你知道的地方, 指行以下代码

 # tar -tzvf解压文件到当前文件夹 -f解压 v日志
[root@localhost ~]# tar -zxvf mysql-8.0.26-el7-x86_64.tar.gz 

 # 进入root目录下  
[root@localhost ~]# cd /root/

 # 查看隐藏
[root@localhost ~]# ls -a

 # 用vim或者vi编辑这个目录
[root@localhost ~]# vim .bash_profile

 # 编辑成这样 MYSQL_HOME是自定义名字
 export MYSQL_HOME=/home/sdq/Music/mysql-8.0.26-el7-x86_64/
 # 在PATH=$PATH:$HOME后面加 /bin:$MYSQL_HOME/bin/
 PATH=$PATH:$HOME/bin:$MYSQL_BIN/bin/

 # 初始化
[root@localhost ~]# mysqld --initialize 

 # 安装
[root@localhost ~]# mysqld install Mysql 

 # 启动
[root@localhost ~]# service Mysql start 

 # 登陆mysql
[root@localhost ~]# mysql -u root -p

考核条件如下：
(1) 环境中已经安装mysql-community-server, 关闭mysql开机自启服务(0/1)分

  • 解释: 这里是已经安装 mysql-community-server 只需要关闭mysql开机自启就行了
 # 关闭MySql启动服务
[root@localhost ~]# systemctl disable mysqld 

 # 一定要重启才生效
[root@localhost ~]# reboot

 # 这是验证mysql的 显示ERROR 2002 (HY000)说明已关闭
[root@localhost ~]# mysql

(2) 开启MySQL服务(0/1)分

 # 关闭MySql启动服务
[root@localhost ~]# service mysqld start

(3) 判断mysqld.log日志下是否生成初临时密码(0/1)分

 # 判断mysqld.log日志下是否生成初临时密码
[root@localhost ~]# grep 'temporary password' /var/log/mysqld.log

(4) 设置mysql数据库本地root用户密码为123456(0/1)分

 # 为root用户设置密码
[root@localhost ~]# mysqladmin -u root password 123456

2. Hive基础环境配置(0/6分)

考核条件如下：
(1) 将Hive安装包解压到指定路径/usr/hive (安装包存放于/usr/package277/) (0/1)分

 # 打开 /usr/package277/ 没有路径就新建文件夹
[root@localhost ~]# cd /usr/package277/

 # 安装包存放于/usr/package277/只需要到这里找到 然后解压到指定路径/usr/hive 联系的话
[root@localhost ~]# tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /usr/hive

(2) 配置环境变量$HIVE_HOME,将bin目录加入PATH系统变量, 注意生效变量(0/1)分

 # 为root用户设置密码
[root@localhost ~]# mysqladmin -u root password 123456

 # 配置环境变量HIVE_HOME
[root@localhost ~]# vim /root/.bash_profile

 # 编辑成这样 HIVE_HOME是自定义名字
 export HIVE_HOME=/usr/hive/apache-hive-3.1.2-bin/
 # 在PATH=$PATH:$HOME后面加 :$HIVE_HOME/bin/
 PATH=$PATH:$HOME/bin:$MYSQL_BIN/bin/:$HIVE_HOME/bin/

 # 生效变量
[root@localhost ~]# source /root/.bash_profiles

(3) 修改HIVE运行环境, 配置Hadoop安装路径HADOOP_HOME(0/1)分

要安装Hadoop首先配个jdk8

 # 配置hadoop 首先配jdk8
[root@localhost ~]# tar -zxvf jdk-8u301-linux-aarch64.tar.gz

 # 配置环境变量JAVA_HOME
[root@localhost ~]# vim /root/.bash_profile

 # 编辑成这样 JAVA_HOME是自定义名字
 export JAVA_HOME=/home/sdq/Music/jdk1.8.0_301/26-el7-x86_64/
 # 在PATH=$PATH:$HOME后面加 /bin:$JAVA_HOME/bin/
 PATH=$PATH:$HOME/bin:$MYSQL_BIN/bin/:$HIVE_HOME/bin/:$JAVA_HOME/bin/

 # 生效变量
[root@localhost ~]# source /root/.bash_profiles

 # 验证
[root@localhost ~]# java

然后再安装Hadoop

 # 安装hadoop
[root@localhost ~]# tar -zxvf hadoop-3.3.1.tar.gz

 # 配置环境变量HADOOP_HOME
[root@localhost ~]# vim /root/.bash_profile

 # 编辑成这样 JAVA_HOME是自定义名字
 export HADOOP_HOME=/home/sdq/Music/hadoop-3.3.1/
 # 在PATH=$PATH:$HOME后面加 /bin:$JAVA_HOME/bin/
 PATH=$PATH:$HOME/bin:$MYSQL_BIN/bin/:$HIVE_HOME/bin/:$JAVA_HOME/bin/:$HADOOP_HOME/bin/:$HADOOP_HOME/sbin/

 # 生效变量
[root@localhost ~]# source /root/.bash_profiles

 # 验证
[root@localhost ~]# hadoop

(4) 修改HIVE运行环境, 配置Hive配置文件存放路径HIVE_CONF_DIR(0/1)分

重新解压apache-hive-3.1.2-bin.tar.gz最好改个名字再解压

 # 改名为再解压 或者解压后改名
[root@localhost ~]# tar -zxvf apache-hive-3.1.2-bin.tar.gz
 # 改名为hive
[root@localhost ~]# mv apache-hive-3.1.2-bin/ hive

 # [二选一] 然后查看一下有没有 没有再自己用vim建 用cp复制一个hive-env.sh.template 取名字为hive-env.sh
 [root@localhost ~]# cp hive-env.sh.template hive-env.sh

 # [二选一] 然后cd到conf 改hive-env.sh.template为hive-env.sh
[root@localhost ~]# mv hive-env.sh.template hive-env.sh

 # 配置环境变量HIVE_CONF_DIR
[root@localhost ~]# vim hive-env.sh

 # 配置hive-env.sh文件 编辑 HIVE_CONF_DIR
[root@localhost ~]# export HIVE_CONF_DIR=/home/sdq/Music/hive/conf/

(5) 修改HIVE运行环境, 配置Hive运行资源库路径HIVE_AUX_JARS_PATH(0/1)分

 # cd进入conf文件夹
[root@localhost ~]# cd /usr/hive/apache-hive-3.1.2-bin/conf/

 # 找到hive-site.xml进行修改 
[root@localhost ~]# vim hive-site.xml
 # 里面有 # export HIVE_AUX_JARS_PATH= 把注释解了 然后加上$HIVE_HOME/lib/
[root@localhost ~]# export HIVE_AUX_JARS_PATH=$HIVE_HOME/lib/

(6) 解决jline的版本冲突, 将$HIVE_HOME/lib/jline-1.12.jar同步至$HOADOOP_HOME/lib下(0/1)分

 # 复制到$HOADOOP_HOME/lib
[root@localhost ~]# scp -r $HIVE_HOME/lib/jline-2.12.jar $HOADOOP_HOME/lib/

3. 配置HIVE元数据至MySQL(0/6分)

考核条件如下：
(1) 驱动JDBC拷贝至hive安装目录对应lib下 (依赖包存放于/usr/package277/) (0/1)分

 # 因为依赖包不是存放于/usr/package277/ 只需要拷贝到hive安装目录的lib下
[root@localhost ~]# scp -r /home/sdq/Music/hive/lib/jline-2.12.jar ./lib/

(2) 配置元数据数据存储位置为/user/hive_remote/warehouse(0/1)分

 # 没有该目录就自己mkdir创建一个 -p是递归建立目录
[root@localhost ~]# mkdir -p /user/hive_remote/warehouse/

 # 检查目录
[root@localhost ~]# cd /user/hive_remote/warehouse/

(3) 配置数据库连接为MySQL(0/1)分

 # cd进入conf文件夹
[root@localhost ~]# cd /home/sdq/Music/hive/conf

 # 找到hive-env.sh进行修改 
[root@localhost ~]# vim hive-env.sh

(4) 配置连接JDBC的URL地址主机名及默认端口号3306, 数据库为hive, 如不存在自行创建, ssl连接方式为false(0/1)分

 # cd进入conf文件夹
[root@localhost ~]# cd /usr/hive/apache-hive-3.1.2-bin/conf/

 # 找到hive-site.xml进行修改 
[root@localhost ~]# vim hive-site.xml
   <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <-- 配置连接JDBC的URL地址主机名及默认端口号3306 ssl连接方式为false -->
        <value>jdbc:mysql://[IP地址]:3306/hive?useSSL=false</value>
    </property>

(5) 配置数据库连接用户(0/1)分

 # cd进入conf文件夹
[root@localhost ~]# cd /usr/hive/apache-hive-3.1.2-bin/conf/

 # 找到hive-site.xml进行修改 
[root@localhost ~]# vim hive-site.xml
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>用户名</value>
    </property>

(6) 配置数据库连接密码(0/1)分

 # cd进入conf文件夹
[root@localhost ~]# cd /usr/hive/apache-hive-3.1.2-bin/conf/

 # 找到hive-site.xml进行修改 
[root@localhost ~]# vim hive-site.xml
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>密码</value>
    </property>

4. 配置HIVE客户端(0/3分)

考核条件如下：
(1) 配置元数据存储位置为/user/hive_remote/warehouse(0/1)分

 # 没有该目录就自己mkdir创建一个 -p是递归建立目录
[root@localhost ~]# mkdir -p /user/hive_remote/warehouse/

 # 检查目录
[root@localhost ~]# cd /user/hive_remote/warehouse/

(2) 关闭本地metastore模式(0/1)分

 # 
[root@localhost ~]#

(3) 配置指向metastore服务的主机为slave1, 端口为9083(0/1)分

 # cd进入conf文件夹
[root@localhost ~]# cd /usr/hive/apache-hive-3.1.2-bin/conf/

 # 找到hive-site.xml进行修改 
[root@localhost ~]# vim hive-site.xml
            <property>
                <name>hive.metastore.uris</name>
                <value>thrift://[IP地址]:9083</value>
            </property>

5. 启动Hive(0/2分)

考核条件如下：
(1) 服务器端初始化数据库, 启动metastore服务(0/1)分

 # 启动metastore服务并且指定端口
[root@localhost ~]# hive --service metastore -p 9083 &

(2) 客户端开启进入hive, 创建hive数据库(0/1)分

 # 为root用户设置密码
[root@localhost ~]# mysqladmin -u root password 123456









作者: 我叫史迪奇
本文来自于: https://sdq3.link/Big-data-analyst.html博客内容遵循 署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0) 协议