大数据环境---数据仓库(hive+mysql+hadoop)的构建

大数据环境---数据仓库(hive+mysql+hadoop)的构建

前面已经配置好了集群环境zookeeper，hadoop。 以及分布式数据库hbase。 这个阶段要开始构建数据仓库的练习。涉及到的软件： mysql， hive 。

背景：

（我以前以为数据仓库就是数据库的数据库。。）

可见，hive本质是一个hadoop的工具。

mysql自然不必过多再去查询了。  需要注意的是它在centos7 的安装却有些讲究。   本来centos用yum 可以很方便的将mysql服务安装好，环境变量都不用配，但是我的网络环境不行，迫不得已只能去-安装包！！   在ubutu上安装过mysql的tar.gz包，在windows上也可以-zip包，但是centos上却需要下一个  bundle的包，并且还要注意版本的问题。  通过bundle安装还是第一次，所以遇到了很多的问题。

步骤：

1. centos 7 上安装mysql:

-并解压-下来的bundle包，并采用rpm进行安装。

修改密码策略并修改密码：

mysql本身的一些操作任务命令：

很多命令都是Mysql本身要求的，虽然也用了很多遍了，但是每次用的时候总还是需要查一查。  估计是没有在在课堂上将它当作古诗文而背下来的缘故，抑或是自己大脑觉得没有记得必要。。

2.hive服务端的安装：

2.1 解压并配置环境变量：

2.2 在hive服务器端，将mysql 的客户端连接： mysql-connector拷贝至：hive的lib下。  注意，这个mysql-connector只需拷贝到hive的服务器端即可，因为只有服务器端需要跟mysql 通信。 hive客户端只需与服务端通信,所以没有这些步骤。

2.3 配置hive服务端的配置：  conf/hive-env.sh

2.4 配置hive服务端配置：  conf/hive-site.xml

3. hive客户端安装：

3.0 客户端需要和hadoo通信。  hadoop与hive的jline包版本需统一。 可以从Hive的lib包将jline的jar包拷贝给hadoop的lib位置。 注意这里的情况： hive客户端， hadoop服务器端。

3.1解压并配置环境变量。

3.2 修改conf/hive-env.sh， 新增hdoop路径。

3.3 配置conf/hive-site.xml：

5. hive数据仓库的验证：

服务端：

客户端：

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。