0%

Kylin环境搭建

本文详细描述了安装Kylin单点环境的过程和步骤

前提条件

  1. Zookeeper已启动
  2. Hadoop已启动
  3. HBase已启动

版本说明

  • 操作系统: CentOS 7
  • Hadoop版本: Hadoop 3.2.1
  • Zookeeper版本: Zookeeper3.4.14
  • HBase版本: hbase-2.3.0
  • JDK版本:1.8

下载、解压

下载Kylin安装包apache-kylin-3.1.0-bin-hadoop3.tar.gz并上传至服务器

1
2
# 解压
tar -zxvf apache-kylin-3.1.0-bin-hadoop3.tar.gz

由于新版kylin安装包中不带spark,所以需要自行下载spark,这里下载的是spark-2.4.6-bin-hadoop2.7.tgz

1
2
# 解压
tar -zxvf spark-2.4.6-bin-hadoop2.7.tgz

配置环境

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# 修改配置文件
vim /etc/profile
# 在配置文件末尾添加以下内容,注意路径替换成自己真实路径
# spark enviroment
export SPARK_HOME=/opt/spark-2.4.6
export PATH=$PATH:$SPARK_HOME/bin
export PATH=$PATH:$SPARK_HOME/sbin

# kylin enviroment
export KYLIN_HOME=/opt/kylin-3.1.0
export PATH=$PATH:$KYLIN_HOME/bin
export PATH=$PATH:$KYLIN_HOME/sbin
# 使环境变量生效
source /etc/profile

检查运行环境

1
$KYLIN_HOME/bin/check-env.sh

控制台输出如下(如果您的环境存在任何的问题,脚本将打印出详细报错信息。如果没有报错信息,代表您的环境适合 Kylin 运行):

启动

1
$KYLIN_HOME/bin/kylin.sh start

控制台输出如下:

启动报错hbase-common lib not found

1
2
3
4
# 找到hbase安装目录下的/bin/hbase文件
vim /opt/hbase-2.3.0/bin/hbase
# 找到 CLASSPATH=${CLASSPATH}:$JAVA_HOME/lib/tools.jar 这行,修改为
CLASSPATH=${CLASSPATH}:$JAVA_HOME/lib/tools.jar:$HBASE_HOME/lib/*

发现zookeeper地址不对,检查HBase的配置文件hbase-site.xml,发现zookeeper地址那多配置了端口

修改为:

重启hbase,继续启动kylin

问题汇总

kylin无法从Hive中同步

load table metadata from tree时,加载不出hive的元数据,如下图所示:

查看Hive的元数据表,如图:

发现:kylin查询的字段和hive中的字段名字不匹配

解决办法:在dbs表中添加一个字段名CATALOG_NAME,属性设置和CTLG_NAME字段一样

遗留问题

Kylin和Hive版本不兼容。。。未解决

坚持原创技术分享,您的支持将鼓励我继续创作!