windows配置Hadoop开发环境
问题描述
windows下连接hadoop集群,报以下错误:
java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset. -see https://wiki.apache/hadoop/WindowsProblems
在windows下想要连接hadoop集群,又不想安装hadoop环境下,这个时候就需要第三方工具了(hadoop-winutils)
工具地址
工具安装
下载工具
根据自己的安装的hadoop版本来选择对应的工具
我的集群时CDH版本,选择主机->所有主机->选择一个主机-> 组件,进行查看
这里我选择的时3.1.0版本可以兼容3.0.0
安装配置
配置HADOOP_HOME环境变量
点击环境变量,新建系统变量
配置Path
重启系统
SpringBoot配置连接Hbase
maven
<!-- hbase -->
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-client</artifactId>
<version>2.4.1</version>
</dependency>
application.yml
hbase:
config:
hbase:
zookeeper:
quorum: node1
property:
clientPort: 2181
node1:指的时zookeeper连接地址