铁雪资源网 Design By www.gsvan.com

一 端口变化

3.2.0版本中namenode页面端口是9870,datanode管理端口是8088,所以需要开放这两个端口还给web页面访问

二but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation

hadoop-env.sh中不光需要配置java-home,还需要声明下面这些用户变量,不然无法启动:

export JAVA_HOME=/usr/local/jdk/jdk1.8.0_191
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

三 3.2.0版本mapred-site.xml 文件配置需要加mapreduce.application.classpath属性

<property> <name>mapreduce.application.classpath</name> <value> /usr/local/hadoop3/etc/hadoop, /usr/local/hadoop3/share/hadoop/common/*, /usr/local/hadoop3/share/hadoop/common/lib/*, /usr/local/hadoop3/share/hadoop/hdfs/*, /usr/local/hadoop3/share/hadoop/hdfs/lib/*, /usr/local/hadoop3/share/hadoop/mapreduce/*, /usr/local/hadoop3/share/hadoop/mapreduce/lib/*, /usr/local/hadoop3/share/hadoop/yarn/*, /usr/local/hadoop3/share/hadoop/yarn/lib/* </value> </property>

四 salave文件编程workers文件了,内容配置是一样的

五 启动成功不报错,但最蛋疼的Live Nodes为0问题

Hadoop3.2.0集群搭建常见注意事项

解决步骤:

一 先查看datanode 日志:

Hadoop3.2.0集群搭建常见注意事项

如果出现这个说明连接配置有问题,查看core-site.xml配置,这个是配置datanode和namnode通信的:

一看

Hadoop3.2.0集群搭建常见注意事项

这里配置的连接地址有问题

hdfs应该配置成namnode的地址,不能配置成datanode的地址,所有节点都一样,这个地址,配置完成重启成功

网上还有说/etc/hots解析不成功的,这个也是一个原因,配置好域名映射就可以了,重要的是先看日志分析是什么问题

最后成功页面

Hadoop3.2.0集群搭建常见注意事项

Hadoop3.2.0集群搭建常见注意事项

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。

标签:
Hadoop,集群搭建

铁雪资源网 Design By www.gsvan.com
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
铁雪资源网 Design By www.gsvan.com

评论“Hadoop3.2.0集群搭建常见注意事项”

暂无Hadoop3.2.0集群搭建常见注意事项的评论...

《魔兽世界》大逃杀!60人新游玩模式《强袭风暴》3月21日上线

暴雪近日发布了《魔兽世界》10.2.6 更新内容,新游玩模式《强袭风暴》即将于3月21 日在亚服上线,届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。

艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕,并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时,他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中,玩家将会进入一个全新的海盗主题大逃杀式限时活动,其中包含极高的风险和史诗级的奖励。

《强袭风暴》不是普通的战场,作为一个独立于主游戏之外的活动,玩家可以用大逃杀的风格来体验《魔兽世界》,不分职业、不分装备(除了你在赛局中捡到的),光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式,玩家在加入海盗主题的预赛大厅区域前,可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹,《巨龙崛起》和《魔兽世界:巫妖王之怒 经典版》的玩家都可以获得奖励。