H5W3
当前位置:H5W3 > 其他技术问题 > 正文

Hadoophdfs搭棚

一、介绍Linux
Linux是一款开源免费的操作系统。Linux是一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。Linux继承了Unix以网络为核心的设计思想,是一个性能稳定的多用户网络操作系统。目前市面上较知名的发行版有:Ubuntu、RedHat、CentOS、Debain、Fedora、SuSE、OpenSUSE。
二、VMwareWorkstation 虚拟机安装
这里推荐https://www.jb51.net/article/169669.htm的安装教程,就不再多赘述了。
三、为虚拟机安装Centos操作系统
这里推荐https://blog.csdn.net/guo_ridgepole/article/details/78973763的安装教程,就不再多赘述了。
四、网络连接模式(个人选择的桥接模式)
Hadoophdfs搭棚
五、虚拟机环境准备
1.克隆虚拟机并修改静态ip,这里搭建集群需要三台或者多台(但必须是单数的)https://blog.csdn.net/qq_42774325/article/details/81189033
2.修改主机名
vim /etc/hostanme向其中加入自己想要取的主机名master,另外两台分别为slaver01slaver02,修改之后重启一下。
3.添加主机映射
vim /etc/hosts

192.168.3.22 master
192.168.3.23 slaver01
192.168.3.24 slaver02

4.关闭防火墙
systemctl service firewall
5.设置ssh免密登录
ssh免密登录

ssh-keygen -t rsa
ssh-copy-id master
ssh-copy-id slaver01
ssh-copy-id slaver02

另外两台机子重复类似操作。
六、安装JDK
1.卸载原有的jdk
rpm -qa |grep java |xargs prm -e --nodeps
2.解压(这里的包是已经在opt目录下的,我在opt目录下创建的module文件夹,专门存放大数据集群或组件的安装目录)
tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
3.改名
mv jdk1.8.0_231/ /opt/module/java
4/添加配置 vim /etc/profile

#JAVA_HOME
export JAVA_HOME=/opt/module/java
export PATH=$PATH:$JAVA_HOME/bin

使环境变量生效:source /etc/profile

5.测试是否安装成功
java -version
七、安装Hadoop
1解压
tar -zxvf /opt/hadoop-2.7.5.tar.gz -C /opt/module
2改名
mv hadoop-2.7.5/ /opt/module/hadoop

3修改配置 vim /etc/profile

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

生效:source /etc/profile
4测试
hadoop version
八、修改Hadoop配置
1.配置core-site.xml
vim core-site.xml

<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop/data/tmp</value>
</property>

2.配置hadoop-env.sh,添加jdk路径。
vim hadoop-env.sh
export JAVA_HOME=/opt/module/java

3.配置hdfs-site.xml
vim hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>slaver02:50090</value>
</property>

4.配置yarn-env.sh,添加jdk路径
vim yarn-env.sh
export JAVA_HOME=/opt/module/java

5.配置yarn-site.xml
vim yarn-site.xml
在该文件中增加如下配置

<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>slaver01</value>
</property>

6配置mapred-env.sh,添加jdk路径。
vim mapred-env.sh
export JAVA_HOME=/opt/module/java
7配置mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
在该文件中增加如下配置

<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

九、分发集群

scp -r /opt/module  root@slaver01:/opt/module
scp -r /opt/module  root@slaver02:/opt/module

在每个从节点使环境变量生效:source /etc/profile
十、启动hadoop集群
1.首先格式化hadoop集群
hadoop namenode -format
2.启东hadoop,进入sbin目录下
./start-all.sh
3.检查服务
jps

未经允许不得转载:H5W3 » Hadoophdfs搭棚

赞 (0)

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址