构建hadoop平台伪分布环境

 人参与 | 时间:2025-06-24 12:47:46

目录。

1.准备工作:

1.确保jdk已安装在当前的操作系统中。

2..准备hadoop安装包。

3.开始安装:

1.修改当前主机的主机名称:

2.安装hadop。

3.配置hadop。

4. 进入hadoop配置文件的路径:

4.启动hadop平台。

1.格式化主服务器。

2.启动hadop平台。

3.检查所有过程是否成功启动。

5.报错解决方案。


1.准备工作:

1.确保jdk已安装在当前的操作系统中。

2..准备hadoop安装包。

hadoop-2.7.7.tar.gz。

3.开始安装:

1.修改当前主机的主机名称:

  • 打开/etc/hostname 文件。

[root@localhost etc]# vi /etc/hostname。

  • 然后删除原始内容,设置新的主机名称。

        注意:主机名不允许使用一些特殊符号:- _ . *。

  • 打开/etc/hosts 文件,然后修改里面的映射关系。

[root@localhost etc]# vi /etc/hosts。

  • 删除原始内容,并输入新的映射关系。

虚拟机IP地址 主机名。

例如:192.168.74.129 master1。

重启虚拟机:reboot。

2.安装hadop。

  • 将hadoop的安装包解压到 ࿱指定路径a;以bigdata为例。

[root@master1 ~]# tar -zxvf hadoop-2.7.7.tar.gz -C bigdata/。

  • 配置环境变量。

打开~/.bashrc。

[root@master1 ~]# vi ~/.bashrc。

  • 然后在文件末尾添加以下内容。

#配置hadop的环境。

export HADOOP_PREFIX=/root/bigdata/hadoop-2.7.7  <-- 这里是hadoop的地址-->

export PATH=${ PATH}:${ HADOOP_PREFIX}/bin。

export PATH=${ PATH}:${ HADOOP_PREFIX}/sbin。

  • 配置文件的设置生效。

[root@master1 ~]# source ~/.bashrc。

  • 检查配置是否成功。

[root@master1 ~]# hadoop version。

Hadoop 2.7.7。

3.配置hadop。

  • 免密登录在配置服务器之间。

        。测试是否有免密功能。

        如果输入:ssh 主机名 如果需要输入密码,则表示没有免密功能,需要设置。

设置免密登录。

[root@master1 ~]# ssh-keygen -t rsa   用于生成当前服务器访问的密钥和公钥。

注意:上述命令执行后,一路返回车辆 然后将生成两个文件:id_rsa id_rsa.pub。

[root@master1 ~]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 在目标服务器中保存生成的公钥。

[root@master1 ~]# chmod 0600 ~/.ssh/authorized_keys 设置权限。

测试配置是否成功。

ssh 主机名。

如果不需要输入密码,则表示无密设置成功。

  • 修改hadoop配置文件。

hadoop配置文件的路径: ../hadoop-2.7.7/etc/hadoop/。

4. 进入hadoop配置文件的路径:

[root@master1 hadoop]# cd /root/bigdata/hadoop-2.7.7/etc/hadoop/。

#xff1修改核心配置文件a;core-site.xml。

打开配置文件:[root@master1 hadoop]# vi core-site.xml。

<!--配置hadoop集群服务器名称 -->

<property>

<name>fs.defaultFS</name>

<value>hdfs:///自己的主机名:8020</value>

</property>

  • 修改hdfs配置文件:hdfs-site.xml。

[root@master1 hadoop]# vi hdfs-site.xml。

在标签中添加以下内容:

注意:以下路径应以自己的实际路径为主。

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>/root/bigdata/hadoop-2.7.7/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/root/bigdata/hadoop-2.7.7/dfs/data</value>

</property>

  • 修改mapreduce配置文件:mapred-site.xml.template。

配置文件mapred-site.xml.复制template的当前路径,重命名为:mapred-site.xml。

配置文件mapred-site.xml.复制template的当前路径,重命名:mapred-site.xml。

[root@master1 hadoop]# cp mapred-site.xml.template mapred-site.xml。

[root@master1 hadoop]# vi mapred-site.xml。

在标签中添加以下内容:

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

  • </property>

修改yarn资源管理器配置文件:yarn-site.xml。

[root@master1 hadoop]# vi yarn-site.xml。

在标签中添加以下内容:

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>主机名:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>主机名:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>主机名:8031</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>主机名:8033</value>

  • </property>

修改配置文件,设置子服务器主机姓名:slaves。

[root@master1 hadoop]# vi slaves。

  • [root@master1 hadoop]# vi slaves。

删除内容,设置当前服务器的主机名。

修改jdk路径:hadoop-env.sh。

[root@master1 hadoop]# vi hadoop-env.sh。

export JAVA_HOME=JDK安装路径。

4.启动hadop平台。

1.格式化主服务器。

(一般只格式化一次)

[root@master1 hadoop]# hadoop namenode -format。

2.启动hadop平台。

[root@master1 hadoop]# start-all.sh。

3.检查所有过程是否成功启动。

[root@master1 hadoop]# jps。

至少要有以下六个结果。

2500 Jps。

1974 SecondaryNameNode。

2119 ResourceManager。

1705 NameNode。

2238 NodeManager。

  • 1823 DataNode。
  • 5.报错解决。

注意:如果格式化时报错,由于配置文件出现问题࿰,概率很大c;配置文件需要仔细检查。

如果格式化没有问题󿀌也就是说,配置文件没有文件󿀌但是开始时缺少过程。

解决方案:

1.先关闭hadop平台。

stop-all.sh。

2.删除hadoop安装文件下生成的几个文件夹:dfs和logs。

rm -rf dfs logs。

3.重新格式化主服务器。

[root@master1 hadoop]# hadoop namenode -format。

4.重新启动。start-all.sh。 顶: 13748踩: 47