Ubuntu：Hadoop伪分布式配置

系统安装：

参考VMware:安装Ubuntu22，安装一个Ubuntu虚拟机

Hadoop安装：

Java安装：

下载Java:

sudo apt update

sudo apt install openjdk-11-jdk

java -version

 

配置JAVA环境变量:

vim ~/.bashrc

添加以下代码到文件中：

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

使配置生效：

source ~/.bashrc

安装SSH

安装SSH

sudo apt install openssh-server -y

systemctl start ssh

systemctl enable ssh

systemctl status sshd

 

修改SSH登录方式：

vim /etc/ssh/sshd_config

修改ssh配置文件

重启SSH即可通过FinalShell登录

配置/安装Hadoop

添加hadoop用户：

sudo useradd -m hadoop -s /bin/bash

sudo passwd hadoop

sudo adduser sudo

 

登录到hadoop用户

su - hadoop

配置免密登录：

cd ~/.ssh

ssh-keygen -t rsa

利用ssh-keygen生成密钥并将密钥加入到授权中：

cat ./id_rsa.pub >> ./authorized_keys

下载Hadoop

将Hadoop压缩包上传至服务器，解压到目标目录：

tar -zxvf /root/hadoop/hadoop-3.3.6.tar.gz -C /usr/local

mv /usr/local/hadoop-3.3.6 /usr/local/hadoop

cd /usr/local

 

修改文件权限：

sudo chown -R hadoop ./hadoop

cd ./hadoop

编辑core-site.xml:

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

编辑hdfs-site.xml:

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>

<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>

编辑yarn-site.xml:

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

编辑mapred-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
</configuration>

启动服务

以hadoop用户启动HDFS服务、YARN服务：

./start-dfs.sh

./start-yarn.sh

使用jps命令验证HDFS服务、YARN服务是否正常启动：

jps

验证服务

通过浏览器访问Hadoop的Web界面来验证服务是否正常运行：

http://<服务器IP>:9870

http://<服务器IP>:8042

作业文件：