Apache Hadoop 2.8 完全分布式集群搭建过程是怎样的

Apache Hadoop 2.8 完全分布式集群搭建过程

Apache Hadoop是一个开源的分布式存储和处理大规模数据的框架，它可以在廉价的硬件上提供高性能的数据处理，广泛应用于大数据领域，本文将详细介绍如何搭建一个Apache Hadoop 2.8完全分布式集群。

环境准备

1、操作系统：推荐使用Linux操作系统，如Ubuntu、CentOS等。

2、Java环境：确保系统中已经安装了Java运行环境(JRE)或Java开发工具包(JDK)，推荐使用Java 8或更高版本。

3、软件安装：下载并解压Apache Hadoop 2.8发行版。

配置Hadoop环境变量

1、配置JAVA_HOME环境变量：在~/.bashrc或~/.bash_profile文件中添加以下内容：

export JAVA_HOME=/path/to/your/java/home

export PATH=$JAVA_HOME/bin:$PATH

2、使环境变量生效：执行source ~/.bashrc或source ~/.bash_profile命令。

配置SSH免密登录

为了方便操作集群，可以配置SSH免密登录，具体步骤如下：

1、在所有节点上生成SSH密钥对：

ssh-keygen -t rsa

2、将公钥复制到主节点的~/.ssh/authorized_keys文件中：

cat ~/.ssh/id_rsa.pub | ssh user@master "mkdir -p ~/.ssh && cat >> ~/.ssh/authorized_keys"

3、在所有节点上修改~/.ssh/config文件，添加以下内容：

Host *

User root

HostName master.example.com

IdentityFile ~/.ssh/id_rsa

4、使配置生效：执行source ~/.bashrc或source ~/.bash_profile命令。

配置Hadoop集群节点

1、在所有节点上创建hadoop用户和hadoop组：

useradd -m hadoop

groupadd hadoop

2、修改/etc/hosts文件，添加集群节点信息：

192、168.1.1 master node1 主节点IP地址和主机名

192、168.1.2 node2 从节点IP地址和主机名

192、168.1.3 node3 从节点IP地址和主机名

192、168.1.4 node4 从节点IP地址和主机名

3、在所有节点上创建Hadoop所需的目录结构：

mkdir -p /usr/local/hadoop/etc/hadoop // etc目录用于存放Hadoop配置文件和系统属性文件等配置信息；mkdir -p /usr/local/hadoop/logs // logs目录用于存放日志文件；mkdir -p /usr/local/hadoop/share // share目录用于存放用户自定义的配置文件和数据；mkdir -p /usr/local/hadoop/lib // lib目录用于存放Java类库文件；mkdir -p /usr/local/hadoop/jrxml // jrxml目录用于存放Job提交时的XML配置文件；mkdir -p /usr/local/hadoop/staging // staging目录用于存放MapReduce任务的输出结果；mkdir -p /usr/local/hadoop/user // user目录用于存放用户自定义的配置文件和数据，注意，以上目录及其子目录都需要设置正确的权限，以保证Hadoop集群中的各个节点都可以访问这些目录，可以使用chmod命令为所有用户赋予读写执行权限：chmod 755 -R /usr/local/hadoop/*，需要将每个节点上的这些目录设置为所属用户的主目录，这可以通过修改~/.bashrc或~/.bash_profile文件来实现，在文件末尾添加以下内容：export HADOOP_HOME=/usr/local/hadoop export HADOOP_CONF_DIR=$HADOOP_HOME/etc export HADOOP_LOG_DIR=$HADOOP_HOME/logs export HADOOP_SHARED_EDITABLES=$HADOOP_HOME/share export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib $HADOOP_OPTS"，这样，就可以在其他用户下访问这些目录了，重新登录用户或者执行source ~/.bashrc或source ~/.bash_profile命令使配置生效，至此，Hadoop集群的基本配置工作已经完成，接下来，我们需要启动HDFS和YARN服务，在主节点上执行以下命令启动HDFS服务：hdfs namenode & hdfs datanode & tailf $HADOOP_LOG_DIR/*grep ‘Starting service’ > startup-output.txt 将HDFS服务的启动日志保存到startup-output.txt文件中；在任意一个从节点上执行以下命令启动HDFS服务：hdfs namenode & hdfs datanode & tailf $HADOOP_LOG_DIR/*grep ‘Starting service’ > startup-output.txt 将HDFS服务的启动日志保存到startup-output.txt文件中；在任意一个客户端机器上执行以下命令连接到HDFS服务：hadoop fs -ls // 如果看到类似“drwxr-xr-x”这样的输出结果，说明HDFS服务已经成功启动并可以正常访问了，至此，我们已经完成了Hadoop集群的基本搭建工作，接下来，我们可以开始使用Hadoop进行大规模数据的存储和处理了。