云计算数据平台-hadoop集群(汇总目录) - 好文

<>前言

（仅用于学习用途）本人用VMware Workstation
Pro虚拟机（以下简称VMware）虚拟出三台(一主二从，一个master，两个slave)CentOS7操作系统搭建Hadoop集群（包括虚拟机性能规划、主从节点规划、IP规划等），实现本地与云平台之间的文件上传、下载功能。

本文接下来是搭建Hadoop的过程，此过程不给出源码和具体操作步骤，但是会给出讲解和每一步问题和检查的截图效果（小弟已经按照此步骤成功搭建3次了【因为linux开源，很容易搞崩系统。。建议初学者备份自己重要的东西，不建议用个人电脑或者服务器来初学练手，所以也用了VM来搞，先克隆初始状态系统（
简单VMware克隆教程 <https://blog.csdn.net/ViMan1204/article/details/88750745>
）搞崩了一次系统创建一次，so easy】）。遇到不懂的地方先自行想办法解决。在哪里卡住就直接【google, bing,
百度】哪个标题。如果问题还是解决不了，可以在下面评论区提出问题给大家解决或者私发消息给我，欢迎大家一起讨论学习~小弟才学粗浅，在博客写的过程不对或者错误地方请各位大神英雄好汉指出。

<>1. 准备工具

CentOS-7-x86_64-DVD-1611.iso
<https://my.vmware.com/web/vmware/details?downloadGroup=WKST-1400-WIN&productId=686&rPId=18497>
（以下简称CentOS-7）操作系统
VMwareWorkstationPro14.0.0
<https://my.vmware.com/web/vmware/details?downloadGroup=WKST-1400-WIN&productId=686&rPId=18497>
（以下简称VMware）
jdk-8u141-linux-x64.tar.gz
<https://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html>
（以下简称JDK）
hadoop-2.7.4.tar.gz
<https://archive.apache.org/dist/hadoop/core/hadoop-2.7.4/>（以下简称Hadoop）
PuTTY <https://www.putty.org/>
FileZilla <https://filezilla-project.org/download.php?type=client>
如以上官网链接无法打开，请自行百度或者google下载

<>2. VMware 14安装 CentOS 7
<https://blog.csdn.net/ViMan1204/article/details/88750488>

<>3. CentOS-7系统的基本配置
<https://blog.csdn.net/ViMan1204/article/details/88797342>

<> 3.1 修改CentOS-7系统的IP地址
<https://blog.csdn.net/ViMan1204/article/details/88785693>

<> 3.2 修改CentOS-7系统的主机名
<https://blog.csdn.net/ViMan1204/article/details/88785853>

<> 3.3 修改CentOS-7的IP地址与主机名的映射关系
<https://blog.csdn.net/ViMan1204/article/details/88785875>

<> 3.4 关闭CentOS-7防火墙
<https://blog.csdn.net/ViMan1204/article/details/88785945>

<>4. 部分工具的使用方法 <https://blog.csdn.net/ViMan1204/article/details/88801930>

<> 4.1 Putty使用方法 <https://blog.csdn.net/ViMan1204/article/details/88785973>

<> 4.2 FileZilla使用方法
<https://blog.csdn.net/ViMan1204/article/details/88786112>

<> 4.3 安装JDK <https://blog.csdn.net/ViMan1204/article/details/88786148>

<>5 搭建Hadoop <https://blog.csdn.net/ViMan1204/article/details/88853408>

<> 5.1 Hadoop集群概念设计
<https://blog.csdn.net/ViMan1204/article/details/88878118>

<> 5.2 安装Hadoop <https://blog.csdn.net/ViMan1204/article/details/88901448>

<> 5.2.1 修改hadoop-env.sh配置文件（一）
<https://blog.csdn.net/ViMan1204/article/details/88955799>

<> 5.2.2 修改core-site.xml配置文件（二）
<https://blog.csdn.net/ViMan1204/article/details/88980813>

<> 5.2.3 修改hdfs-site.xml配置文件（三）
<https://blog.csdn.net/ViMan1204/article/details/89005702>

<> 5.2.4 修改mapred-site.xml配置文件 (四)
<https://blog.csdn.net/ViMan1204/article/details/89035878>

<> 5.2.5 修改yarn-site.xml配置文件（五）
<https://blog.csdn.net/ViMan1204/article/details/89048469>

<> 5.2.6 配置hadoop环境变量
<https://blog.csdn.net/ViMan1204/article/details/89052654>

<> 5.2.7 配置slave <https://blog.csdn.net/ViMan1204/article/details/89052845>

<> 5.3 创建从机（slave） <https://blog.csdn.net/ViMan1204/article/details/89057182>

<> 5.3.1 克隆虚拟机并创建从机
<https://blog.csdn.net/ViMan1204/article/details/89057458>

<> 5.3.2 安装密钥 <https://blog.csdn.net/ViMan1204/article/details/89057836>

<> 5.3.3 使用ssh传输文件
<https://blog.csdn.net/ViMan1204/article/details/89112787>

<> 5.4 构建HDFS <https://blog.csdn.net/ViMan1204/article/details/89162376>

<> 5.4.1 初始化hdfs <https://blog.csdn.net/ViMan1204/article/details/89218831>

<> 5.4.2 查看master节点启动状态
<https://blog.csdn.net/ViMan1204/article/details/89219116>

<> 5.4.3 查看各个节点启动状态
<https://blog.csdn.net/ViMan1204/article/details/89219277>

<> 5.5 Hadoop运行结果 <https://blog.csdn.net/ViMan1204/article/details/89221320>

<> 5.5.1 使用HDFS管理界面
<https://blog.csdn.net/ViMan1204/article/details/89221731>

<> 5.5.2 使用yarn管理界面
<https://blog.csdn.net/ViMan1204/article/details/89260291>

<>6.功能测试 <https://blog.csdn.net/ViMan1204/article/details/89295942>

<> 6.1 执行上传文件 <https://blog.csdn.net/ViMan1204/article/details/89296135>

<> 6.2 执行下载文件 <https://blog.csdn.net/ViMan1204/article/details/89318774>

<>快速链接

上一篇汇总目录下一篇
本篇 <https://blog.csdn.net/ViMan1204/article/details/88725387> 云计算数据平台-hadoop集群
<https://blog.csdn.net/ViMan1204/article/details/88725387> 2.在VMware 14安装
CentOS 7 <https://blog.csdn.net/ViMan1204/article/details/88750488>

热门工具换一换