本章将一步一步在win10下安装Hadoop3.0.0,并启动服务进行简单的hdfs操作。
准备工作
1、Hadoop官方下载地址:http://hadoop.apache.org/releases.html
选择最新的3.0.0版本后跳转至下面的页面选择红色框部分链接即可下载,建议采用专业的下载工具下载,速度更快
2、将tar.gz包解压至D盘根目录:
3、配置环境变量:
添加HADOOP_HOME配置:
在Path中添加如下:
4、Hadoop需要依赖JDK,考虑其路径中不能有空格,故直接安装如下目录:
Hadoop配置 :
1、修改D:/hadoop-3.0.0/etc/hadoop/core-site.xml配置:
<configuration>
<property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>2、修改D:/hadoop-3.0.0/etc/hadoop/mapred-site.xml配置:
<configuration>
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>3、在D:/hadoop-3.0.0目录下创建data目录,作为数据存储路径:
在D:/hadoop-3.0.0/data目录下创建datanode目录;
在D:/hadoop-3.0.0/data目录下创建namenode目录;
4、修改D:/hadoop-3.0.0/etc/hadoop/hdfs-site.xml配置:
<configuration>
<!-- 这个参数设置为1,因为是单机版hadoop --> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/D:/hadoop-3.0.0/data/namenode</value> </property> <property> <name>fs.checkpoint.dir</name> <value>/D:/hadoop-3.0.0/data/snn</value> </property> <property> <name>fs.checkpoint.edits.dir</name> <value>/D:/hadoop-3.0.0/data/snn</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/D:/hadoop-3.0.0/data/datanode</value> </property> </configuration> 5、修改D:/hadoop-3.0.0/etc/hadoop/yarn-site.xml配置:<configuration>
<!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration> 6、修改D:/hadoop-3.0.0/etc/hadoop/hadoop-env.cmd配置,找到"set JAVA_HOME=%JAVA_HOME%"替换为"set JAVA_HOME=D:\hadoop-3.0.0\jdk1.8.0_151"7、bin目录替换,至https://github.com/steveloughran/winutils下载解压
找到对应的版本后完整替换bin目录即可
至此配置完成.
启动服务
1、D:\hadoop-3.0.0\bin> hdfs namenode -format
2、通过start-all.cmd启动服务:
3、此时可以看到同时启动了如下4个服务:
Hadoop Namenode
Hadoop datanode
YARN Resourc Manager
YARN Node Manager
HDFS应用
1、通过http://127.0.0.1:8088/即可查看集群所有节点状态:
2、访问http://localhost:9870/即可查看文件管理页面:
进入文件管理页面:
创建目录:
上传文件
上传成功
Note:在之前的版本中文件管理的端口是50070,在3.0.0中替换为了9870端口,具体变更信息来源如下官方说明 http://hadoop.apache.org/docs/r3.0.0/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html#Web_Interface
3、通过hadoop命令行进行文件操作:
mkdir命令创建目录:hadoop fs -mkdir hdfs://localhost:9000/user
如下新增的user目录
put命令上传文件:hadoop fs -put C:\Users\songhaifeng\Desktop\11.txt hdfs://localhost:9000/user/
如下上传文件
ls命令查看指定目录文件列表:hadoop fs -ls hdfs://localhost:9000/user/