最近公司有个大数据的项目,想要做一下调研,我也就先要学习一下Hadoop开发了。
第一步,先要搭建一个Hadoop开发环境
经过百度,结果如下
1.安装homebrew
步骤
ruby -e “$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
如果出现 Press RETURN to continue or any other key to abort
请及时回车,并输入密码,不要傻等着…
2.安装Hadoop
brew install hadoop
如果出现如下提示
==> Caveats
In Hadoop’s config file:
/usr/local/opt/hadoop/libexec/etc/hadoop/hadoop-env.sh,
/usr/local/opt/hadoop/libexec/etc/hadoop/mapred-env.sh and
/usr/local/opt/hadoop/libexec/etc/hadoop/yarn-env.sh
$JAVA_HOME has been set to be the output of:
/usr/libexec/java_home
表示安装成功,需要进行相关的配置了
hadoop-env.sh修改内容如下
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_77.jdk/Contents/Home
export HADOOP_CONF_DIR=/usr/local/Cellar/hadoop/2.8.0/libexec/etc/hadoop
core-site.xml的配置修改如下
复制代码
hdfs-site.xml的配置修改如下
复制代码
mapred-site.xml的配置修改如下
复制代码
yarn-site.xml的配置修改如下
复制代码
配置Hadoop环境变量
在 .bash_profile 文件中配置Hadoop环境变量,使用vim打开该文件,进入编辑模式
vim ~/.bash_profile
在该文件中添加
export HADOOP_HOME=/usr/local/Cellar/hadoop/2.8.0 此处为Hadoop的安装路径
export PATH=$PATH:$HADOOP_HOME/bin
添加完成后保存退出。
使用source命令使该文件中的修改立即生效
source ~/.bash_profile
到此所有的配置已经完成,接下来执行该命令格式化namenode
hadoop namenode -format
格式化成功之后,即可启动Hadoop,在Hadoop安装目录下有个/sbin目录,目录下有个start-all.sh,执行该文件
cd /usr/local/Cellar/hadoop/2.8.0/sbin/
./start-all.sh
启动过程中会需要输入几次密码,输入即可。选择几次yes
如果提示
localhost: ssh: connect to host localhost port 22: Connection refused
打开偏好设置共享,选择远程登录,并添加现在的登录用户
然后再执行./start-all.sh
执行完成
执行 jps
如果出现
$ jps
42609 NodeManager
42434 SecondaryNameNode
42260 NameNode
42645 Jps
42070 ResourceManager
42335 DataNode
说明执行成功
然后在浏览器打开http://localhost:50070
至此,Hadoop配置全部完成。