Men的博客

欢迎光临!

0%

Mac下搭建Hadoop开发环境

最近公司有个大数据的项目,想要做一下调研,我也就先要学习一下Hadoop开发了。
第一步,先要搭建一个Hadoop开发环境
经过百度,结果如下
1.安装homebrew
步骤
ruby -e “$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
如果出现 Press RETURN to continue or any other key to abort
请及时回车,并输入密码,不要傻等着…
2.安装Hadoop
brew install hadoop
如果出现如下提示
==> Caveats
In Hadoop’s config file:
/usr/local/opt/hadoop/libexec/etc/hadoop/hadoop-env.sh,
/usr/local/opt/hadoop/libexec/etc/hadoop/mapred-env.sh and
/usr/local/opt/hadoop/libexec/etc/hadoop/yarn-env.sh
$JAVA_HOME has been set to be the output of:
/usr/libexec/java_home

表示安装成功,需要进行相关的配置了
hadoop-env.sh修改内容如下
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_77.jdk/Contents/Home
export HADOOP_CONF_DIR=/usr/local/Cellar/hadoop/2.8.0/libexec/etc/hadoop

core-site.xml的配置修改如下

复制代码


fs.defaultFS
hdfs://localhost:9000

hadoop.tmp.dir /usr/local/Cellar/hadoop/2.8.0/tmp

hdfs-site.xml的配置修改如下

复制代码

dfs.replication 1 dfs.permissions false

mapred-site.xml的配置修改如下

复制代码

mapreduce.framework.name
yarn

yarn-site.xml的配置修改如下

复制代码

yarn.resourcemanager.hostname localhost yarn.nodemanager.aux-services mapreduce_shuffle

配置Hadoop环境变量

在 .bash_profile 文件中配置Hadoop环境变量,使用vim打开该文件,进入编辑模式

vim ~/.bash_profile
在该文件中添加

export HADOOP_HOME=/usr/local/Cellar/hadoop/2.8.0 此处为Hadoop的安装路径
export PATH=$PATH:$HADOOP_HOME/bin
添加完成后保存退出。

使用source命令使该文件中的修改立即生效

source ~/.bash_profile

到此所有的配置已经完成,接下来执行该命令格式化namenode

hadoop namenode -format

格式化成功之后,即可启动Hadoop,在Hadoop安装目录下有个/sbin目录,目录下有个start-all.sh,执行该文件
cd /usr/local/Cellar/hadoop/2.8.0/sbin/
./start-all.sh
启动过程中会需要输入几次密码,输入即可。选择几次yes
如果提示
localhost: ssh: connect to host localhost port 22: Connection refused

打开偏好设置共享,选择远程登录,并添加现在的登录用户
然后再执行./start-all.sh

执行完成
执行 jps
如果出现
$ jps
42609 NodeManager
42434 SecondaryNameNode
42260 NameNode
42645 Jps
42070 ResourceManager
42335 DataNode
说明执行成功

然后在浏览器打开http://localhost:50070

至此,Hadoop配置全部完成。