1.下载hadoop包,
http://labs.renren.com/apache-mirror//hadoop/core/hadoop-0.21.0/hadoop-0.21.0.tar.gz
2.解压 tar xzf hadoop-0.21.0.tar.gz
3.进入hadoop解压后得文件夹,编辑hadoop-env.sh 指定JAVA_HOME变量,比如
export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/CurrentJDK/Home
4.edit ~/.bash_profile
export HADOOP_INSTALL=your hadoop directory
export HADOOP_HOME=your hadoop directory
export PATH=$PATH:$HADOOP_INSTALL/bin
5.重新开shell窗口,执行 hadoop version,可以看到如下信息
引用
Hadoop 0.21.0
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.21 -r 985326
Compiled by tomwhite on Tue Aug 17 01:02:28 EDT 2010
From source with checksum a1aeb15b4854808d152989ba76f90fac
6 配置ssh,确保你的系统允许远程登录。执行以下命令,
引用
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys
7 执行 ssh localhost,如果能不输入密码就可以登录就对了。
8 首次使用hadoop,需要格式化hdfs文件系统。请在hadoop的目录下新建一个logs目录,这个目录是默认用来放置log的地方。执行以下命令
引用
hadoop namenode -format
如果没有异常抛出,只有正常的log就对了
9开启守护进程进入hadoop目录的conf子目录,
(1)修改 core-site.xml
引用
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost</value>
</property>
</configuration>
(2)修改hdfs-site.xml
引用
?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
(3) edit mapred-site.xml
引用
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:8021</value>
</property>
</configuration>
(4)执行
引用
start-dfs.sh
start-mapred.sh
现在可以试用hadoop的威力了,如果不会用hadoop,这里有使用python的脚本方法
[url]
http://packages.python.org/mrjob/writing-and-running.html#running-on-your-own-hadoop-cluster
[/url]
只需要执行
引用
python your_mr_job_sub_class.py -r hadoop < input > output
非常方便
10 停止守护进程
引用
stop-dfs.sh
stop-mapred.sh
最后强烈推荐这本书,
http://product.china-pub.com/196200&ref=browse
分享到:
相关推荐
详细的hadoop2 伪分布式环境搭建以及eclipse部署。demo示例代码测试运行。文中有插件包。资源包等参考链接参考下载。
Hadoop-0.21.0分布式集群配置.doc
hadoop2.7.3伪分布式模式搭建,一个pdf文档,思路步骤清晰,按着步骤能得出结果,手把手教学。
hadoop2.6.5伪分布式搭建hadoop2.6.5伪分布式搭建hadoop2.6.5伪分布式搭建hadoop2.6.5伪分布式搭建
hadoop2.2伪分布式集群搭建 #查看防火墙状态 service iptables status #关闭防火墙 service iptables stop #查看防火墙开机启动状态 chkconfig iptables --list #关闭防火墙开机启动 chkconfig iptables off
2、大数据环境-安装Hadoop2.5.2伪分布式傻瓜教程 原创
hadoop2.4.1伪分布式搭建
最近自学hadoop2.0.0伪分布式搭建,都是一边学一边记录的 个人认为只要是稍微熟悉linux的都能看懂并搭建成功 分有点高,考虑好在下载
VMware上CentOS7.0+Hadoop3.1伪分布式搭建
Hadoop伪分布式集群环境搭建 Hadoop伪分布式集群环境搭建
Hadoop完全分布式环境搭建文档,绝对原创,并且本人亲自验证并使用,图文并茂详细介绍了hadoop完全分布式环境搭建所有步骤,条例格式清楚,不能成功的,请给我留言!将给与在线支持!
Hadoop完全分布式环境搭建Hadoop完全分布式环境搭建Hadoop完全分布式环境搭建
大数据hadoop平台伪分布式搭建详细步骤,基于ubtuntu系统,供初学者学习使用。... 大数据hadoop平台伪分布式搭建详细步骤,基于ubtuntu系统,供初学者学习使用。...
ubuntu下Hadoop的伪分布式配置
Hadoop单节点伪分布式搭建中文版 个人翻译的Hadoop搭建文档,这里只是翻译了伪分布式搭建。 如果是测试、学习hadoop,伪分布式足够了。
完全自主编写的hadoop入门,图文并茂,非常适合刚接触hadoop的用户。