MyException - 我的异常网
当前位置:我的异常网» 操作系统 » CentOS下hadoop伪分布式配置

CentOS下hadoop伪分布式配置

www.MyException.Cn  网友分享于:2013-02-20  浏览:13次
CentOS上hadoop伪分布式配置

安装linux

详细步骤参考文章:http://hermosa-young.iteye.com/admin/blogs/1776184

 

安装java

详细步骤参考文章:http://hermosa-young.iteye.com/admin/blogs/1798026

 

在官网上下载Hadoop

地址:http://labs.mop.com/apache-mirror/hadoop/common/hadoop-1.1.1/

 

将下载好的安装文件,拷贝到共享文件夹:E:\share1下,如下图所示。



在CentOS系统中,查看该安装文件,如下图所示。


 
在该文件拷贝到/usr下,并查看该文件,如下图所示。


 
解压到/usr目录下,如下图所示。

 

会在usr下生成hadoop-1.1.1目录,将目录名称改为hadoop,如下图所示。


 
修改配置文件,如下图所示。



将下图中标注行开头的“#”去掉,并修改路径信息,保存退出。

  

Hadoop配置 

 

修改三个配置文件分别是core-site.xml,hdfs-site.xml和mapred-site.xml。

 

修改core-site.xml,如下图所示。

 
修改hdfs-site.xml,如下图所示。


 

修改mapred-site.xml,如下图所示。



 
此时执行ssh localhost,会看到需要输入密码,如下图所示。


 

现在进行免密码SSH配置,输入如下命令,之后一直按<Enter>键,就会按照默认的选项将生成的密钥对保存在.ssh/id_rsa文件中,如下图所示。 


 
再进入到.ssh目录,执行如下命令,之后再执行ssh localhost命令,就可以实现用SSH连接并且不需要输入密码,如下图所示。


 
现在要运行Hadoop

 

首先格式化分布式文件系统,如下图所示。


 
启动Hadoop守护进程。输入命令,如下图所示。


 
成功执行后,将在本机上启动NameNode,DataNode,JobTracker,TaskTracker和Secondary NameNode

 

通过http://localhost:50070查看NameNode运行情况,如下图所示。

 
通过http://localhost:50030查看Jobtracker运行情况,如下图所示。


 

关闭系统,如下图所示。


 
  

 

1 楼 snrqtdhuqf 昨天  
图呢?看不到图。

文章评论

软件开发程序错误异常ExceptionCopyright © 2009-2015 MyException 版权所有