论文网首页|会计论文|管理论文|计算机论文|医药学|经济学论文|法学论文|社会学论文|文学论文|教育论文|理学论文|工学论文|艺术论文|哲学论文|文化论文|外语论文|论文格式
中国论文网

用户注册

设为首页

您现在的位置: 论文大全网 >> 工科论文 >> 工科综合论文 >> 正文 会员中心
 通信学论文   交通运输论文   工业设计论文   环境工程论文   电力电气论文   水利工程论文   材料工程论文   建筑工程论文   化学工程论文
 机械工程论文   电子信息工程论文   建筑期刊   工科综合论文   汽车制造
基于ubuntu的分布式计算平台实现
【摘 要】分布式计算的便宜和高效使得其具有很好的发展前景,该分布式平台是在windowsxp系统下通过虚拟机vmware8安装ubuntu12.04后,然后安装配置hadoop0.20.2,通过实例验证了该平台的有效性。
  【关键词】分布式计算;ubuntu;hadoop
  【abstract】distributed computing is cheap and efficient so that it has good prospects for development, the distributed system is under the windowsxp system through the vmware8 virtual machine with ubuntu12.04 installed, and then install and configure the hadoop0.20.2, through the examples to verify the validity of the platform.
  【key words】distributed computing;ubuntu;hadoop
  1、开发环境配置
  在windowsxp系统下安装虚拟机vmware8,通过虚拟机安装ubuntu12.04,在ubuntu下创建hadoop用户组和用户;在ubuntu下安装jdk;修改机器名hostname;安装ssh服务,实现ssh无密码登陆;安装hadoop并配置相关文件。
  2、集群配置
  修改本机的host文件,打开conf/masters文件,添加作为secondarynamenode的主机名,这里需填写 master 就ok了。打开conf/slaves文件,添加作为slave的主机名,一行一个。将master机器上的文件一一复制到子节点机器上。hosts文件的复制。格式化namenode 的命令hadoop namenode -format。启动全部服务直接一条命令:start-all.sh。
  查看自己的datanode是否启动.jps。连接时可以在namenode上查看连接情况:hadoop dfsadmin -report。
  3、运行示例程序wordcount
  在namenode上
  $ cd /home/hadoop
  $ mkdir workspace
  $ cd workspace
  $ mkdir wordcount
  $ cd wordcount
  $ mkdir input
  $ echo "hello world bye world">input/f1
  $ echo "hello hadoop bye hadoop">input/f2
  在hdfs上建立一个input目录
  $ hadoop fs -mkdir /tmp/input
  把f1和f2拷贝到hdfs上的input目录下
  $ hadoop fs -put home/hadoop/workspace/wordcount/input/f1 /tmp/input
  $ hadoop fs -put home/hadoop/workspace/wordcount/input/f2 /tmp/input
  查看hdfs上有没有f1和f2
  $ hadoop fs -ls /tmp/input
  执行wordcount(确保hdfs上没有output目录)
  ./hadoop jar ../hadoop-0.20.2-examples.jar wordcount /tmp/input /output
  查看运行结果:./hadoop fs -cat /output/part-r-00000
  4、结语
  分布式计算是未来发展的一个重要领域,该分布式计算平台实现了多台计算机并行处理和计算。在这个大数据的时代,可以更好的为我们的数据分析和利用提供更有力的保障。
  【参考文献】
  [1]刘云浩.物联网导论[m].科学出版社,2012.
  [2]董西成.hadoop技术内幕[m].机械工业出版社,2013.
  [3]鲍亮,陈荣.深入浅出云计算[m].清华大学出版社,2012.
  • 上一篇工学论文:
  • 下一篇工学论文:
  •  更新时间:
    基于重力热管技术的道路降温与融雪系统的探…
    基于现场管理的装备保障企业安全管理研究
    基于PLC和触摸屏的切割机控制系统设计
    基于VTK的点云可视化
    基于MATLAB的通信系统仿真
    基于云平台的岭南通IC卡数据挖掘方法研究
    基于虚拟维修的民机维修性设计
    基于MOOC的个性化学习模式研究
    基于工作过程的《Oracle数据库管理与应用》…
    基于Struts的图书信息管理系统设计与实现
    基于J2EE的物资管理信息系统设计与实现
    基于云计算的高校毕业生就业状况监测系统研…
    | 设为首页 | 加入收藏 | 联系我们 | 网站地图 | 手机版 | 论文发表

    版权所有 www.11665.com © 论文大全网 All rights reserved