千锋教育-做有情怀、有良心、有品质的职业教育机构

400-811-9990
手机站
千锋教育

千锋学习站 | 随时随地免费学

千锋教育

扫一扫进入千锋手机站

领取全套视频
千锋教育

关注千锋学习站小程序
随时随地免费学习课程

当前位置:北京千锋IT培训  >  技术干货  >  大数据技术干货  > Hadoop集群安装系列------单机安装 (根据官方文档编写)

Hadoop集群安装系列------单机安装 (根据官方文档编写)

来源:千锋教育
发布人:qyf
时间: 2022-11-07 15:19:22

  1. 注意

  单机不需要启动任何服务即可使用,在单一的jvm中运行,一般只用于调试

  2. 实例

  2.1 跑wordcount例子时注意

  创建数据源 mkdir /root/hadoopdata/input

  将一些数据导入 cp /usr/local/hadoop-2.7.1/etc/hadoop/*.xml /root/hadoopdata/input

  对input中文件的单词数量进行运算

  格式 hadoop jar命令 例子架包 wordcount函数 参数一:数据来源 参数二: 数据输出(统计后的结果)

  [root@bihai6 mapreduce]# hadoop jar hadoop-mapreduce-examples-2.7.1.jar wordcount /root/hadoopdata/input /root/hadoopdata/output/

  注意:数据输出路径必须是空的,系统会自动创建

  要保证bihai6是etc/hosts与etc/sysconfig/network中的名字相同

  2.2 跑九宫格

  hadoop jar hadoop-mapreduce-examples-2.7.1.jar sudoku /root/hadoopdata/sudoku.txt

  先把下面的数据放入sudoku.txt文件中

1

  2.3 跑teragen

  注意:输出路径也不存在 ,最后是要查找的关键字

  hadoop jar hadoop-mapreduce-examples-2.7.1.jar grep /root/hadoopdata/input/core-site.xml /root/hadoopdata/output1 'xml'

  2.4 SecondarySort 二次排序

  [root@bihai6 output2]# hadoop jar hadoop-mapreduce-examples-2.7.1.jar secondarysort /root/hadoopdata/SecondarySort.dat /root/hadoopdata/output2

  下面是数据源,将数据放在SecondarySort.dat中

2

声明:本站稿件版权均属千锋教育所有,未经许可不得擅自转载。

猜你喜欢LIKE

spark有什么用

2023-03-14

算法题(力扣)--盛水最多的容器

2022-11-08

nio和bio的区别为啥nio好?

2022-11-08

最新文章NEW

hadoop的核心是哪两部分

2023-03-14

算法题(力扣)-有效的括号

2022-11-14

DAU(日活)为何会骤降?给出分析思路

2022-11-14

相关推荐HOT

快速通道 更多>>

最新开班信息 更多>>

网友热搜 更多>>