博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop之 mapreduce example(2)
阅读量:4516 次
发布时间:2019-06-08

本文共 1977 字,大约阅读时间需要 6 分钟。

解释下 第一篇 程序的意思

Job ’s setJarByClass() 便于hadoop查找并加载相关的jar包文件

FileInputFormat.addInputPath() 设置输入路径,可以是一个文件,也可以是一个文件夹,而且可以被调用多次,用以加载不同的输入路径。

FileOutputFormat.setOutputPath() 设置输出路径,reduce函数会讲 文件写入该路径。在job执行前,该文件夹不能存在,否则hadoop会抛出异常.

org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://hadoop:9000/hadoop/out already exists    at org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.checkOutputSpecs(FileOutputFormat.java:146)    at org.apache.hadoop.mapreduce.JobSubmitter.checkSpecs(JobSubmitter.java:266)    at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:139)    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)    at java.security.AccessController.doPrivileged(Native Method)    at javax.security.auth.Subject.doAs(Subject.java:422)    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)    at org.apache.hadoop.mapreduce.Job.submit(Job.java:1287)    at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1308)    at com.hadoop2.serialize.job.MaxTemperatureJob.main(MaxTemperatureJob.java:46)    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)    at java.lang.reflect.Method.invoke(Method.java:497)    at com.intellij.rt.execution.application.AppMain.main(AppMain.java:144)

通过setMapperClass()和setReducerClass()方法 设置map和reduce类型

setOutputKeyClass()和setOutputValueClass() 方法用以控制reduce函数输出类型,并且必须匹配reduce函数的输出类型,比如程序中输出key是Text,value 是IntWritable。

如果map和reduce的输出类型是一致的,就不需要设置map函数的输出类型,默认是一致的。但是如果不一样,需要设置map函数的输出类型。

job.setInputFormatClass() 可以设置输入类型,默认使用TextInputFormat,所以 如果使用文本不需要设置。

waitForCompletion() 从命名上就可以看出是 提交job并等待完成。

上面的程序是远程执行的,不需要打jar包,我认为这样更加方便。

转载于:https://www.cnblogs.com/re-myself/p/5521224.html

你可能感兴趣的文章
WEB免费打印控件推荐
查看>>
vue基础
查看>>
django之vue跨域请求
查看>>
Windows环境安装tesseract-ocr 4.00并配置环境变量
查看>>
科聊——即时通信软件原型设计
查看>>
Iterator迭代器
查看>>
UIViewContentMode 的各种效果
查看>>
vim 使用、设置笔记
查看>>
hdu 3784 继续xxx定律
查看>>
浅谈MySQL存储引擎选择 InnoDB还是MyISAM
查看>>
命令行模式下获取参数的方法
查看>>
Java 异常体系
查看>>
iOS 9检测QQ、微信是否安装
查看>>
对Excel或者其他office操作推荐使用NPOI
查看>>
Java内部类、静态嵌套类、局部内部类、匿名内部类
查看>>
tp5 + layui 上传图片[支持单张和多张 ]
查看>>
黑苹果快捷键
查看>>
rsa.FromXmlString 系统找不到指定的文件
查看>>
PCB 电测试--测试点数自动输出到流程指示中(读取TGZ Stephdr文件)
查看>>
模型分离(选做)
查看>>