Windows环境下Hadoop安装与Map/Reduce程序开发

Java Development Kit (JDK) 配置

• 32位系统：安装JDK 32位版本。
• 64位系统：安装JDK 64位版本。
• 不同版本位数必须匹配。

环境变量配置

• 路径变量：编辑系统路径，添加Hadoop安装目录。
• HADOOP_HOME：设置为Hadoop安装目录，如D:\hadoop。

Eclipse安装

安装Hadoop插件

插件激活

环境变量配置

• 打开系统属性，编辑Path变量，添加Hadoop安装目录。
• 设置HADOOP_HOME环境变量，并在Path中添加%HADOOP_HOME%bin。

Hadoop文件复制

Eclipse设置

• Eclipse > Windows > Preferences > Hadoop Map/Reduce
• 设置Hadoop安装路径，与实际安装目录一致。

配置Map/Reduce位置

• 描述：配置Map/Reduce Master和DFS Master的主机名和端口，与Linux环境下的core-site.xml一致。
• 注意：确保宿主机名正确，建议使用管理员身份编辑C:\Windows\System32\drivers\etc\hosts文件添加必要主机名。

环境测试

• 若配置成功，点击左侧的DFS Locations，右侧应显示HDFS集群目录，表明服务可用。

打开Eclipse，选择File > New > Other，点击MapReduce Project选项。

在项目创建界面中，设置项目名称并点击确定。

创建源文件

package com.hadoop.test;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.mapreduce.Reducer;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;public class WordCount {    public static class WordCountMap extends Mapper
    
      {        private final IntWritable one = new IntWritable(1);        private Text word = new Text();        @Override        protected void map(LongWritable key, Text value, Context context)                throws IOException, InterruptedException {            String line = value.toString();            StringTokenizer tokenizer = new StringTokenizer(line);            while (tokenizer.hasMoreTokens()) {                word.set(tokenizer.nextToken());                context.write(word, one);            }        }    }    public static class WordCountReduce extends Reducer
     
       {        @Override        protected void reduce(Text key, Iterable
      
        values, Context context)                throws IOException, InterruptedException {            int sum = 0;            for (IntWritable val : values) {                sum += val.get();            }            context.write(key, new IntWritable(sum));        }    }    public static void main(String[] args) throws Exception {        Configuration conf = new Configuration();        Job job = Job.create(jobConf);        job.setJarByClass(WordCount.class);        job.setJobName("wordcount");        job.setOutputKeyClass(Text.class);        job.setOutputValueClass(IntWritable.class);        job.setMapperClass(WordCountMap.class);        job.setReducerClass(WordCountReduce.class);        job.setInputFormatClass(TextInputFormat.class);        job.setOutputFormatClass(TextOutputFormat.class);        FileInputFormat.addInputPath(job, new Path(args[0]));        FileOutputFormat.setOutputPath(job, new Path(args[1]));        job.waitForCompletion(true);    }}
      
     
    

文件上传

hadoop fs -put word.txt /input

或者通过Eclipse右键上传本地文件至HDFS目录。

程序运行

winutils.exe或hadoop.dll版本不匹配

UnsatisfiedLinkError

权限问题