大数据 | MapReduce 程序入门

一个 MapReduce 初学者写的入门笔记

第一步：下载 IDE: JetBrains IDEA Community （点击前往）

第二步：创建新项目（Maven）

需要填 Archetype后，创建新文件夹-> src/main/java

然后打软件包: 随便什么名字，但最好不要有特殊字符。

编写 pom.xml，引入第三方包

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>top.spark-ai</groupId>
  <artifactId>t5_rew</artifactId>
  <version>1.0-SNAPSHOT</version>
  <name>Archetype - t5_rew</name>
  <url>http://maven.apache.org</url>
    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>3.1.3</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>3.1.3</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
            <version>3.1.3</version>
        </dependency>

    </dependencies>
</project>

抢沙发发表评论

一个 MapReduce 初学者写的入门笔记

第一步：下载 IDEA（前往）

第二步：创建新项目（Maven）

需要填 Archetype 和版本，默认选第一个就好。

进入新项目后，创建新文件夹-> src/main/java

然后打软件包: 随便什么名字，但最好不要有特殊字符。

编写 pom.xml，引入第三方包

Java

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>top.spark-ai</groupId>
  <artifactId>t5_rew</artifactId>
  <version>1.0-SNAPSHOT</version>
  <name>Archetype - t5_rew</name>
  <url>http://maven.apache.org</url>
    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>3.1.3</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>3.1.3</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
            <version>3.1.3</version>
        </dependency>

    </dependencies>
</project>

然后点击 Maven 的同步项目

当编写完全部代码后，先 clean，然后 complie 编译，最后 package 打包成 jar 包

jar 包会出现在项目根目录的target 目录下

向服务器发 jar 包，使用 hadoop jar <your_jar_name> <className> <input_Source> <output_Source>运行