![实战大数据(Hadoop+Spark+Flink):从平台构建到交互式数据分析(离线/实时)](https://wfqqreader-1252317822.image.myqcloud.com/cover/37/40681037/b_40681037.jpg)
2.1 搭建IDEA开发环境
每一个IT开发人员都需要一个合适的开发工具,IDEA开发工具是大数据开发人员的首选。由于大家习惯在Windows上开发代码,所以这里也选择在Windows操作系统上安装IDEA,接下来一起安装部署IDEA并构建Maven项目。
2.1.1 JDK的安装与配置
由于Java代码的开发需要Java相关开发工具及Java运行环境,所以首先需要安装JDK并配置JDK环境变量。
1.JDK的安装
如果JDK已经安装成功,这里可以直接跳过JDK的安装过程。
注意:搭建运行环境时使用的是64位Windows系统,所以需要对应下载安装64位的JDK。如果使用的是32位Windows系统,那么就需要下载安装32位的JDK。
JDK的下载(本书配套资料/第2章/2.1/安装包)、安装这里就不再赘述,下面介绍如何配置JDK环境变量。
2.配置JDK环境变量
1)在环境变量中配置JAVA_HOME(即JDK安装目录)和Path路径(即JDK安装目录下的bin目录),具体步骤如下。
在“计算机”图标上单击鼠标右键(以下简称右击),选择“属性”选项,在弹出的对话框中单击“高级”选项卡→“环境变量”按钮,如图2-1所示。
在“环境变量”对话框中选择JAVA_HOME用户变量(如果没有此用户变量,就单击“新建”按钮,在弹出的“新建用户变量”对话框中的“变量名”框中,输入JAVA_HOME创建该用户变量),然后单击“编辑”按钮,在弹出的“编辑用户变量”对话框中,修改“变量值”和自己JDK的安装路径保持一致,如图2-2所示。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/20_01.jpg?sign=1739613838-LlJjVxjoJXt7wRKkm4BhZ5tfAGl1nieb-0-87490771e7162f928d1b74328121148f)
图2-1 系统属性
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/20_02.jpg?sign=1739613838-FvOOMDU2bX5SVqyctKkyiUMVeA3tTmMX-0-53622a05f70fff92cf908f9f86cbe192)
图2-2 用户变量
修改Path系统变量,在变量值中添加JDK安装目录的bin路径,如图2-3所示。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/20_03.jpg?sign=1739613838-P6z45AADbeQ4yB2wDsffZMWGVpiARVF2-0-5e2d995e8683e65a442949ff2b48b9d8)
图2-3 系统变量
2)验证JDK是否安装成功。
执行完上述操作后,使用java-version命令查看Java版本,如果出现如图2-4所示的结果说明JDK配置成功。如果无法查看到Java版本,则要再次检查一下Java环境变量的配置,一定要保证Java环境变量配置正确。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/21_01.jpg?sign=1739613838-kX1CwWwArayy677EMaDzpK9p9lFvQOec-0-5274678f4609724ff1821fc6a31bac9d)
图2-4 查看Java版本
2.1.2 Maven的安装与配置
Maven是专门用于构建和管理Java相关项目的工具。
使用Maven管理项目主要有两点好处:第一点好处,使用Maven管理的Java项目都有着相同的项目结构;第二点好处,使用Maven便于统一维护jar包,Maven风格的项目把所有的jar包都放在了本地“仓库”,当项目需要用到哪个jar包,只需要配置jar包的名称和版本号,这样就实现了jar包的共享,避免每个项目都维护自己的jar包带来的麻烦。为了便于项目管理,在Windows系统中需要先安装Maven工具。
1.Maven下载
首先需要到Maven官网(地址为https://archive.apache.org/dist/maven/maven-3/)下载对应版本的安装文件apache-maven-3.3.3-bin.zip,如图2-5所示。也可通过本书配套资源包直接下载获取(本书配套资料/第2章/2.1/安装包)
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/21_02.jpg?sign=1739613838-7ZsSHrUQu6wPfnDrRvhrtVuML0DM3HYW-0-e968fe6006bf2749c84178f07b2a6ae4)
图2-5 Maven安装包
2.Maven安装
Maven的安装非常简单,将下载好的Maven安装包直接解压即可,解压后的Maven目录结构如图2-6所示。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/21_03.jpg?sign=1739613838-yP675xadJrpwsQtymq4yLAEyLlHjOAJj-0-a0b5d84f62cf71d53b422984df1b8944)
图2-6 Maven目录结构
3.配置Maven环境变量
1)在环境变量中配置MAVEN_HOME(即Maven安装目录)和Path路径(即Maven安装目录下的bin路径),具体步骤如下。
在“计算机”图标上右击,选择“属性”,在弹出的对话框中单击“高级”选项卡→“环境变量”按钮;在“环境变量”对话框中选择MAVEN_HOME用户变量(如果没有此用户变量,就单击“新建”按钮,在弹出的“新建用户变量”对话框的“变量名”框中,输入MAVEN_HOME创建该用户变量),然后单击“编辑”按钮,在弹出的“编辑用户变量”对话框中,修改“变量值”和自己Maven的安装路径保持一致,如图2-7所示。
修改Path系统变量,在变量值中添加Maven安装目录的bin路径,如图2-8所示。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/22_01.jpg?sign=1739613838-q72IayJCyiCmaghiNN7UQdS038qmof9y-0-29c48ca98e7b043bb69432d346c09a14)
图2-7 添加Maven用户变量
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/22_02.jpg?sign=1739613838-yvjSFquwVsikH5HaiyyxJSRCfvC3RcGN-0-46e8c7a7cf821b24d0edc352f3877734)
图2-8 添加系统变量
2)验证Maven是否安装成功
执行完上述操作后,使用mvn-v命令查看Maven版本,如果出现如图2-9所示的结果,说明Maven配置成功。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/22_03.jpg?sign=1739613838-qpU63cIq3UdBpudCcA4LUKZNi60xPxnV-0-01c6b34929c4f85ad937b36818dac34f)
图2-9 查看Maven版本
2.1.3 IDEA的安装与配置
IDEA全称IntelliJ IDEA,是进行Java编程语言开发的集成环境,在业界被公认为最好的Java开发工具。IDEA官网提供了Windows、macOS、Linux不同系统的安装方式。普通的JVM和Android开发可以选择Community版本,Web和企业级开发可以选择Ultimate版本。由于大家习惯选择在Windows上开发代码且需要对数据进行可视化,所以下面选择在Windows操作系统上安装Ultimate版本的IDEA。
1.IDEA下载
首先需要到IDEA官网(地址为http://www.jetbrains.com/)下载对应版本的安装文件,如图2-10所示。也可通过本书配套资源包下载(第2章/2.1/安装包)。
2.IDEA安装
IDEA安装文件下载到本地之后,双击运行IDEA可执行文件即可进入IDEA安装界面,如图2-11所示,然后可以单击Next按钮进入下一步。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/23_01.jpg?sign=1739613838-7L7bJw2w1Y9qevY7DiUJA5qSdoomJQVZ-0-a3efb470cac95725f78edb1b8103c19a)
图2-10 IDEA安装文件
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/23_02.jpg?sign=1739613838-z06TGGFjWJeqkGkVo9J4hcEbxcM6LHD1-0-82cc20ca2dc8e646243de67c805814b4)
图2-11 IDEA安装界面
选择IDEA安装路径,如图2-12所示,该路径可以选择自己期望的安装位置,接着单击Next按钮进入下一步。
选择IDEA安装选项,如图2-13所示,IDEA安装的相关选项是可选选项,单击Next按钮进入下一步。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/23_03.jpg?sign=1739613838-R3XSRvXnkxrvkQVEexsXX7VJC8MegOOo-0-bfb4e2d3dd27588ab7185698aec287a2)
图2-12 IDEA安装路径
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/23_04.jpg?sign=1739613838-2u8HXopDSvOLO747SIkyvL2KwrijAjvx-0-607a7434e01bd02b5087df39b3b8b6d9)
图2-13 IDEA安装选项
选择开始菜单文件夹,如图2-14所示,IDEA快捷键默认在JetBrains文件目录下,然后单击Install按钮开始安装IDEA。
IDEA进入安装状态,如图2-15所示,IDEA安装过程大概需要几分钟的时间。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/24_01.jpg?sign=1739613838-AqbsGs0BE0k1AC4eqBdDeREPJSvARWaW-0-4cb209c7ae810ef5b0382a434bdadd16)
图2-14 选择IDEA开始菜单文件夹
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/24_02.jpg?sign=1739613838-JESMbUTntaFySIScaH2vezGdAPjgHcVg-0-20d9c930eb51b187239d8c05ec9114d4)
图2-15 IDEA安装状态
IDEA最终安装成功界面如图2-16所示,单击Finish按钮即可完成整个IDEA工具的安装。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/24_03.jpg?sign=1739613838-38s3ndBvqdL3pi9RGGqSYhu57K2bUrz3-0-a85678ae999778e53c4828dc07c5f72e)
图2-16 IDEA安装成功界面
3.为IDEA配置SDK
前面已经独立安装好JDK,接下来配置IDEA三种不同范围的SDK。首先打开IDEA欢迎界面,如图2-17所示。
单击IDEA欢迎界面右下角的Configure,在下拉菜单中选择Structure for New Projects选项,弹出项目结构界面,如图2-18所示。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/24_04.jpg?sign=1739613838-acpZmJEa8g0mKTJMTIQyHCJz4VkHi4qs-0-a14a239ca7f2b27f6841084ec9e51485)
图2-17 IDEA欢迎界面
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/24_05.jpg?sign=1739613838-Gjvw9o1MnLKURzQZq6FTVOTwexMgYkcF-0-b9f240f0e773e2f7b40fc49fbc31a5e8)
图2-18 项目结构
(1)配置全局SDK
选择项目结构左侧的SDKs选项,按照图2-19标识的先后顺序配置全局SDK。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/25_01.jpg?sign=1739613838-2RIG76LMxMhxOVnN5b4SXPwoL8kysEDw-0-7fa338aff8c65e215c9b60aeea7c6cbe)
图2-19 全局SDK配置
(2)配置项目SDK
选择项目结构左侧的Project选项,按照图2-20标识的先后顺序配置项目SDK。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/25_02.jpg?sign=1739613838-KQwdR4BV9aRvRiF8lfEbQ0SJsCA4364v-0-367569e6eed5e4078050f43b28dfd954)
图2-20 项目SDK配置
(3)配置项目模块SDK
项目具体模块在当前界面中是看不到的,需要通过IDEA创建新项目之后,选择File→Project Structure→Modules才能配置,具体配置步骤如图2-21所示。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/25_03.jpg?sign=1739613838-LNegOlePnvVXhVO4aPXb5AcGEBQfNoBR-0-027220a6a791df6dea94c8e3a788d077)
图2-21 配置项目模块SDK
4.配置Maven
接下来为IDEA配置独立安装的Maven,单击IDEA欢迎界面右下角的Configure,在下拉菜单中选择Settings选项,弹出配置界面,如图2-22所示。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/26_01.jpg?sign=1739613838-PtcAsFZjnC0vqIfQWwz5UkcgTSJGbig4-0-753c1fea38c1091819885ecfcd45b2cc)
图2-22 Settings配置界面
选择Settings配置界面左侧的Maven选项,按照图2-23标识的先后顺序配置Maven安装路径。
2.1.4 使用IDEA构建Maven项目
前面的工作一切就绪,接下来使用IDEA开发工具构建Maven项目。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/26_02.jpg?sign=1739613838-RaSwl8ubjxgd1sKVXdCD49bzQSUWvIZ3-0-d63d5b618535ea0a44c166b01dd6f870)
图2-23 配置Maven安装路径
1)打开IDEA欢迎界面,选择Create New Project选项创建新项目,如图2-24所示。
2)在弹出的界面中左侧选择Maven,右侧选择Project SDK,下面勾选Create from archetype,并选择maven-archetype-quickstart骨架创建Maven项目,具体操作如图2-25所示。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/26_03.jpg?sign=1739613838-NRFOOeoJbtxH6oQIWj0PBaIz8gqev8AM-0-894f82e90c6b460d3319460abbaf0f5b)
图2-24 创建新项目
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/26_04.jpg?sign=1739613838-FGLci8NX3Gs04MmUVQXM16DThTVN2FSb-0-e1470635a12919af9944f41d225421c0)
图2-25 选择Maven骨架
3)单击Next按钮进入下一步,在弹出的界面中填写项目的GroupId和ArtifactId,具体操作如图2-26所示。GroupId是项目组织唯一的标识符,实际对应Java包的结构。ArtifactId是项目唯一的标识符,实际对应项目的名称。
4)单击Next按钮进入下一步,配置Maven安装目录,选择独立安装好的Maven路径即可,具体操作如图2-27所示。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/27_01.jpg?sign=1739613838-m3hBE8uW3keR3avGeMauLI1ARjnhgBb1-0-25b89971b5cd574e68fdf1eaabed38c3)
图2-26 配置GroupId和ArtifactId
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/27_02.jpg?sign=1739613838-xIJwrBjZ6R7h5evzVJeQoUL4GQm0xXBE-0-95528c6d5378d75f1f995b9f60d07efb)
图2-27 配置Maven路径
5)单击Next按钮进入下一步,修改项目名称和路径,具体操作如图2-28所示。
6)单击Finish按钮即可完成项目的创建。打开项目之后,可以看到项目界面如图2-29所示。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/27_03.jpg?sign=1739613838-MFFCCrJ8wUPzMe5NbQXr1Xp2y58wT6PD-0-1228d420e5c4be0476dc8549adb8887a)
图2-28 修改项目名称和路径
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/27_04.jpg?sign=1739613838-xINMDiBFAXWjcbF7czPElBvAiE4NrYLD-0-f32b9bf9efd36c9e19ebde924963203a)
图2-29 Maven项目界面
7)在创建好的learninghadoop项目中,选中自带的Java类App,右击程序,在弹出的快捷菜单中选择run运行App程序,输出“Hello World!”如图2-30所示,说明Maven项目创建成功。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/27_05.jpg?sign=1739613838-HUv9XP78DmDIle0LAn3b0kGKOBcDcTWe-0-09ee0f44f02f5aea6331eee859f0972f)
图2-30 App程序运行结果