使用IDEA搭建Spark源码阅读环境 idea搭建spark开发环境
wptr33 2024-12-20 19:04 28 浏览
闲话一句
首先建议大家首先有一定的Spark基础，再来看源码。相信会学到更多的东西，尤其是整个app的运行过程，Spark的运行流程。
今天弄了一天，总算是弄好了。花费时间最多的就是在编译Spark。整个过程不是在排错就是在排错的路上。话不多说，直接说具体怎么搭建，同时也方便自己以后查阅。
准备工作：安装并下载一些必要的工具，本人使用的操作系统是Win10
1. Java1.8
2.Scala2.11.12
3.Maven3.5.3
4.git2.17.0
5.Spark2.2.1源码
6.Intellij IDEA 2017
Spark源码下载:
下载地址：http://spark.apache.org/downloads.html
选择Source Code进行源码下载。
开始编译Spark
下载好源码之后，然后将其解压，使用cmd命令，进入到Spark的源码目录下进行mvn的编译。
在这里我们介绍下一个少走坑路的命令，我也是踩了很多坑才在StackOverflow上找到的。
使用命令：mvn -Dscala-2.11.12 -DskipTests clean package
进行Spark的编译，在这里指定自己下载安装好的Scala版本，主要是防止和spark里面的Scala版本不一致。
在编译过程中遇到的错误：
- org.apache.maven.plugins:maven-antrun-plugin:1.8:run这个错误antrun。主要原因是git没有安装，如果安装了git环境，就将git的bin目录添加到环境变量中Path下。
- 如果遇见其他的错误，比如说在编译过程中，SparkSQL编译失败了，说什么找不到之类的，忽略，然后重新执行该命令进行编译，可能有时候是因为网咯原因，导致一些jar包没有下载下来。重新运行就好了。我是这样解决的。反复执行了好几次吧。然后终于编译成功了。
然后使用IDEA打开源代码编译后的目录。
菜单栏--> File --> Open --> 选择根目录下的pom.xml。然后确定就行了，等待idea加载环境。
运行demo代码：
在这里我们运行Pi这个例子。
首先我们先将依赖工程依赖添加进去。
添加Scala依赖
然后能打开这样一个窗口。
在这里可以添加Java依赖也可以添加Scala的依赖。
然后我们还需要添加scala的一些依赖Jar。
然后选择Spark根目录下的assembly/target/scala-2.11/jars/
就ok拉。
做好这些之后，我们就开始运行Pi程序吧。
他说我们没有指定MasterURL，需要在config中配置。
RUN --> Edit Configurations
然后运行。
这样我们的PI就出来了。
当然也可以手动在代码中指定master的地址哈。比如说这样：
我试过也是可以的哈。
然后就可以单步调试代码，阅读源码了。
相关推荐
- [常用工具] git基础学习笔记_git工具有哪些
-
添加推送信息，-m=messagegitcommit-m“添加注释”查看状态...
- centos7安装部署gitlab_centos7安装git服务器
-
一、Gitlab介1.1gitlab信息GitLab是利用RubyonRails一个开源的版本管理系统，实现一个自托管的Git项目仓库，可通过Web界面进行访问公开的或者私人项目。...
- 太高效了!玩了这么久的Linux，居然不知道这7个终端快捷键
-
作为Linux用户，大家肯定在Linux终端下敲过无数的命令。有的命令很短，比如：ls、cd、pwd之类，这种命令大家毫无压力。但是，有些命令就比较长了，比如：...
- 提高开发速度还能保证质量的10个小窍门
-
养成坏习惯真是分分钟的事儿，而养成好习惯却很难。我发现，把那些对我有用的习惯写下来，能让我坚持住已经花心思养成的好习惯。...
- 版本管理最好用的工具，你懂多少?
-
版本控制（Revisioncontrol）是一种在开发的过程中用于管理我们对文件、目录或工程等内容的修改历史，方便查看更改历史记录，备份以便恢复以前的版本的软件工程技术。...
- Git回退到某个版本_git回退到某个版本详细步骤
-
在开发过程，有时会遇到合并代码或者合并主分支代码导致自己分支代码冲突等问题，这时我们需要回退到某个commit_id版本1，查看所有历史版本，获取git的某个历史版本id...
- Kubernetes + Jenkins + Harbor 全景实战手册
-
Kubernetes+Jenkins+Harbor全景实战手册在现代企业级DevOps体系中，Kubernetes(K8s)、Jenkins和Harbor组成的CI/CD流水...
- git常用命令整理_git常见命令
-
一、Git仓库完整迁移完整迁移，就是指，不仅将所有代码移植到新的仓库，而且要保留所有的commit记录1.随便找个文件夹，从原地址克隆一份裸版本库...
- 第三章:Git分支管理(多人协作基础)
-
3.1分支基本概念分支是Git最强大的功能之一，它允许你在主线之外创建独立的开发线路，互不干扰。理解分支的工作原理是掌握Git的关键。核心概念：HEAD：指向当前分支的指针...
- 云效Codeup怎么创建分支并进行分支管理
-
云效Codeup怎么创建分支并进行分支管理，分支是为了将修改记录分叉备份保存，不受其他分支的影响，所以在同一个代码库里可以同时进行多个修改。创建仓库时，会自动创建Master分支作为默认分支，后续...
- git 如何删除本地和远程分支?_git怎么删除远程仓库
-
Git分支对于开发人员来说是一项强大的功能，但要维护干净的存储库，就需要知道如何删除过时的分支。本指南涵盖了您需要了解的有关本地和远程删除Git分支的所有信息。了解Git分支...
- git 实现一份代码push到两个git地址上
-
一直以来想把自己的博客代码托管到github和coding上想一次更改一次push两个地址一起更新今天有空查资料实践了下本博客的github地址coding的git地址如果是Gi...
- git操作:cherry-pick和rebase_git cherry-pick bad object
-
在编码中经常涉及到分支之间的代码同步问题，那就需要cherry-pick和rebase命令问题：如何将某个分支的多个commit合并到另一个分支，并在另一个分支只保留一个commit记录解答：假设有两...
- 模型文件硬塞进 Git，GitHub 直接打回原形:使用Git-LFS管理大文件
-
前言最近接手了一个计算机视觉项目代码是屎山就不说了，反正我也不看代码主要就是构建一下docker镜像，测试一下部署的兼容性这本来不难但是，国内服务器的网络环境实在是恶劣，需要配置各种镜像（dock...
- 防弹少年团田柾国《Euphoria》2周年 获世界实时趋势榜1位 恭喜呀
-
当天韩国时间凌晨3时左右，该曲在Twitter上以“2YearsWithEuphoria”的HashTag登上了世界趋势1位。在韩国推特实时趋势中，从上午开始到现在“Euphoria2岁”的Has...
- 一周热门
-
-
C# 13 和 .NET 9 全知道 :13 使用 ASP.NET Core 构建网站 (1)
-
程序员的开源月刊《HelloGitHub》第 71 期
-
详细介绍一下Redis的Watch机制，可以利用Watch机制来做什么?
-
假如有100W个用户抢一张票，除了负载均衡办法，怎么支持高并发?
-
Java面试必考问题:什么是乐观锁与悲观锁
-
如何将AI助手接入微信（打开ai手机助手）
-
SparkSQL——DataFrame的创建与使用
-
redission YYDS spring boot redission 使用
-
一文带你了解Redis与Memcached? redis与memcached的区别
-
如何利用Redis进行事务处理呢? 如何利用redis进行事务处理呢英文
-
- 最近发表
- 标签列表
-
- git pull (33)
- git fetch (35)
- mysql insert (35)
- mysql distinct (37)
- concat_ws (36)
- java continue (36)
- jenkins官网 (37)
- mysql 子查询 (37)
- python元组 (33)
- mybatis 分页 (35)
- vba split (37)
- redis watch (34)
- python list sort (37)
- nvarchar2 (34)
- mysql not null (36)
- hmset (35)
- python telnet (35)
- python readlines() 方法 (36)
- munmap (35)
- docker network create (35)
- redis 集合 (37)
- python sftp (37)
- setpriority (34)
- c语言 switch (34)
- git commit (34)