不翻墙如何调试Spark源码?,


转载请注明出处:http://blog.csdn.net/bigbigdata/article/details/48366671

可以翻墙的情况下,调试Spark源码的文章已有很多。最近同事看我一直以调试的方式学习源码,想让我帮他也搭建下环境,但他的环境并不可翻墙。所以我以另一种方式搭建可调试环境。

Step1

https://spark.apache.org/downloads.html下载spark源码,比如在这里下载我正在阅读的spark-1.3.1源码。下载之后解压源码包。

Step2

构建测试程序,比如直接拷贝源码examples下得SparkPi.scala。
这里写图片描述

设置好对应依赖
这里写图片描述

设置好以本地模式运行后,可执行SparkPi并得到结果。

Step3

打好断点
这里写图片描述

执行debug后,到达断点时,step into到SparkConf.class,点击Attach Sources
这里写图片描述

选择step 1中下载的源码的对应目录
这里写图片描述

Done,开始调试吧

版权声明:本文为博主原创文章,转载请注明出处

相关内容