Spark 实践细节

1. 使用 Yarn Cluster 运行模式 代码无法控制 AppName

今天使用 Yarn Cluster 运行模式提交 Spark 任务，在代码中设置了 AppName，但是在 WebUI 显示的【包名.类名】，Google 了之后才知道 Cluster 模式不会读取代码里配置，直接读取命令行配置，因此代码里面配置的 AppName 不起作用。

代码：

val spark = SparkSession.builder()
  .appName("Test Name")
  .getOrCreate()
val sc = spark.sparkContext

WebUI:

选择在 spark-submit 中参数设置 AppName:

spark-submit \
    --master yarn \
    --deploy-mode cluster \
    --class com.miracle.sparkcore_review.Test \
    --name TestName \
    /opt/sparkAPP/spark-1.0-SNAPSHOT-jar-with-dependencies.jar

WebUI: