Spark重试配置
1、ApplicationMaster 重试
spark.yarn.maxAppAttempts 默认值是2
2、Executor 重试
spark.yarn.max.executor.failures= max( numExecutors * 2 , 3)
3、Stage 重试
spark.stage.maxConsecutiveAttempts=默认为 4
4、Task 重试
spark.task.maxFailures= 默认为 4次,允许重试次数=此值-1
高尚是高尚者的墓志铭, 往后余生学会富养自己
1、ApplicationMaster 重试
spark.yarn.maxAppAttempts 默认值是2
2、Executor 重试
spark.yarn.max.executor.failures= max( numExecutors * 2 , 3)
3、Stage 重试
spark.stage.maxConsecutiveAttempts=默认为 4
4、Task 重试
spark.task.maxFailures= 默认为 4次,允许重试次数=此值-1