Spark重试配置的各种参数

by Posted on
阅读量: 379

1、ApplicationMaster 重试
spark.yarn.maxAppAttempts 默认值是2

2、Executor 重试
spark.yarn.max.executor.failures= max( numExecutors * 2 ,  3)

3、Stage 重试
spark.stage.maxConsecutiveAttempts=默认为 4

4、Task 重试
spark.task.maxFailures= 默认为 4次，允许重试次数=此值-1

Published by alpha