添加链接
link之家
链接快照平台
  • 输入网页链接,自动生成快照
  • 标签化管理网页链接

sparksubmit传入args参数

Spark-submit是Apache Spark的主要命令行工具,允许您在集群上运行应用程序。您可以通过使用--conf或--properties-file选项来传递spark-submit参数,也可以通过使用args参数直接在命令行中传递参数。

./bin/spark-submit \
  --class com.spark.example.Example \
  --master yarn \
  --deploy-mode client \
  --executor-memory 2g \
  --num-executors 30 \
  /path/to/yourSparkJob.jar \
  arg1 arg2 arg3

这样,您就可以通过访问args数组(例如,args[0])在Spark应用程序代码中访问传递的参数。

  •