问 200个默认分区的spark.sql.shuffle.partitions难题

在许多帖子中，由于一些关于洗牌，分区，due to JOIN，AGGR，等等的问题，有这样的声明-如下面以某种形式显示的：

..。通常，无论何时进行spark sql聚合或连接，这都会导致 的 分区数= 200。这由spark.sql.shuffle.partitions设置。..。

所以，我的问题是：

• 我们的意思是，如果我们将DF的分区设置为765，例如
  • ，则处理发生在765个分区上，但输出将标准化地合并/重新分区为200 -这里指的是word resulting ？
  • ，或者它是否在合并/重新分区到JOINing，AGGR?

之前的200个分区后使用200个分区进行处理

​

我问，因为我从来没有看到一个明确的观点。

我做了以下测试：

// genned ad DS of some 20M short rows
df0.count
val ds1 = df0.repartition(765)
ds1.count
val ds2 = df0.repartition(765)
ds2.count
sqlContext.setConf("spark.sql.shuffle.partitions", "765")
// The above not included on 1st run, the above included on 2nd run.
ds1.rdd.partitions.size