Spark 3.0新特性

• 动态分区裁剪（Dynamic Partition Pruning）

• 默认的分区裁剪只有在单表查询过滤时才有效

• 开启动态分区裁剪：自动在Join时对两边表的数据根据条件进行查询过滤，将过滤后的结果再进行join

  spark.sql.optimizer.dynamicPartitionPruning.enabled=true

开启动态分区裁剪之后,过滤条件都会先执行 不论是on 还是 where 还是 主副表的条件都会执行