Databricks 实测 Spark 声明式管线与过程式 PySpark 的 agent 编写差异

Databricks 用 Opus 4.8 在 22 个数据工程任务、每任务 12 份脏数据上对比过程式 PySpark 与 Spark Declarative Pipelines，共 528 次构建，声明式在 dry run 阶段拦下 55 个结构性错误，集群耗时从 596 executor-seconds 降到 17，约 34 倍。