diff --git a/airflow/providers/google/provider.yaml b/airflow/providers/google/provider.yaml index cd49f2cb6e42e..8e02bd0459e2d 100644 --- a/airflow/providers/google/provider.yaml +++ b/airflow/providers/google/provider.yaml @@ -100,7 +100,7 @@ dependencies: - asgiref>=3.5.2 - dill>=0.2.3 - gcloud-aio-auth>=5.2.0 - - gcloud-aio-bigquery>=6.1.2 + - gcloud-aio-bigquery>=7.1.0 - gcloud-aio-storage>=9.0.0 - gcsfs>=2023.10.0 - google-ads>=24.1.0 diff --git a/dev/breeze/doc/images/output-commands.svg b/dev/breeze/doc/images/output-commands.svg index 08d3dc2a13eea..5888d1fc862eb 100644 --- a/dev/breeze/doc/images/output-commands.svg +++ b/dev/breeze/doc/images/output-commands.svg @@ -298,53 +298,53 @@ Usage:breeze[OPTIONS] COMMAND [ARGS]... ╭─ Execution mode ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--python-pPython major/minor version used in Airflow image for images.│ +│--python-pPython major/minor version used in Airflow image for images.│ │(>3.8< | 3.9 | 3.10 | 3.11 | 3.12)                          │ │[default: 3.8]                                              │ -│--integrationIntegration(s) to enable when running (can be more than one).                       │ +│--integrationIntegration(s) to enable when running (can be more than one).                       │ │(all | all-testable | cassandra | celery | drill | kafka | kerberos | mongo | mssql │ │| openlineage | otel | pinot | qdrant | redis | statsd | trino | ydb)               │ -│--standalone-dag-processorRun standalone dag processor for start-airflow.│ -│--database-isolationRun airflow in database isolation mode.│ +│--standalone-dag-processorRun standalone dag processor for start-airflow.│ +│--database-isolationRun airflow in database isolation mode.│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Docker Compose selection and cleanup ───────────────────────────────────────────────────────────────────────────────╮ -│--project-nameName of the docker-compose project to bring down. The `docker-compose` is for legacy breeze       │ -│project name and you can use `breeze down --project-name docker-compose` to stop all containers   │ +│--project-nameName of the docker-compose project to bring down. The `docker-compose` is for legacy breeze       │ +│project name and you can use `breeze down --project-name docker-compose` to stop all containers   │ │belonging to it.                                                                                  │ │(breeze | pre-commit | docker-compose)                                                            │ │[default: breeze]                                                                                 │ -│--docker-hostOptional - docker host to use when running docker commands. When set, the `--builder` option is   │ +│--docker-hostOptional - docker host to use when running docker commands. When set, the `--builder` option is   │ │ignored when building images.                                                                     │ │(TEXT)                                                                                            │ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Database ───────────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--backend-bDatabase backend to use. If 'none' is chosen, Breeze will start with an invalid database    │ +│--backend-bDatabase backend to use. If 'none' is chosen, Breeze will start with an invalid database    │ │configuration, meaning there will be no database available, and any attempts to connect to  │ │the Airflow database will fail.                                                             │ │(>sqlite< | mysql | postgres | none)                                                        │ │[default: sqlite]                                                                           │ -│--postgres-version-PVersion of Postgres used.(>12< | 13 | 14 | 15 | 16)[default: 12]│ -│--mysql-version-MVersion of MySQL used.(>8.0< | 8.4)[default: 8.0]│ -│--db-reset-dReset DB when entering the container.│ +│--postgres-version-PVersion of Postgres used.(>12< | 13 | 14 | 15 | 16)[default: 12]│ +│--mysql-version-MVersion of MySQL used.(>8.0< | 8.4)[default: 8.0]│ +│--db-reset-dReset DB when entering the container.│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Build CI image (before entering shell) ─────────────────────────────────────────────────────────────────────────────╮ -│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ -│--builderBuildx builder used to perform `docker buildx build` commands.(TEXT)│ +│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ +│--builderBuildx builder used to perform `docker buildx build` commands.(TEXT)│ │[default: autodetect]                                         │ -│--use-uv/--no-use-uvUse uv instead of pip as packaging tool to build the image.[default: use-uv]│ -│--uv-http-timeoutTimeout for requests that UV makes (only used in case of UV builds).(INTEGER RANGE)│ +│--use-uv/--no-use-uvUse uv instead of pip as packaging tool to build the image.[default: use-uv]│ +│--uv-http-timeoutTimeout for requests that UV makes (only used in case of UV builds).(INTEGER RANGE)│ │[default: 300; x>=1]                                                │ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Other options ──────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--forward-credentials-fForward local credentials to container when running.│ -│--max-timeMaximum time that the command should take - if it takes longer, the command will fail.│ +│--forward-credentials-fForward local credentials to container when running.│ +│--max-timeMaximum time that the command should take - if it takes longer, the command will fail.│ │(INTEGER RANGE)                                                                       │ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--answer-aForce answer to questions.(y | n | q | yes | no | quit)│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--verbose-vPrint verbose information about performed steps.│ -│--help-hShow this message and exit.│ +│--answer-aForce answer to questions.(y | n | q | yes | no | quit)│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--verbose-vPrint verbose information about performed steps.│ +│--help-hShow this message and exit.│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Developer commands ─────────────────────────────────────────────────────────────────────────────────────────────────╮ │start-airflow          Enter breeze environment and starts all Airflow components in the tmux session. Compile    │ diff --git a/dev/breeze/doc/images/output_build-docs.svg b/dev/breeze/doc/images/output_build-docs.svg index e270c6b92e997..6fa9017144472 100644 --- a/dev/breeze/doc/images/output_build-docs.svg +++ b/dev/breeze/doc/images/output_build-docs.svg @@ -203,32 +203,32 @@ Build documents. ╭─ Doc flags ──────────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--docs-only-dOnly build documentation.│ -│--spellcheck-only-sOnly run spell checking.│ -│--clean-buildClean inventories of Inter-Sphinx documentation and generated APIs and sphinx    │ +│--docs-only-dOnly build documentation.│ +│--spellcheck-only-sOnly run spell checking.│ +│--clean-buildClean inventories of Inter-Sphinx documentation and generated APIs and sphinx    │ │artifacts before the build - useful for a clean build.                           │ -│--one-pass-onlyBuilds documentation in one pass only. This is useful for debugging sphinx       │ +│--one-pass-onlyBuilds documentation in one pass only. This is useful for debugging sphinx       │ │errors.                                                                          │ -│--package-filterFilter(s) to use more than one can be specified. You can use glob pattern        │ +│--package-filterFilter(s) to use more than one can be specified. You can use glob pattern        │ │matching the full package name, for example `apache-airflow-providers-*`. Useful │ │when you want to selectseveral similarly named packages together.                │ │(TEXT)                                                                           │ -│--include-not-ready-providersWhether to include providers that are not yet ready to be released.│ -│--include-removed-providersWhether to include providers that are removed.│ -│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ -│--builderBuildx builder used to perform `docker buildx build` commands.(TEXT)│ +│--include-not-ready-providersWhether to include providers that are not yet ready to be released.│ +│--include-removed-providersWhether to include providers that are removed.│ +│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ +│--builderBuildx builder used to perform `docker buildx build` commands.(TEXT)│ │[default: autodetect]                                         │ -│--package-listOptional, contains comma-separated list of package ids that are processed for    │ +│--package-listOptional, contains comma-separated list of package ids that are processed for    │ │documentation building, and document publishing. It is an easier alternative to  │ │adding individual packages as arguments to every command. This overrides the     │ │packages passed as arguments.                                                    │ │(TEXT)                                                                           │ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--verbose-vPrint verbose information about performed steps.│ -│--answer-aForce answer to questions.(y | n | q | yes | no | quit)│ -│--help-hShow this message and exit.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--verbose-vPrint verbose information about performed steps.│ +│--answer-aForce answer to questions.(y | n | q | yes | no | quit)│ +│--help-hShow this message and exit.│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/dev/breeze/doc/images/output_build-docs.txt b/dev/breeze/doc/images/output_build-docs.txt index 760b6b3d09826..d6350aa50b52a 100644 --- a/dev/breeze/doc/images/output_build-docs.txt +++ b/dev/breeze/doc/images/output_build-docs.txt @@ -1 +1 @@ -ac6594538890f8fba65c916aa8672aa1 +961edb9d41ad6900e605faaabe769d80 diff --git a/dev/breeze/doc/images/output_ci-image_build.txt b/dev/breeze/doc/images/output_ci-image_build.txt index b56ee7c68abb5..956086df7da3b 100644 --- a/dev/breeze/doc/images/output_ci-image_build.txt +++ b/dev/breeze/doc/images/output_ci-image_build.txt @@ -1 +1 @@ -d64cda52af48f5c2dc704fac8a738d49 +2f9404d4776b9f417f14fd615e942534 diff --git a/dev/breeze/doc/images/output_k8s_configure-cluster.svg b/dev/breeze/doc/images/output_k8s_configure-cluster.svg index 3ced13f0049f1..2ecb3db7ecb11 100644 --- a/dev/breeze/doc/images/output_k8s_configure-cluster.svg +++ b/dev/breeze/doc/images/output_k8s_configure-cluster.svg @@ -160,31 +160,31 @@ parallel). ╭─ Configure cluster flags ────────────────────────────────────────────────────────────────────────────────────────────╮ -│--python-pPython major/minor version used in Airflow image for images.│ +│--python-pPython major/minor version used in Airflow image for images.│ │(>3.8< | 3.9 | 3.10 | 3.11 | 3.12)                          │ │[default: 3.8]                                              │ -│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ +│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ │(>v1.28.13< | v1.29.8 | v1.30.4 | v1.31.0)            │ │[default: v1.28.13]                                   │ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Parallel options ───────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ -│--parallelismMaximum number of processes to use while running the operation in parallel for cluster │ +│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ +│--parallelismMaximum number of processes to use while running the operation in parallel for cluster │ │operations.                                                                            │ │(INTEGER RANGE)                                                                        │ │[default: 2; 1<=x<=4]                                                                  │ -│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ +│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ │[default: 3.8 3.9 3.10 3.11 3.12]                                             │ -│--kubernetes-versionsKubernetes versions used to run in parallel (space separated).(TEXT)│ +│--kubernetes-versionsKubernetes versions used to run in parallel (space separated).(TEXT)│ │[default: v1.28.13 v1.29.8 v1.30.4 v1.31.0]                   │ -│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ -│--debug-resourcesWhether to show resource information while running in parallel.│ -│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ +│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ +│--debug-resourcesWhether to show resource information while running in parallel.│ +│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/dev/breeze/doc/images/output_k8s_configure-cluster.txt b/dev/breeze/doc/images/output_k8s_configure-cluster.txt index ac398e9fbce58..7e286dcc23d69 100644 --- a/dev/breeze/doc/images/output_k8s_configure-cluster.txt +++ b/dev/breeze/doc/images/output_k8s_configure-cluster.txt @@ -1 +1 @@ -c175cc4375923707f1aa91074df42c37 +827b5dbf29e649bdd718f6ce286ed9f5 diff --git a/dev/breeze/doc/images/output_k8s_create-cluster.svg b/dev/breeze/doc/images/output_k8s_create-cluster.svg index f15c0c7740d54..6d3f18d341a20 100644 --- a/dev/breeze/doc/images/output_k8s_create-cluster.svg +++ b/dev/breeze/doc/images/output_k8s_create-cluster.svg @@ -159,32 +159,32 @@ Create a KinD Cluster for Python and Kubernetes version specified (optionally create all clusters in parallel). ╭─ K8S cluster creation flags ─────────────────────────────────────────────────────────────────────────────────────────╮ -│--python-pPython major/minor version used in Airflow image for images.│ +│--python-pPython major/minor version used in Airflow image for images.│ │(>3.8< | 3.9 | 3.10 | 3.11 | 3.12)                          │ │[default: 3.8]                                              │ -│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ +│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ │(>v1.28.13< | v1.29.8 | v1.30.4 | v1.31.0)            │ │[default: v1.28.13]                                   │ -│--force-recreate-clusterForce recreation of the cluster even if it is already created.│ +│--force-recreate-clusterForce recreation of the cluster even if it is already created.│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Parallel options ───────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ -│--parallelismMaximum number of processes to use while running the operation in parallel for cluster │ +│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ +│--parallelismMaximum number of processes to use while running the operation in parallel for cluster │ │operations.                                                                            │ │(INTEGER RANGE)                                                                        │ │[default: 2; 1<=x<=4]                                                                  │ -│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ +│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ │[default: 3.8 3.9 3.10 3.11 3.12]                                             │ -│--kubernetes-versionsKubernetes versions used to run in parallel (space separated).(TEXT)│ +│--kubernetes-versionsKubernetes versions used to run in parallel (space separated).(TEXT)│ │[default: v1.28.13 v1.29.8 v1.30.4 v1.31.0]                   │ -│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ -│--debug-resourcesWhether to show resource information while running in parallel.│ -│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ +│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ +│--debug-resourcesWhether to show resource information while running in parallel.│ +│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/dev/breeze/doc/images/output_k8s_create-cluster.txt b/dev/breeze/doc/images/output_k8s_create-cluster.txt index 29557703705c2..82eee03e2526a 100644 --- a/dev/breeze/doc/images/output_k8s_create-cluster.txt +++ b/dev/breeze/doc/images/output_k8s_create-cluster.txt @@ -1 +1 @@ -98956f766fe2b98109626b909082e4f3 +1bcbd2700057f9b297c6dbd773f9f374 diff --git a/dev/breeze/doc/images/output_k8s_delete-cluster.svg b/dev/breeze/doc/images/output_k8s_delete-cluster.svg index a7a4206870df9..83efc5b324a8e 100644 --- a/dev/breeze/doc/images/output_k8s_delete-cluster.svg +++ b/dev/breeze/doc/images/output_k8s_delete-cluster.svg @@ -117,18 +117,18 @@ Delete the current KinD Cluster (optionally all clusters). ╭─ K8S cluster delete flags ───────────────────────────────────────────────────────────────────────────────────────────╮ -│--python-pPython major/minor version used in Airflow image for images.│ +│--python-pPython major/minor version used in Airflow image for images.│ │(>3.8< | 3.9 | 3.10 | 3.11 | 3.12)                          │ │[default: 3.8]                                              │ -│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ +│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ │(>v1.28.13< | v1.29.8 | v1.30.4 | v1.31.0)            │ │[default: v1.28.13]                                   │ -│--allApply it to all created clusters│ +│--allApply it to all created clusters│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/dev/breeze/doc/images/output_k8s_delete-cluster.txt b/dev/breeze/doc/images/output_k8s_delete-cluster.txt index 9057ac44c262f..4ce3ab66a2c95 100644 --- a/dev/breeze/doc/images/output_k8s_delete-cluster.txt +++ b/dev/breeze/doc/images/output_k8s_delete-cluster.txt @@ -1 +1 @@ -ab4aacbb44ee638a91f4ff225cb1dbfa +6e92a72af88d90abd8207e6b4946031d diff --git a/dev/breeze/doc/images/output_k8s_deploy-airflow.svg b/dev/breeze/doc/images/output_k8s_deploy-airflow.svg index 130cb372ef0b5..034b87a27dacf 100644 --- a/dev/breeze/doc/images/output_k8s_deploy-airflow.svg +++ b/dev/breeze/doc/images/output_k8s_deploy-airflow.svg @@ -180,39 +180,39 @@ Deploy airflow image to the current KinD cluster (or all clusters). ╭─ Airflow deploy flags ───────────────────────────────────────────────────────────────────────────────────────────────╮ -│--python-pPython major/minor version used in Airflow image for images.│ +│--python-pPython major/minor version used in Airflow image for images.│ │(>3.8< | 3.9 | 3.10 | 3.11 | 3.12)                          │ │[default: 3.8]                                              │ -│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ +│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ │(>v1.28.13< | v1.29.8 | v1.30.4 | v1.31.0)            │ │[default: v1.28.13]                                   │ -│--executorExecutor to use for a kubernetes cluster.                                               │ +│--executorExecutor to use for a kubernetes cluster.                                               │ │(>LocalExecutor< | KubernetesExecutor | CeleryExecutor | CeleryKubernetesExecutor |     │ │SequentialExecutor)                                                                     │ │[default: LocalExecutor]                                                                │ -│--upgradeUpgrade Helm Chart rather than installing it.│ -│--wait-time-in-secondsWait for Airflow webserver for specified number of seconds.(INTEGER RANGE)│ -│--use-standard-namingUse standard naming.│ -│--multi-namespace-modeUse multi namespace mode.│ +│--upgradeUpgrade Helm Chart rather than installing it.│ +│--wait-time-in-secondsWait for Airflow webserver for specified number of seconds.(INTEGER RANGE)│ +│--use-standard-namingUse standard naming.│ +│--multi-namespace-modeUse multi namespace mode.│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Parallel options ───────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ -│--parallelismMaximum number of processes to use while running the operation in parallel for cluster │ +│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ +│--parallelismMaximum number of processes to use while running the operation in parallel for cluster │ │operations.                                                                            │ │(INTEGER RANGE)                                                                        │ │[default: 2; 1<=x<=4]                                                                  │ -│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ +│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ │[default: 3.8 3.9 3.10 3.11 3.12]                                             │ -│--kubernetes-versionsKubernetes versions used to run in parallel (space separated).(TEXT)│ +│--kubernetes-versionsKubernetes versions used to run in parallel (space separated).(TEXT)│ │[default: v1.28.13 v1.29.8 v1.30.4 v1.31.0]                   │ -│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ -│--debug-resourcesWhether to show resource information while running in parallel.│ -│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ +│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ +│--debug-resourcesWhether to show resource information while running in parallel.│ +│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/dev/breeze/doc/images/output_k8s_deploy-airflow.txt b/dev/breeze/doc/images/output_k8s_deploy-airflow.txt index 8029f4f3e1ac6..673e3946635e6 100644 --- a/dev/breeze/doc/images/output_k8s_deploy-airflow.txt +++ b/dev/breeze/doc/images/output_k8s_deploy-airflow.txt @@ -1 +1 @@ -640037e62b7ed467a7a8134046444da2 +535734cde1e610d0444ed0009c525f48 diff --git a/dev/breeze/doc/images/output_k8s_k9s.svg b/dev/breeze/doc/images/output_k8s_k9s.svg index 97a72550f0447..ed98b978fdcbd 100644 --- a/dev/breeze/doc/images/output_k8s_k9s.svg +++ b/dev/breeze/doc/images/output_k8s_k9s.svg @@ -120,19 +120,19 @@ Run k9s tool. You can pass any k9s args as extra args. ╭─ K8S k9s flags ──────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--use-dockerUse Docker to start k8s executor (otherwise k9s from PATH is used and only run with docker│ +│--use-dockerUse Docker to start k8s executor (otherwise k9s from PATH is used and only run with docker│ │if not found on PATH).                                                                    │ -│--python-pPython major/minor version used in Airflow image for images.│ +│--python-pPython major/minor version used in Airflow image for images.│ │(>3.8< | 3.9 | 3.10 | 3.11 | 3.12)                          │ │[default: 3.8]                                              │ -│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ +│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ │(>v1.28.13< | v1.29.8 | v1.30.4 | v1.31.0)            │ │[default: v1.28.13]                                   │ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/dev/breeze/doc/images/output_k8s_k9s.txt b/dev/breeze/doc/images/output_k8s_k9s.txt index a6d65c87c5166..8d75c82e18c7f 100644 --- a/dev/breeze/doc/images/output_k8s_k9s.txt +++ b/dev/breeze/doc/images/output_k8s_k9s.txt @@ -1 +1 @@ -52c49a84f6fa6752bbdda1a47765d117 +e86a6aeb601f478788a37ceb18cfe154 diff --git a/dev/breeze/doc/images/output_k8s_logs.svg b/dev/breeze/doc/images/output_k8s_logs.svg index 152923311a6f8..fc2daaab41a44 100644 --- a/dev/breeze/doc/images/output_k8s_logs.svg +++ b/dev/breeze/doc/images/output_k8s_logs.svg @@ -118,18 +118,18 @@ Dump k8s logs to ${TMP_DIR}/kind_logs_<cluster_name> directory (optionally all clusters). ╭─ K8S logs flags ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--python-pPython major/minor version used in Airflow image for images.│ +│--python-pPython major/minor version used in Airflow image for images.│ │(>3.8< | 3.9 | 3.10 | 3.11 | 3.12)                          │ │[default: 3.8]                                              │ -│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ +│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ │(>v1.28.13< | v1.29.8 | v1.30.4 | v1.31.0)            │ │[default: v1.28.13]                                   │ -│--allApply it to all created clusters│ +│--allApply it to all created clusters│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/dev/breeze/doc/images/output_k8s_logs.txt b/dev/breeze/doc/images/output_k8s_logs.txt index 07b408de2f816..af6c6ad557192 100644 --- a/dev/breeze/doc/images/output_k8s_logs.txt +++ b/dev/breeze/doc/images/output_k8s_logs.txt @@ -1 +1 @@ -fbccc0c50975f48c1d09e7918a4f6dee +7894f002b7bd6acb300411c93c0a3b73 diff --git a/dev/breeze/doc/images/output_k8s_run-complete-tests.svg b/dev/breeze/doc/images/output_k8s_run-complete-tests.svg index 39033125df368..96ee147eda595 100644 --- a/dev/breeze/doc/images/output_k8s_run-complete-tests.svg +++ b/dev/breeze/doc/images/output_k8s_run-complete-tests.svg @@ -220,51 +220,51 @@ and deleting clusters (optionally for all clusters in parallel). ╭─ K8S cluster creation flags ─────────────────────────────────────────────────────────────────────────────────────────╮ -│--force-recreate-clusterForce recreation of the cluster even if it is already created.│ +│--force-recreate-clusterForce recreation of the cluster even if it is already created.│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Airflow deploy flags ───────────────────────────────────────────────────────────────────────────────────────────────╮ -│--upgradeUpgrade Helm Chart rather than installing it.│ -│--wait-time-in-secondsWait for Airflow webserver for specified number of seconds.(INTEGER RANGE)│ -│--use-standard-namingUse standard naming.│ +│--upgradeUpgrade Helm Chart rather than installing it.│ +│--wait-time-in-secondsWait for Airflow webserver for specified number of seconds.(INTEGER RANGE)│ +│--use-standard-namingUse standard naming.│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Build image flags ──────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--image-tag-tImage tag used to build K8S image from.(TEXT)[default: latest]│ -│--rebuild-base-imageRebuilds base Airflow image before building K8S image.│ -│--copy-local-sources/--no-copy-local-sourcesCopy local sources to the image.[default: copy-local-sources]│ -│--use-uv/--no-use-uvUse uv instead of pip as packaging tool to build the image.│ +│--image-tag-tImage tag used to build K8S image from.(TEXT)[default: latest]│ +│--rebuild-base-imageRebuilds base Airflow image before building K8S image.│ +│--copy-local-sources/--no-copy-local-sourcesCopy local sources to the image.[default: copy-local-sources]│ +│--use-uv/--no-use-uvUse uv instead of pip as packaging tool to build the image.│ │[default: use-uv]                                          │ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ K8S tests flags ────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--python-pPython major/minor version used in Airflow image for images.│ +│--python-pPython major/minor version used in Airflow image for images.│ │(>3.8< | 3.9 | 3.10 | 3.11 | 3.12)                          │ │[default: 3.8]                                              │ -│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ +│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ │(>v1.28.13< | v1.29.8 | v1.30.4 | v1.31.0)            │ │[default: v1.28.13]                                   │ -│--executorExecutor to use for a kubernetes cluster.                                                 │ +│--executorExecutor to use for a kubernetes cluster.                                                 │ │(>LocalExecutor< | KubernetesExecutor | CeleryExecutor | CeleryKubernetesExecutor |       │ │SequentialExecutor)                                                                       │ │[default: LocalExecutor]                                                                  │ -│--force-venv-setupForce recreation of the virtualenv.│ +│--force-venv-setupForce recreation of the virtualenv.│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Parallel options ───────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ -│--parallelismMaximum number of processes to use while running the operation in parallel for cluster │ +│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ +│--parallelismMaximum number of processes to use while running the operation in parallel for cluster │ │operations.                                                                            │ │(INTEGER RANGE)                                                                        │ │[default: 2; 1<=x<=4]                                                                  │ -│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ +│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ │[default: 3.8 3.9 3.10 3.11 3.12]                                             │ -│--kubernetes-versionsKubernetes versions used to run in parallel (space separated).(TEXT)│ +│--kubernetes-versionsKubernetes versions used to run in parallel (space separated).(TEXT)│ │[default: v1.28.13 v1.29.8 v1.30.4 v1.31.0]                   │ -│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ -│--debug-resourcesWhether to show resource information while running in parallel.│ -│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ +│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ +│--debug-resourcesWhether to show resource information while running in parallel.│ +│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--verbose-vPrint verbose information about performed steps.│ -│--help-hShow this message and exit.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--verbose-vPrint verbose information about performed steps.│ +│--help-hShow this message and exit.│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/dev/breeze/doc/images/output_k8s_run-complete-tests.txt b/dev/breeze/doc/images/output_k8s_run-complete-tests.txt index f820f6b91dc06..c416a8fbdfd08 100644 --- a/dev/breeze/doc/images/output_k8s_run-complete-tests.txt +++ b/dev/breeze/doc/images/output_k8s_run-complete-tests.txt @@ -1 +1 @@ -f4f962a7fb204b045599f7e6f479f32d +12252b79a0cfefe84397aeacb4beb1e2 diff --git a/dev/breeze/doc/images/output_k8s_shell.svg b/dev/breeze/doc/images/output_k8s_shell.svg index 269ac2fda5a06..f4e6b89b68ea7 100644 --- a/dev/breeze/doc/images/output_k8s_shell.svg +++ b/dev/breeze/doc/images/output_k8s_shell.svg @@ -129,22 +129,22 @@ Run shell environment for the current KinD cluster. ╭─ K8S shell flags ────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--python-pPython major/minor version used in Airflow image for images.│ +│--python-pPython major/minor version used in Airflow image for images.│ │(>3.8< | 3.9 | 3.10 | 3.11 | 3.12)                          │ │[default: 3.8]                                              │ -│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ +│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ │(>v1.28.13< | v1.29.8 | v1.30.4 | v1.31.0)            │ │[default: v1.28.13]                                   │ -│--executorExecutor to use for a kubernetes cluster.                                                 │ +│--executorExecutor to use for a kubernetes cluster.                                                 │ │(>LocalExecutor< | KubernetesExecutor | CeleryExecutor | CeleryKubernetesExecutor |       │ │SequentialExecutor)                                                                       │ │[default: LocalExecutor]                                                                  │ -│--force-venv-setupForce recreation of the virtualenv.│ +│--force-venv-setupForce recreation of the virtualenv.│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/dev/breeze/doc/images/output_k8s_shell.txt b/dev/breeze/doc/images/output_k8s_shell.txt index 1cd3d1308b74a..5d3c521a1e88d 100644 --- a/dev/breeze/doc/images/output_k8s_shell.txt +++ b/dev/breeze/doc/images/output_k8s_shell.txt @@ -1 +1 @@ -f408a8012171d22c22b6a5d5eb6cbf5a +e20209db2617f8705441a5d1429b8bc9 diff --git a/dev/breeze/doc/images/output_k8s_status.svg b/dev/breeze/doc/images/output_k8s_status.svg index 9fe0eb500643d..3226fe73ea184 100644 --- a/dev/breeze/doc/images/output_k8s_status.svg +++ b/dev/breeze/doc/images/output_k8s_status.svg @@ -120,19 +120,19 @@ Check status of the current cluster and airflow deployed to it (optionally all clusters). ╭─ K8S cluster status flags ───────────────────────────────────────────────────────────────────────────────────────────╮ -│--python-pPython major/minor version used in Airflow image for images.│ +│--python-pPython major/minor version used in Airflow image for images.│ │(>3.8< | 3.9 | 3.10 | 3.11 | 3.12)                          │ │[default: 3.8]                                              │ -│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ +│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ │(>v1.28.13< | v1.29.8 | v1.30.4 | v1.31.0)            │ │[default: v1.28.13]                                   │ -│--wait-time-in-secondsWait for Airflow webserver for specified number of seconds.(INTEGER RANGE)│ -│--allApply it to all created clusters│ +│--wait-time-in-secondsWait for Airflow webserver for specified number of seconds.(INTEGER RANGE)│ +│--allApply it to all created clusters│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/dev/breeze/doc/images/output_k8s_status.txt b/dev/breeze/doc/images/output_k8s_status.txt index b60cd9ec52251..ec3163a6d61ae 100644 --- a/dev/breeze/doc/images/output_k8s_status.txt +++ b/dev/breeze/doc/images/output_k8s_status.txt @@ -1 +1 @@ -99aceb075ea01a447a00cbaabf96e1d2 +a6581839aea0b8060b3aa38754b3090f diff --git a/dev/breeze/doc/images/output_k8s_tests.svg b/dev/breeze/doc/images/output_k8s_tests.svg index cf93df63903b5..d20c29896ed23 100644 --- a/dev/breeze/doc/images/output_k8s_tests.svg +++ b/dev/breeze/doc/images/output_k8s_tests.svg @@ -171,36 +171,36 @@ Run tests against the current KinD cluster (optionally for all clusters in parallel). ╭─ K8S tests flags ────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--python-pPython major/minor version used in Airflow image for images.│ +│--python-pPython major/minor version used in Airflow image for images.│ │(>3.8< | 3.9 | 3.10 | 3.11 | 3.12)                          │ │[default: 3.8]                                              │ -│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ +│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ │(>v1.28.13< | v1.29.8 | v1.30.4 | v1.31.0)            │ │[default: v1.28.13]                                   │ -│--executorExecutor to use for a kubernetes cluster.                                                 │ +│--executorExecutor to use for a kubernetes cluster.                                                 │ │(>LocalExecutor< | KubernetesExecutor | CeleryExecutor | CeleryKubernetesExecutor |       │ │SequentialExecutor)                                                                       │ │[default: LocalExecutor]                                                                  │ -│--force-venv-setupForce recreation of the virtualenv.│ +│--force-venv-setupForce recreation of the virtualenv.│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Parallel options ───────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ -│--parallelismMaximum number of processes to use while running the operation in parallel for cluster │ +│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ +│--parallelismMaximum number of processes to use while running the operation in parallel for cluster │ │operations.                                                                            │ │(INTEGER RANGE)                                                                        │ │[default: 2; 1<=x<=4]                                                                  │ -│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ +│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ │[default: 3.8 3.9 3.10 3.11 3.12]                                             │ -│--kubernetes-versionsKubernetes versions used to run in parallel (space separated).(TEXT)│ +│--kubernetes-versionsKubernetes versions used to run in parallel (space separated).(TEXT)│ │[default: v1.28.13 v1.29.8 v1.30.4 v1.31.0]                   │ -│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ -│--debug-resourcesWhether to show resource information while running in parallel.│ -│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ +│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ +│--debug-resourcesWhether to show resource information while running in parallel.│ +│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/dev/breeze/doc/images/output_k8s_tests.txt b/dev/breeze/doc/images/output_k8s_tests.txt index b719d5162acbd..0fe44196fd28c 100644 --- a/dev/breeze/doc/images/output_k8s_tests.txt +++ b/dev/breeze/doc/images/output_k8s_tests.txt @@ -1 +1 @@ -a082a9c4992ff6df0342f3ae773bc627 +c548f827b07b0b19d9a417a9024b932e diff --git a/dev/breeze/doc/images/output_k8s_upload-k8s-image.svg b/dev/breeze/doc/images/output_k8s_upload-k8s-image.svg index e0b761f53879c..ebebf01c36f6e 100644 --- a/dev/breeze/doc/images/output_k8s_upload-k8s-image.svg +++ b/dev/breeze/doc/images/output_k8s_upload-k8s-image.svg @@ -153,30 +153,30 @@ Upload k8s-ready airflow image to the KinD cluster (optionally to all clusters in parallel) ╭─ Upload image flags ─────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--python-pPython major/minor version used in Airflow image for images.│ +│--python-pPython major/minor version used in Airflow image for images.│ │(>3.8< | 3.9 | 3.10 | 3.11 | 3.12)                          │ │[default: 3.8]                                              │ -│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ +│--kubernetes-versionKubernetes version used to create the KinD cluster of.│ │(>v1.28.13< | v1.29.8 | v1.30.4 | v1.31.0)            │ │[default: v1.28.13]                                   │ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Parallel options ───────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ -│--parallelismMaximum number of processes to use while running the operation in parallel.│ +│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ +│--parallelismMaximum number of processes to use while running the operation in parallel.│ │(INTEGER RANGE)                                                            │ │[default: 4; 1<=x<=8]                                                      │ -│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ +│--python-versionsSpace separated list of python versions used for build with multiple versions.(TEXT)│ │[default: 3.8 3.9 3.10 3.11 3.12]                                             │ -│--kubernetes-versionsKubernetes versions used to run in parallel (space separated).(TEXT)│ +│--kubernetes-versionsKubernetes versions used to run in parallel (space separated).(TEXT)│ │[default: v1.28.13 v1.29.8 v1.30.4 v1.31.0]                   │ -│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ -│--debug-resourcesWhether to show resource information while running in parallel.│ -│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ +│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ +│--debug-resourcesWhether to show resource information while running in parallel.│ +│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/dev/breeze/doc/images/output_k8s_upload-k8s-image.txt b/dev/breeze/doc/images/output_k8s_upload-k8s-image.txt index df2e5c987bd61..9c3058d88267d 100644 --- a/dev/breeze/doc/images/output_k8s_upload-k8s-image.txt +++ b/dev/breeze/doc/images/output_k8s_upload-k8s-image.txt @@ -1 +1 @@ -bbe1817b251e10542aa5ba970230c457 +f09e819b6dc07deee12762155167ec4a diff --git a/dev/breeze/doc/images/output_prod-image_build.txt b/dev/breeze/doc/images/output_prod-image_build.txt index 2de9e791661b3..0ee4b9ab91157 100644 --- a/dev/breeze/doc/images/output_prod-image_build.txt +++ b/dev/breeze/doc/images/output_prod-image_build.txt @@ -1 +1 @@ -a4d68d31f40453db37b567dc8166b7ba +613daeb0e2e5b0b117a3bf8e8eb8434f diff --git a/dev/breeze/doc/images/output_release-management_install-provider-packages.txt b/dev/breeze/doc/images/output_release-management_install-provider-packages.txt index eedd8ca5a3bbe..205c1e311b4f1 100644 --- a/dev/breeze/doc/images/output_release-management_install-provider-packages.txt +++ b/dev/breeze/doc/images/output_release-management_install-provider-packages.txt @@ -1 +1 @@ -47c9f57fabfb8bae746afdf3eedc65b0 +7f581c2598a745e46f39c1268ebcbf7a diff --git a/dev/breeze/doc/images/output_release-management_prepare-provider-packages.svg b/dev/breeze/doc/images/output_release-management_prepare-provider-packages.svg index eba524437dc4c..87962f24b7152 100644 --- a/dev/breeze/doc/images/output_release-management_prepare-provider-packages.svg +++ b/dev/breeze/doc/images/output_release-management_prepare-provider-packages.svg @@ -187,28 +187,28 @@ Prepare sdist/whl packages of Airflow Providers. ╭─ Package flags ──────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--clean-distClean dist directory before building packages. Useful when you want to build   │ +│--clean-distClean dist directory before building packages. Useful when you want to build   │ │multiple packages  in a clean environment                                      │ -│--github-repository-gGitHub repository used to pull, push run images.(TEXT)│ +│--github-repository-gGitHub repository used to pull, push run images.(TEXT)│ │[default: apache/airflow]                       │ -│--include-not-ready-providersWhether to include providers that are not yet ready to be released.│ -│--include-removed-providersWhether to include providers that are removed.│ -│--package-formatFormat of packages.(wheel | sdist | both)[default: wheel]│ -│--package-list-fileRead list of packages from text file (one package per line).(FILENAME)│ -│--skip-deleting-generated-filesSkip deleting files that were used to generate provider package. Useful for    │ +│--include-not-ready-providersWhether to include providers that are not yet ready to be released.│ +│--include-removed-providersWhether to include providers that are removed.│ +│--package-formatFormat of packages.(wheel | sdist | both)[default: wheel]│ +│--package-list-fileRead list of packages from text file (one package per line).(FILENAME)│ +│--skip-deleting-generated-filesSkip deleting files that were used to generate provider package. Useful for    │ │debugging and developing changes to the build process.                         │ -│--skip-tag-checkSkip checking if the tag already exists in the remote repository│ -│--version-suffix-for-pypiVersion suffix used for PyPI packages (alpha, beta, rc1, etc.).(TEXT)│ -│--package-listOptional, contains comma-separated list of package ids that are processed for  │ +│--skip-tag-checkSkip checking if the tag already exists in the remote repository│ +│--version-suffix-for-pypiVersion suffix used for PyPI packages (alpha, beta, rc1, etc.).(TEXT)│ +│--package-listOptional, contains comma-separated list of package ids that are processed for  │ │documentation building, and document publishing. It is an easier alternative to│ │adding individual packages as arguments to every command. This overrides the   │ │packages passed as arguments.                                                  │ │(TEXT)                                                                         │ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--verbose-vPrint verbose information about performed steps.│ -│--help-hShow this message and exit.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--verbose-vPrint verbose information about performed steps.│ +│--help-hShow this message and exit.│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/dev/breeze/doc/images/output_release-management_prepare-provider-packages.txt b/dev/breeze/doc/images/output_release-management_prepare-provider-packages.txt index b8876b08183de..ddf05b2b290cd 100644 --- a/dev/breeze/doc/images/output_release-management_prepare-provider-packages.txt +++ b/dev/breeze/doc/images/output_release-management_prepare-provider-packages.txt @@ -1 +1 @@ -96b181d19e0f03f87f2927e1946625ab +eea38402c2d188acb4d063cccb1d60e7 diff --git a/dev/breeze/doc/images/output_release-management_publish-docs.svg b/dev/breeze/doc/images/output_release-management_publish-docs.svg index f35fb5649683e..60bb9d02ceae3 100644 --- a/dev/breeze/doc/images/output_release-management_publish-docs.svg +++ b/dev/breeze/doc/images/output_release-management_publish-docs.svg @@ -208,33 +208,33 @@ Command to publish generated documentation to airflow-site ╭─ Publish Docs ───────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│*--airflow-site-directory-aLocal directory path of cloned airflow-site repo.(DIRECTORY)[required]│ -│--include-not-ready-providersWhether to include providers that are not yet ready to be released.│ -│--include-removed-providersWhether to include providers that are removed.│ -│--override-versioned-sOverrides versioned directories.│ -│--package-filterFilter(s) to use more than one can be specified. You can use glob pattern     │ +│*--airflow-site-directory-aLocal directory path of cloned airflow-site repo.(DIRECTORY)[required]│ +│--include-not-ready-providersWhether to include providers that are not yet ready to be released.│ +│--include-removed-providersWhether to include providers that are removed.│ +│--override-versioned-sOverrides versioned directories.│ +│--package-filterFilter(s) to use more than one can be specified. You can use glob pattern     │ │matching the full package name, for example `apache-airflow-providers-*`.     │ │Useful when you want to selectseveral similarly named packages together.      │ │(TEXT)                                                                        │ -│--package-listOptional, contains comma-separated list of package ids that are processed for │ +│--package-listOptional, contains comma-separated list of package ids that are processed for │ │documentation building, and document publishing. It is an easier alternative  │ │to adding individual packages as arguments to every command. This overrides   │ │the packages passed as arguments.                                             │ │(TEXT)                                                                        │ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Parallel running ───────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--debug-resourcesWhether to show resource information while running in parallel.│ -│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ -│--parallelismMaximum number of processes to use while running the operation in parallel.│ +│--debug-resourcesWhether to show resource information while running in parallel.│ +│--include-success-outputsWhether to include outputs of successful parallel runs (skipped by default).│ +│--parallelismMaximum number of processes to use while running the operation in parallel.│ │(INTEGER RANGE)                                                            │ │[default: 4; 1<=x<=8]                                                      │ -│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ -│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ +│--run-in-parallelRun the operation in parallel on all or selected subset of parameters.│ +│--skip-cleanupSkip cleanup of temporary files created during parallel run.│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--verbose-vPrint verbose information about performed steps.│ -│--help-hShow this message and exit.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--verbose-vPrint verbose information about performed steps.│ +│--help-hShow this message and exit.│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/dev/breeze/doc/images/output_release-management_publish-docs.txt b/dev/breeze/doc/images/output_release-management_publish-docs.txt index 981aa16d300ce..b3b558539d0b7 100644 --- a/dev/breeze/doc/images/output_release-management_publish-docs.txt +++ b/dev/breeze/doc/images/output_release-management_publish-docs.txt @@ -1 +1 @@ -ebc9d56cb4105e08499afff9f10391e1 +6a18d1b926f0ff5ffd37e584022f7fb3 diff --git a/dev/breeze/doc/images/output_release-management_verify-provider-packages.txt b/dev/breeze/doc/images/output_release-management_verify-provider-packages.txt index 7fd442d700951..649d4b7fede34 100644 --- a/dev/breeze/doc/images/output_release-management_verify-provider-packages.txt +++ b/dev/breeze/doc/images/output_release-management_verify-provider-packages.txt @@ -1 +1 @@ -c092d6e71312d96e28f98f537fd88796 +3f53839d82c8439ab4a972e1a2f3dfc1 diff --git a/dev/breeze/doc/images/output_sbom.txt b/dev/breeze/doc/images/output_sbom.txt index 472454d810718..0edd5ebec9695 100644 --- a/dev/breeze/doc/images/output_sbom.txt +++ b/dev/breeze/doc/images/output_sbom.txt @@ -1 +1 @@ -b03d6ab68f41027663d36fe101214323 +924eca934035f16d89ba69e74761336f diff --git a/dev/breeze/doc/images/output_sbom_update-sbom-information.txt b/dev/breeze/doc/images/output_sbom_update-sbom-information.txt index 49ff7363c85ba..52d7f340dbb75 100644 --- a/dev/breeze/doc/images/output_sbom_update-sbom-information.txt +++ b/dev/breeze/doc/images/output_sbom_update-sbom-information.txt @@ -1 +1 @@ -116a44d6ee103f8b57ce56a3e774c70b +b003a3d51c5b172177dcdff3a0ae8dcc diff --git a/dev/breeze/doc/images/output_setup_config.svg b/dev/breeze/doc/images/output_setup_config.svg index 9a42467ea5281..2fb7fab65273c 100644 --- a/dev/breeze/doc/images/output_setup_config.svg +++ b/dev/breeze/doc/images/output_setup_config.svg @@ -129,22 +129,22 @@ Show/update configuration (Python, Backend, Cheatsheet, ASCIIART). ╭─ Config flags ───────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--python-pPython major/minor version used in Airflow image for images.│ +│--python-pPython major/minor version used in Airflow image for images.│ │(>3.8< | 3.9 | 3.10 | 3.11 | 3.12)                          │ │[default: 3.8]                                              │ -│--backend-bDatabase backend to use. If 'none' is chosen, Breeze will start with an invalid│ +│--backend-bDatabase backend to use. If 'none' is chosen, Breeze will start with an invalid│ │database configuration, meaning there will be no database available, and any   │ │attempts to connect to the Airflow database will fail.                         │ │(>sqlite< | mysql | postgres | none)                                           │ │[default: sqlite]                                                              │ -│--postgres-version-PVersion of Postgres used.(>12< | 13 | 14 | 15 | 16)[default: 12]│ -│--mysql-version-MVersion of MySQL used.(>8.0< | 8.4)[default: 8.0]│ -│--cheatsheet/--no-cheatsheet-C/-cEnable/disable cheatsheet.│ -│--asciiart/--no-asciiart-A/-aEnable/disable ASCIIart.│ -│--colour/--no-colourEnable/disable Colour mode (useful for colour blind-friendly communication).│ +│--postgres-version-PVersion of Postgres used.(>12< | 13 | 14 | 15 | 16)[default: 12]│ +│--mysql-version-MVersion of MySQL used.(>8.0< | 8.4)[default: 8.0]│ +│--cheatsheet/--no-cheatsheet-C/-cEnable/disable cheatsheet.│ +│--asciiart/--no-asciiart-A/-aEnable/disable ASCIIart.│ +│--colour/--no-colourEnable/disable Colour mode (useful for colour blind-friendly communication).│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--help-hShow this message and exit.│ +│--help-hShow this message and exit.│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/dev/breeze/doc/images/output_setup_config.txt b/dev/breeze/doc/images/output_setup_config.txt index f47fa38e42c7b..e84f1f4279f5d 100644 --- a/dev/breeze/doc/images/output_setup_config.txt +++ b/dev/breeze/doc/images/output_setup_config.txt @@ -1 +1 @@ -422c8c524b557fcf5924da4c8590935d +973c0866bff34967ff80db3a37d8dbc6 diff --git a/dev/breeze/doc/images/output_shell.txt b/dev/breeze/doc/images/output_shell.txt index 9443a8f29340a..a5de913439c37 100644 --- a/dev/breeze/doc/images/output_shell.txt +++ b/dev/breeze/doc/images/output_shell.txt @@ -1 +1 @@ -23410acb975d790d4f6bbd037cb54dff +78a8e3e896df37cb8516c78e3bb67efb diff --git a/dev/breeze/doc/images/output_start-airflow.txt b/dev/breeze/doc/images/output_start-airflow.txt index 653e68929a08f..c108c4b754c7a 100644 --- a/dev/breeze/doc/images/output_start-airflow.txt +++ b/dev/breeze/doc/images/output_start-airflow.txt @@ -1 +1 @@ -c09c2c71d596f531accec1c41eee288e +c56082b081ff31c535dd8e42e545c2ac diff --git a/dev/breeze/doc/images/output_static-checks.txt b/dev/breeze/doc/images/output_static-checks.txt index 9453c31f4df3a..0a484fbe70f6c 100644 --- a/dev/breeze/doc/images/output_static-checks.txt +++ b/dev/breeze/doc/images/output_static-checks.txt @@ -1 +1 @@ -85fff776e1e23ae5f9715b38c1f71825 +7b121e6337aeb2242ab88b8f51ae1907 diff --git a/dev/breeze/doc/images/output_testing_db-tests.txt b/dev/breeze/doc/images/output_testing_db-tests.txt index 015673020fb2a..1648cc7cbba30 100644 --- a/dev/breeze/doc/images/output_testing_db-tests.txt +++ b/dev/breeze/doc/images/output_testing_db-tests.txt @@ -1 +1 @@ -cd5b99d8875eeaa1912cc0362dad4d91 +31bee62efc24fa61aa868a0643e0db6b diff --git a/dev/breeze/doc/images/output_testing_helm-tests.svg b/dev/breeze/doc/images/output_testing_helm-tests.svg index 4e5d2c2dd3864..4dc88c1889f83 100644 --- a/dev/breeze/doc/images/output_testing_helm-tests.svg +++ b/dev/breeze/doc/images/output_testing_helm-tests.svg @@ -144,27 +144,27 @@ Run Helm chart tests. ╭─ Flags for helms-tests command ──────────────────────────────────────────────────────────────────────────────────────╮ -│--helm-test-packagePackage to tests(all | airflow_aux | airflow_core | other | security | webserver)│ -│--test-timeoutTest timeout in seconds. Set the pytest setup, execution and teardown timeouts to this value│ +│--helm-test-packagePackage to tests(all | airflow_aux | airflow_core | other | security | webserver)│ +│--test-timeoutTest timeout in seconds. Set the pytest setup, execution and teardown timeouts to this value│ │(INTEGER RANGE)                                                                             │ │[default: 60; x>=0]                                                                         │ -│--use-xdistUse xdist plugin for pytest│ -│--parallelismMaximum number of processes to use while running the operation in parallel.(INTEGER RANGE)│ +│--use-xdistUse xdist plugin for pytest│ +│--parallelismMaximum number of processes to use while running the operation in parallel.(INTEGER RANGE)│ │[default: 4; 1<=x<=8]                                                      │ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Advanced flags for helms-tests command ─────────────────────────────────────────────────────────────────────────────╮ -│--image-tagTag of the image which is used to run the image (implies --mount-sources=skip).(TEXT)│ +│--image-tagTag of the image which is used to run the image (implies --mount-sources=skip).(TEXT)│ │[default: latest]                                                              │ -│--mount-sourcesChoose scope of local sources that should be mounted, skipped, or removed (default =       │ +│--mount-sourcesChoose scope of local sources that should be mounted, skipped, or removed (default =       │ │selected).                                                                                 │ │(selected | all | skip | remove | tests | providers-and-tests)                             │ │[default: selected]                                                                        │ -│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ +│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--verbose-vPrint verbose information about performed steps.│ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--help-hShow this message and exit.│ +│--verbose-vPrint verbose information about performed steps.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--help-hShow this message and exit.│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/dev/breeze/doc/images/output_testing_helm-tests.txt b/dev/breeze/doc/images/output_testing_helm-tests.txt index 446b1961dcf56..775beb61c63b4 100644 --- a/dev/breeze/doc/images/output_testing_helm-tests.txt +++ b/dev/breeze/doc/images/output_testing_helm-tests.txt @@ -1 +1 @@ -ff98f2bbe58faf6aeff2bad453f6070e +9e0e8b79f1c656cc1abba06e8e11acb2 diff --git a/dev/breeze/doc/images/output_testing_integration-tests.svg b/dev/breeze/doc/images/output_testing_integration-tests.svg index a97812c3c7748..ac4ce00627101 100644 --- a/dev/breeze/doc/images/output_testing_integration-tests.svg +++ b/dev/breeze/doc/images/output_testing_integration-tests.svg @@ -204,47 +204,47 @@ Run the specified integration tests. ╭─ Test options ───────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--test-timeoutTest timeout in seconds. Set the pytest setup, execution and teardown timeouts to this   │ +│--test-timeoutTest timeout in seconds. Set the pytest setup, execution and teardown timeouts to this   │ │value                                                                                    │ │(INTEGER RANGE)                                                                          │ │[default: 60; x>=0]                                                                      │ -│--enable-coverageEnable coverage capturing for tests in the form of XML files│ -│--db-reset-dReset DB when entering the container.│ -│--skip-provider-testsSkip provider tests│ +│--enable-coverageEnable coverage capturing for tests in the form of XML files│ +│--db-reset-dReset DB when entering the container.│ +│--skip-provider-testsSkip provider tests│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Test environment ───────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--integrationIntegration(s) to enable when running (can be more than one).       │ +│--integrationIntegration(s) to enable when running (can be more than one).       │ │(all | all-testable | cassandra | celery | drill | kafka | kerberos │ │| mongo | mssql | openlineage | otel | pinot | qdrant | redis |     │ │statsd | trino | ydb)                                               │ -│--backend-bDatabase backend to use. If 'none' is chosen, Breeze will start with│ +│--backend-bDatabase backend to use. If 'none' is chosen, Breeze will start with│ │an invalid database configuration, meaning there will be no database│ │available, and any attempts to connect to the Airflow database will │ │fail.                                                               │ │(>sqlite< | mysql | postgres | none)                                │ │[default: sqlite]                                                   │ -│--python-pPython major/minor version used in Airflow image for images.│ +│--python-pPython major/minor version used in Airflow image for images.│ │(>3.8< | 3.9 | 3.10 | 3.11 | 3.12)                          │ │[default: 3.8]                                              │ -│--postgres-version-PVersion of Postgres used.(>12< | 13 | 14 | 15 | 16)[default: 12]│ -│--mysql-version-MVersion of MySQL used.(>8.0< | 8.4)[default: 8.0]│ -│--forward-credentials-fForward local credentials to container when running.│ -│--force-sa-warnings/--no-force-sa-warningsEnable `sqlalchemy.exc.MovedIn20Warning` during the tests runs.│ +│--postgres-version-PVersion of Postgres used.(>12< | 13 | 14 | 15 | 16)[default: 12]│ +│--mysql-version-MVersion of MySQL used.(>8.0< | 8.4)[default: 8.0]│ +│--forward-credentials-fForward local credentials to container when running.│ +│--force-sa-warnings/--no-force-sa-warningsEnable `sqlalchemy.exc.MovedIn20Warning` during the tests runs.│ │[default: force-sa-warnings]                                   │ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Advanced flag for integration tests command ────────────────────────────────────────────────────────────────────────╮ -│--image-tagTag of the image which is used to run the image (implies --mount-sources=skip).(TEXT)│ +│--image-tagTag of the image which is used to run the image (implies --mount-sources=skip).(TEXT)│ │[default: latest]                                                              │ -│--mount-sourcesChoose scope of local sources that should be mounted, skipped, or removed (default =       │ +│--mount-sourcesChoose scope of local sources that should be mounted, skipped, or removed (default =       │ │selected).                                                                                 │ │(selected | all | skip | remove | tests | providers-and-tests)                             │ │[default: selected]                                                                        │ -│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ +│--github-repository-gGitHub repository used to pull, push run images.(TEXT)[default: apache/airflow]│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ ╭─ Common options ─────────────────────────────────────────────────────────────────────────────────────────────────────╮ -│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ -│--verbose-vPrint verbose information about performed steps.│ -│--help-hShow this message and exit.│ +│--dry-run-DIf dry-run is set, commands are only printed, not executed.│ +│--verbose-vPrint verbose information about performed steps.│ +│--help-hShow this message and exit.│ ╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ diff --git a/dev/breeze/doc/images/output_testing_integration-tests.txt b/dev/breeze/doc/images/output_testing_integration-tests.txt index ef8506f2f4269..227607f308573 100644 --- a/dev/breeze/doc/images/output_testing_integration-tests.txt +++ b/dev/breeze/doc/images/output_testing_integration-tests.txt @@ -1 +1 @@ -b266b10370a31416ba70d4835f1b71a6 +2931809b87863a80ac792f08254a64a0 diff --git a/dev/breeze/doc/images/output_testing_non-db-tests.txt b/dev/breeze/doc/images/output_testing_non-db-tests.txt index f3f32ff67abc1..96342cca85c29 100644 --- a/dev/breeze/doc/images/output_testing_non-db-tests.txt +++ b/dev/breeze/doc/images/output_testing_non-db-tests.txt @@ -1 +1 @@ -ba2a582d1be6c987c0b7ceb61bcaffb9 +543f9814b475e511749fdebf29d16298 diff --git a/dev/breeze/doc/images/output_testing_tests.txt b/dev/breeze/doc/images/output_testing_tests.txt index 226ce0701360f..25be0ad1baddb 100644 --- a/dev/breeze/doc/images/output_testing_tests.txt +++ b/dev/breeze/doc/images/output_testing_tests.txt @@ -1 +1 @@ -9156856b589d49e49c75bf78869a971b +3c3217a7eceaa77718af4876622e1b0f diff --git a/generated/provider_dependencies.json b/generated/provider_dependencies.json index 9ee5180dd84d6..9ce9cada577f5 100644 --- a/generated/provider_dependencies.json +++ b/generated/provider_dependencies.json @@ -606,7 +606,7 @@ "asgiref>=3.5.2", "dill>=0.2.3", "gcloud-aio-auth>=5.2.0", - "gcloud-aio-bigquery>=6.1.2", + "gcloud-aio-bigquery>=7.1.0", "gcloud-aio-storage>=9.0.0", "gcsfs>=2023.10.0", "google-ads>=24.1.0",