Apache proudění Vzduchu konfigurační soubory: proměnné Prostředí v docker-compose souboru nefunguje

Question 1

V apache konfigurace proudění vzduchu snažil jsem se změnit Sekvenční exekutor Celer výkonné pomocí proměnné Prostředí v docker-compose soubory:

version: '3'
x-airflow-common:
  &airflow-common
  # In order to add custom dependencies or upgrade provider packages you can use your extended image.
  # Comment the image line, place your Dockerfile in the directory where you placed the docker-compose.yaml
  # and uncomment the "build" line below, Then run `docker-compose build` to build the images.
  #image: ${AIRFLOW_IMAGE_NAME:-apache/airflow:2.2.1}
  build: .
  environment:
    &airflow-common-env
    AIRFLOW__CORE__EXECUTOR: CeleryExecutor
    AIRFLOW__CORE__SQL_ALCHEMY_CONN: postgresql+psycopg2://airflow:airflow@postgres/airflow
    AIRFLOW__CELERY__RESULT_BACKEND: db+postgresql://airflow:airflow@postgres/airflow
    AIRFLOW__CELERY__BROKER_URL: redis://:@redis:6379/0
    AIRFLOW__CORE__FERNET_KEY: ''
    AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION: 'true'
    AIRFLOW__CORE__LOAD_EXAMPLES: 'false'
    AIRFLOW__API__AUTH_BACKEND: 'airflow.api.auth.backend.basic_auth'
    _PIP_ADDITIONAL_REQUIREMENTS: ${_PIP_ADDITIONAL_REQUIREMENTS:-}

Ale když jsem zkontrolovat konfiguraèní soubor je stále Sekvenční Exekutor.

První Otázka: Jak mohu změnit to, aby CeleryExecutor?

Druhá Otázka: obecně, jak to mám nastavit Apache proudění Vzduchu: přes proměnné prostředí nebo prostřednictvím konfiguračního souboru?

Třetí Otázka: pokud se přes config, pak bych mount config soubor, nebo je jiné lepší řešení?

Question 2

Proměnné se nezmění config. Oni přepsat hodnoty z tu. Proudění vzduchu při čtení konfigurace hodnota se bude nejprve snažit zjistit, jestli tam ia proměnné prostředí definované - pokud je, pak to bude používat MÍSTO config. Konfigurační soubor zůstane, jak to je.

Vidět https://airflow.apache.org/docs/apache-airflow/stable/howto/set-config.html a budete se najít "pořadí" čtení konfigurace pomocí proudění Vzduchu.

Jak můžete ověřit, zda proměnná je nastavena správně, je provedením airflow config list CLI příkaz https://airflow.apache.org/docs/apache-airflow/stable/cli-and-env-variables-ref.html#list

To vám ukáže konfiguraci, která je "efektivní" - tj. to, co Airlfow vidí po zpracování všech možností číst konfigurační hodnoty v následujícím pořadí. Tímto způsobem můžete ověřit, zda jste neudělali žádnou chybu.

S quick-start docker compose můžete spustit airflow CLI příkazy, jak je popsáno https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html#running-the-cli-commands

Jarek Potiuk · Answer 1 · 2021-11-22T10:39:22

Proměnné se nezmění config. Oni přepsat hodnoty z tu. Proudění vzduchu při čtení konfigurace hodnota se bude nejprve snažit zjistit, jestli tam ia proměnné prostředí definované - pokud je, pak to bude používat MÍSTO config. Konfigurační soubor zůstane, jak to je.

Vidět https://airflow.apache.org/docs/apache-airflow/stable/howto/set-config.html a budete se najít "pořadí" čtení konfigurace pomocí proudění Vzduchu.

Jak můžete ověřit, zda proměnná je nastavena správně, je provedením airflow config list CLI příkaz https://airflow.apache.org/docs/apache-airflow/stable/cli-and-env-variables-ref.html#list

To vám ukáže konfiguraci, která je "efektivní" - tj. to, co Airlfow vidí po zpracování všech možností číst konfigurační hodnoty v následujícím pořadí. Tímto způsobem můžete ověřit, zda jste neudělali žádnou chybu.

S quick-start docker compose můžete spustit airflow CLI příkazy, jak je popsáno https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html#running-the-cli-commands

Děkuji za vaši odpověď! Chci se vás zeptat, možná hloupé otázky: co je nejlepší způsob, jak definovat proměnné prostředí? Co je nejlepší způsob, jak upravit proudění vzduchu.cfg soubor? Jen montáž?(Já používám apache proudění vzduchu v docker)
Záleží na tom, co chcete dělat . Neexistuje žádný "nejlepší" způsob, jak. převažující env vartiables je dobré, pokud chcete být schopni to změnit snadno, úpravy a mountng cfg by mohl být dobrý nápad pro další "přetrvávající způsob, jak', ale také si mohli vytvořit svůj vlastní obraz s airlfow.cfg vyměnit (to je nejvíce "trvalé" způsobem). Je jen na vás, který z nich si vyberete.

Apache proudění Vzduchu konfigurační soubory: proměnné Prostředí v docker-compose souboru nefunguje

Otázka

Nejlepší odpověď

V jiných jazycích

Tato stránka je v jiných jazycích

Populární v této kategorii

Oblíbené položky v této kategorii