Proudění vzduchu s KubernetesExecutor pracovníků (EKS) a webserver+plánovač na EC2

Question 1

Chtěl jsem vědět, jestli je možné nastavit KubernetesExecutor na proudění Vzduchu, ale s webserver a plánovač běží na EC2?

To znamená, že úkoly by běžet na Kubernetes lusky (EKS v mém případě), ale základní služby na pravidelné EC2.

Snažil jsem se najít informace o problému, ale nepodařilo krátké...

následující citát je z proudění Vzduchu je docs, a to je důvod, proč se ptám na tuto otázku

KubernetesExecutor runs as a process in the Airflow Scheduler. The scheduler itself does not necessarily need to be running on Kubernetes, but does need access to a Kubernetes cluster.

Díky předem!

Question 2

Ano, to je zcela možné.

Stačí spustit airflow scheduler a airflow webserver na EC2 a konfigurovat instance EC2 mít všechny potřebné přístup (prostřednictvím účtu služby pravděpodobné - ale je to vaše rozhodnutí a konfigurace nasazení), aby byl schopen točit lusky na vašem EKS clusteru.

Nic zvláštního kromě toho, že budete muset naučit, jak spustit a nakonfigurovat komponenty mluvit s každým jiný - nejsou tam žádné ready-k-použití, recepty, budete muset jednoduše postupujte podle konfigurační parametry Airflo, a ověřování programů, které musíte mít.

Jarek Potiuk · Answer 1 · 2021-11-23T11:42:02

0

Ano, to je zcela možné.

Stačí spustit airflow scheduler a airflow webserver na EC2 a konfigurovat instance EC2 mít všechny potřebné přístup (prostřednictvím účtu služby pravděpodobné - ale je to vaše rozhodnutí a konfigurace nasazení), aby byl schopen točit lusky na vašem EKS clusteru.

Nic zvláštního kromě toho, že budete muset naučit, jak spustit a nakonfigurovat komponenty mluvit s každým jiný - nejsou tam žádné ready-k-použití, recepty, budete muset jednoduše postupujte podle konfigurační parametry Airflo, a ověřování programů, které musíte mít.

Jarek Potiuk

2021-11-23 11:42:02

Za prvé, díky za odpověď! Máte nějaký nápad, co proudění vzduchu nastavení bude třeba nastavit pro tuto realizaci? Jak jsem řekl, jsem nebyl schopen najít žádné informace o tom.

GilT

Není žádné "nastavení" - musíte nakonfigurovat vaše nasazení následující architektury zde : airflow.apache.org/docs/apache-airflow/stable/concepts/... - ale sunce chcete, aby vlastní nastavení a není Kormidla Graf pro příklad - airflow.apache.org/docs/helm-chart/stable/index.html (což nainstalovat vše, co je v Kubernetes) potřebujete ot ujistěte se, že spustíte všechny komponenty (málo aplikací), databáze, ověřování tak, jak si obvykle nasadit další aplikace v podobné nasazení. Ale není tam žádný "nastavení" - stačí nastavit celý deploment sebe.

Jarek Potiuk

Je to o pár dní práce pro zkušenosti devops (nebo dokonce devops team), set-up , takže myslím, že nemusíte očekávat, že to bude vysvětleno v commen :)?

Jarek Potiuk

Myslel jsem nastavení proudění vzduchu.cfg nastavení. Předpokládám, že proudění VZDUCHU__KUBERNETES__CONFIG_SOUBOR by měl být na cestě do clusteru config. Ale, že by se proudění VZDUCHU__KUBERNETES__V_CLUSTERU být pravdivé nebo nepravdivé? není to moc jasné z docs

GilT

Path to the kubernetes configfile to be used when in_cluster is set to False - není to dost jasné ? airflow.apache.org/docs/apache-airflow/stable/...

Jarek Potiuk

Proudění vzduchu s KubernetesExecutor pracovníků (EKS) a webserver+plánovač na EC2

Otázka

Nejlepší odpověď

V jiných jazycích

Tato stránka je v jiných jazycích

Populární v této kategorii

Oblíbené položky v této kategorii