Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
Fernando Gandia
Conceptos generales
La plataforma
Sus componentes principales
Interfaces de comunicacin
DAGs
Como se especifican?
Como se importan en la plataforma?
Como se ejecutan y se prueban?
Operadores
Por defecto
Propios
Interfaz de usuario
Ejemplos
Fernando Gandia
Qu es Airflow?
La esencia de Airflow?
La plataforma
Sus componentes principales
Interfaces de comunicacin
DAGs
Como se especifican?
Como se importan en la plataforma?
Como se ejecutan y se prueban?
Operadores
Por defecto
Propios
Interfaz de usuario
Ejemplos
Fernando Gandia
La plataforma
Sus componentes principales
Interfaces de comunicacin
DAGs
Como se especifican?
Como se importan en la plataforma?
Como se ejecutan y se prueban?
Operadores
Por defecto
Propios
Interfaz de usuario
Ejemplos
Fernando Gandia
Dag Folder
Scheduler
3 Si el Scheduler est en marcha el Dag se compila y se
importa automticamente en la UI
Fernando Gandia
Por defecto, al
importar un DAG,
inicialmente la
temporizacin del
mismo est
encendida.
A menos que, en
las opciones de
configuracin
hayamos
desactivado dicha
caracterstica.
Fernando Gandia
Si hemos
especificado una
fecha de inicio, se
llevan a cabo
ejecuciones de
relleno hasta la
fecha actual
Fernando Gandia
Ejecutar una
tarea especfica
airflow test dag_id task_id execution_date
La plataforma
Sus componentes principales
Interfaces de comunicacin
DAGs
Como se especifican?
Como se importan en la plataforma?
Como se ejecutan y se prueban?
Operadores
Por defecto
Propios
Interfaz de usuario
Ejemplos
Fernando Gandia
3 tipos de operadores
BaseOperator
HttpSensor DummySkipOperator
Fernando Gandia
Qu necesidad deba cubrir?
Trata con datos de Hive o Impala a travs de scripts de Python / PySpark desde un entorno de Airflow remoto.
Bash
Python / PySpark
Libreras , Scripts
Opcin HiveOperator
3 Se necesita tener Hadoop y Hive
Hive HDFS
Hive - Beeline instalados en mismo entorno Impala
Hadoop Airflow Puerto 1000 HiveServer
ODBC
Fernando Gandia
Requisitos para mi operador?
No instalar nada mas en el entorno Airflow
Los datos y los scripts deban mantenerse en la infraestructura Librera pxssh
Sesin SSH interactiva
def execute
2 Copiar fichero .py en
la carpeta plugins
def on_kill
Plugins
class myPlugin(AirflowPlugin)
Folder
name = myPlugin
operators = [myOperador]
flask_blueprint = []
hook = []
executors = []
Fernando Gandia
Conceptos generales
La plataforma
Sus componentes principales
Interfaces de comunicacin
DAGs
Como se especifican?
Como se importan en la plataforma?
Como se ejecutan y se prueban?
Operadores
Por defecto
Propios
Interfaz de usuario
Ejemplos
Fernando Gandia
La plataforma
Sus componentes principales
Interfaces de comunicacin
DAGs
Como se especifican?
Como se importan en la plataforma?
Como se ejecutan y se prueban?
Operadores
Por defecto
Propios
Interfaz de usuario
Ejemplos