Я пытаюсь обдувать BigQueryOperator. Я думал, что позже воспользуюсь google composer, но сначала хочу, чтобы он работал локально. У меня есть воздушный поток, и BashOperator работает нормально, я также могу запустить airflow test <dag> <task>, где task - это большая задача запроса, которую я хочу запустить, но когда я запускаю DAG из пользовательского интерфейса, задача bigquery никогда не ставится в очередь. Вместо этого у них есть состояние REMOVED, и ничего не происходит.
Мое определение DAG выглядит так:
from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from datetime import datetime, timedelta
from airflow.contrib.operators.bigquery_operator import BigQueryOperator
yesterday = datetime.combine(
datetime.today() - timedelta(1),
datetime.min.time())
default_args = {
'owner': 'airflow',
'depends_on_past': False,
'email': ['[email protected]'],
'start_date': yesterday,
'email_on_failure': False,
'email_on_retry': False,
'retries': 1,
'retry_delay': timedelta(minutes=5),
}
with DAG(
'tutorial', default_args=default_args) as dag:
operators
t1 = BashOperator(
task_id='print_date',
bash_command='date')
template_sql = '''
SELECT 'TOMAS' name, '{{ params.my_value }}' value, "{{ params.my_value2 }}" tables
'''
sampleBigQuery1 = BigQueryOperator(
task_id='bq_simple_sql1',
bql=template_sql,
use_legacy_sql=False,
destination_dataset_table='temp_tomas.airflow_1',
allow_large_results=True,
params={'my_value': (datetime.now()).strftime("%D %T"),
'my_value2': "yolo"}, # getTables()},
create_disposition='CREATE_IF_NEEDED',
write_disposition='WRITE_TRUNCATE'
)
t1 >> sampleBigQuery1
Итак, как мне отладить случай, когда он работает airflow test ..., но не запускается планировщиком или пользовательским интерфейсом? Кажется, что-то не так с тем, что у меня здесь?
Локально я использую стандартную установку воздушного потока с sqllite, но я думаю, это не должно иметь никакого влияния. Я запускаю все в одном окружении python, поэтому он должен быть довольно сдержанным.
