Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 재택커피
- 잠든사이월급버는미국배당주투자
- liveness
- 집커피
- sky빛의아이들
- 러닝크루
- 플릿러너
- Zone2
- 재택끝나간다
- parquet
- apollo-server-v3
- 콜드브루메이커
- 스타벅스리저브콜드브루
- sparksql
- 티지아이포럼
- 잘쉬어야지
- 런데이
- 미국배당주투자
- kafka-connect
- 이코노미스트한국구독센터
- 플라스틱은 어떻게 브랜드의 무기가 되는가
- apollo-sandbox
- 오운완
- neovim
- 달리기
- 런데이애플워치
- schema-registry
- kubernetes
- 마이더치콜드브루
- 코로나19
Archives
- Today
- Total
목록개발/airflow (1)
해뜨기전에자자
airflow 개요 및 사용하면서 신경써야할 부분
한줄 요약 airflow는 workflow engine이다. 매일 돌아야 하는 offline배치를 파이프라인 구성하는 것이 목적인 툴이다. hdfs, spark, aws s3 등 다양한 operator를 지원해서 사용자 풀 및 레퍼런스도 많은 편이다. 요즘은 k8s를 많이 써서 argo같은 대체제도 있는 듯 하다. 아키텍처 https://airflow.apache.org/docs/stable/executor/celery.html 현재 db로는 postgre, queue로는 redis를 쓰고 있다. 기본 컨셉 https://airflow.apache.org/docs/stable/concepts.html DAG는 태스크로 구성된다 각 태스크는 오퍼레이터 클래스를 인스턴스화하여 만든다. 구성한 오퍼레이터 인스..
개발/airflow
2020. 5. 18. 09:36