Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | ||||||
| 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| 9 | 10 | 11 | 12 | 13 | 14 | 15 |
| 16 | 17 | 18 | 19 | 20 | 21 | 22 |
| 23 | 24 | 25 | 26 | 27 | 28 |
Tags
- 잘쉬어야지
- deepseek
- schema-registry
- parquet
- 마연굴
- 한국걱정
- 티지아이포럼
- kafka-connect
- 루스틱
- 송고버섯피자
- 이코노미스트한국구독센터
- 가람집옹심이
- neovim
- apollo-sandbox
- 여니브레드
- 트럼프2.0시대
- 저동하녹
- 마법의연금굴리기
- 런데이
- 중사랑
- 플라스틱은 어떻게 브랜드의 무기가 되는가
- 강릉여행
- 런데이애플워치
- 여행
- sparksql
- Zone2
- 달리기
- 일권하는사회
- apollo-server-v3
- 오운완
Archives
- Today
- Total
목록개발/airflow (1)
해뜨기전에자자
airflow 개요 및 사용하면서 신경써야할 부분
한줄 요약 airflow는 workflow engine이다. 매일 돌아야 하는 offline배치를 파이프라인 구성하는 것이 목적인 툴이다. hdfs, spark, aws s3 등 다양한 operator를 지원해서 사용자 풀 및 레퍼런스도 많은 편이다. 요즘은 k8s를 많이 써서 argo같은 대체제도 있는 듯 하다. 아키텍처 https://airflow.apache.org/docs/stable/executor/celery.html 현재 db로는 postgre, queue로는 redis를 쓰고 있다. 기본 컨셉 https://airflow.apache.org/docs/stable/concepts.html DAG는 태스크로 구성된다 각 태스크는 오퍼레이터 클래스를 인스턴스화하여 만든다. 구성한 오퍼레이터 인스..
개발/airflow
2020. 5. 18. 09:36