[AirFlow 공부하기] [1.개발환경구성] 3. 개발환경 세팅

## 개발환경 플로우 이해 

 

 

DAG를 로컬컴퓨터 VScode에서 개발해서 Git으로 올리고 WSL에서 DAG를 가져와 컨테이너에 마운트를 시킨다. 

 

### 개발환경 세팅의 목표 

- 로컬 환경에서 만든 dag를 컨테이너까지 배포하는 것 

 

### Action

1. Airflow docker의 Python 버전 확인 

2. 로컬 컴퓨터에 동일한 Python 버전으로 설치 

3. IDE(VScode) 개발 환경 설정 

4. Github 레파지토리 생성 

5. 로컬 컴퓨터에 Airflow 라이브러리 설치 

6. WSL에 Git 설치 및 git pull이 가능한 환경 구성 

 

WSL 터미널을 연다.

> sudo service docker start 

 

도커 이미지들을 확인한다.

> sudo docker ps 

 

 

NAMES에서 

airflow-worker-1과 scheduler-1을 살펴본다. 

 

컨테이너 안에 들어가려면 아래와 같은 명령어를 친다.

it옵션은 세션이 끊어지지 않도록 해준다. 

> sudo docker exec -it <Names or ID> bash 

 

worker 컨터에너 안에 들어왔다. 

이제 이 컨테이너의 python 버전을 확인해 본다. 

> python -V

 

> Ctrl + d를 눌러서 빠져나온다. 

다른 컨테이너도 확인해보자. 

 

VSCode에서 python 버전 맞춰줘서 가상환경 만들어주자

 

 

## Airflow 라이브러리 설치하기 

 

Airflow 라이브러리 설치 대상과 설치 이유 

- 로컬 컴퓨터의 파이썬 가상환경 

- Airflow DAG 개발을 위해 Airflow의 라이브러리들이 필요 

- 리눅스에서 파이썬 airflow 라이브러리 설치시 그 자체로 airflow 서비스를 사용할 수 있지만

- pip install apache-airflow 로 설치시 저사양의 아키텍처로 설치되어 여러 제약이 존재한다. 

- 예를들어 Task를 한번에 1개씩만 실행 가능하다. 

 

따라서 아래 Airflow 라이브러리 설치 가이드를 따라서 라이브러리를 설치하자 

 

Airflow 라이브러리 설치

https://airflow.apache.org/docs/apache-airflow/stable/installation/installing-from-pypi.html

 

pip install "apache-airflow[celery]==2.10.1" --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.10.1/constraints-3.8.txt"

 

 

다음부터는 진짜 DAG를 개발해본다.