기존 설치된 CUDA 삭제아래의 명령어를 순차로 실행하여 기존에 설치된 NVidia 드라이버를 삭제합니다. sudo apt-get purge nvidia*sudo apt-get autoremovesudo apt-get autocleansudo rm -rf /usr/local/cuda*  설치할 드라이버 확인설치 가능한 NVidia driver 리스트를 확인 합니다. ubuntu-drivers devices   설치 가능한 nvidia driver 디바이스 목록이 출력됩니다.하기의 링크에서 설치하고자 하는 CUDA 버전과 그에 따른 nvidia driver 리스트를 확인할 수 있습니다. 링크: https://docs.nvidia.com/deploy/cuda-compatibility/index.html#bi..

언젠가 데이터분석을 Langchain을 이용해서 자동으로 EDA를 수행하고 전처리를 수행하며 insight까지 도출할 수 있는 데이터 분석 AI Agent를 만드는 것이 목표인데, PandasDataFrameOutputParser를 통해 구현할 수 있을 것 같다. PandasDataFrameOutputParserPandas DataFrame은 Python 프로그래밍 언어에서 널리 사용되는 데이터 구조로, 데이터 조작 및 분석을 위한 강력한 도구입니다. DataFrame은 구조화된 데이터를 효과적으로 다루기 위한 포괄적인 도구 세트를 제공하며, 이를 통해 데이터 정제, 변환 및 분석과 같은 다양한 작업을 수행할 수 있습니다.이 출력 파서는 사용자가 임의의 Pandas DataFrame을 지정하여 해당 Da..

1. DAG 생성 (Bash operator) 2. Task의 수행 주체   예시 코드를 통해 실습해보자.   > sudo docker compose up 웹 페이지 열고 http://localhost:8080/  example_bash_operator를 열자   from __future__ import annotationsimport datetimeimport pendulumfrom airflow.models.dag import DAGfrom airflow.operators.bash import BashOperatorfrom airflow.operators.empty import EmptyOperatorwith DAG( dag_id="dags_bash_operator", ..

## 개발환경 플로우 이해   DAG를 로컬컴퓨터 VScode에서 개발해서 Git으로 올리고 WSL에서 DAG를 가져와 컨테이너에 마운트를 시킨다.  ### 개발환경 세팅의 목표 - 로컬 환경에서 만든 dag를 컨테이너까지 배포하는 것  ### Action1. Airflow docker의 Python 버전 확인 2. 로컬 컴퓨터에 동일한 Python 버전으로 설치 3. IDE(VScode) 개발 환경 설정 4. Github 레파지토리 생성 5. 로컬 컴퓨터에 Airflow 라이브러리 설치 6. WSL에 Git 설치 및 git pull이 가능한 환경 구성  WSL 터미널을 연다.> sudo service docker start  도커 이미지들을 확인한다.> sudo docker ps   NAMES에서 ai..

# 학습 목표 - Docker 개념 이해하기 및 설치 하기 - Docker 를 이용한 AirFlow 설치하기  ## Docker 설치### Docker란? 리눅스내 가상화 관련 커널을 활용하여 어플리케이션을 독립적 환경에서 실행시키는 기술 가상화 서버(VM) 대비 Guest OS가 없어 경량화된 가상화 서버로 볼 수 있다.  VM의 단점으로 오버헤드가 있다. CPU나 메모리, 디스크 같은 공간을 가상화 서버에 명시적으로 할당 해줘야 되기 때문에 그만큼 호스트 OS가 사용할 수 있는 가연 공간이 줄어든다.   그런 단점을 해결한 게 Docker라고 보면 된다. 그래서 Docker를 보면 가상화 서버 (VM)에 있는 Guest OS가 없다. APP만 독립적인 환경에서 구동시켜 줄 수 있는 것이 Docker이..