이것저것 개발노트
-
ValueError: Already found path for node 'page_element_extractor_node'.For multiple edges, use StateGraph with an annotated state key. LangGraph에서 add_edge로 node를 연결하다가 아래와 같은 오류가 발생하였다. ValueError: Already found path for node 'page_element_extractor_node'.For multiple edges, use StateGraph with an annotated state key. 아무리 검색하고 찾아봐도 답이 보이지 않았지만 2시간 만에 문제를 해결하게 되었다. 현재 이렇게 만들어야하는데 병렬 노드 실행을 위한 ..
LangGraph multiple edges / For multiple edges, use StateGraph with an annotated state key.ValueError: Already found path for node 'page_element_extractor_node'.For multiple edges, use StateGraph with an annotated state key. LangGraph에서 add_edge로 node를 연결하다가 아래와 같은 오류가 발생하였다. ValueError: Already found path for node 'page_element_extractor_node'.For multiple edges, use StateGraph with an annotated state key. 아무리 검색하고 찾아봐도 답이 보이지 않았지만 2시간 만에 문제를 해결하게 되었다. 현재 이렇게 만들어야하는데 병렬 노드 실행을 위한 ..
2024.10.04 -
기존 드라이버 삭제 sudo systemctl stop gdm# 드라이버 및 관련 패키지 제거:sudo apt purge '^nvidia-.*'sudo apt autoremove# 잔여 모듈 제거 확인:lsmod | grep nvidia # 여전히 있으면 재부팅 후 다시 확인재부팅sudo reboot 기존 설치된 CUDA 삭제아래의 명령어를 순차로 실행하여 기존에 설치된 NVidia 드라이버를 삭제합니다. sudo apt-get purge nvidia*sudo apt-get autoremovesudo apt-get autocleansudo rm -rf /usr/local/cuda* 설치할 드라이버 확인 ubuntu-drivers devices ubuntu 버전에 따라 nvidia drive..
우분투 GPU 세팅기존 드라이버 삭제 sudo systemctl stop gdm# 드라이버 및 관련 패키지 제거:sudo apt purge '^nvidia-.*'sudo apt autoremove# 잔여 모듈 제거 확인:lsmod | grep nvidia # 여전히 있으면 재부팅 후 다시 확인재부팅sudo reboot 기존 설치된 CUDA 삭제아래의 명령어를 순차로 실행하여 기존에 설치된 NVidia 드라이버를 삭제합니다. sudo apt-get purge nvidia*sudo apt-get autoremovesudo apt-get autocleansudo rm -rf /usr/local/cuda* 설치할 드라이버 확인 ubuntu-drivers devices ubuntu 버전에 따라 nvidia drive..
2024.09.30 -
언젠가 데이터분석을 Langchain을 이용해서 자동으로 EDA를 수행하고 전처리를 수행하며 insight까지 도출할 수 있는 데이터 분석 AI Agent를 만드는 것이 목표인데, PandasDataFrameOutputParser를 통해 구현할 수 있을 것 같다. PandasDataFrameOutputParserPandas DataFrame은 Python 프로그래밍 언어에서 널리 사용되는 데이터 구조로, 데이터 조작 및 분석을 위한 강력한 도구입니다. DataFrame은 구조화된 데이터를 효과적으로 다루기 위한 포괄적인 도구 세트를 제공하며, 이를 통해 데이터 정제, 변환 및 분석과 같은 다양한 작업을 수행할 수 있습니다.이 출력 파서는 사용자가 임의의 Pandas DataFrame을 지정하여 해당 Da..
LangChain을 이용한 데이터 분석 AI Agent 만들기언젠가 데이터분석을 Langchain을 이용해서 자동으로 EDA를 수행하고 전처리를 수행하며 insight까지 도출할 수 있는 데이터 분석 AI Agent를 만드는 것이 목표인데, PandasDataFrameOutputParser를 통해 구현할 수 있을 것 같다. PandasDataFrameOutputParserPandas DataFrame은 Python 프로그래밍 언어에서 널리 사용되는 데이터 구조로, 데이터 조작 및 분석을 위한 강력한 도구입니다. DataFrame은 구조화된 데이터를 효과적으로 다루기 위한 포괄적인 도구 세트를 제공하며, 이를 통해 데이터 정제, 변환 및 분석과 같은 다양한 작업을 수행할 수 있습니다.이 출력 파서는 사용자가 임의의 Pandas DataFrame을 지정하여 해당 Da..
2024.09.24 -
[AirFlow 공부하기] [2.오퍼레이터 기본] Cron 스케쥴 명령 표 2024.09.23
-
1. DAG 생성 (Bash operator) 2. Task의 수행 주체 예시 코드를 통해 실습해보자. > sudo docker compose up 웹 페이지 열고 http://localhost:8080/ example_bash_operator를 열자 from __future__ import annotationsimport datetimeimport pendulumfrom airflow.models.dag import DAGfrom airflow.operators.bash import BashOperatorfrom airflow.operators.empty import EmptyOperatorwith DAG( dag_id="dags_bash_operator", ..
[AirFlow 공부하기] [2.오퍼레이터 기본] Bash operator DAG 만들기, DAG 디렉토리 세팅1. DAG 생성 (Bash operator) 2. Task의 수행 주체 예시 코드를 통해 실습해보자. > sudo docker compose up 웹 페이지 열고 http://localhost:8080/ example_bash_operator를 열자 from __future__ import annotationsimport datetimeimport pendulumfrom airflow.models.dag import DAGfrom airflow.operators.bash import BashOperatorfrom airflow.operators.empty import EmptyOperatorwith DAG( dag_id="dags_bash_operator", ..
2024.09.23 -
## 개발환경 플로우 이해 DAG를 로컬컴퓨터 VScode에서 개발해서 Git으로 올리고 WSL에서 DAG를 가져와 컨테이너에 마운트를 시킨다. ### 개발환경 세팅의 목표 - 로컬 환경에서 만든 dag를 컨테이너까지 배포하는 것 ### Action1. Airflow docker의 Python 버전 확인 2. 로컬 컴퓨터에 동일한 Python 버전으로 설치 3. IDE(VScode) 개발 환경 설정 4. Github 레파지토리 생성 5. 로컬 컴퓨터에 Airflow 라이브러리 설치 6. WSL에 Git 설치 및 git pull이 가능한 환경 구성 WSL 터미널을 연다.> sudo service docker start 도커 이미지들을 확인한다.> sudo docker ps NAMES에서 ai..
[AirFlow 공부하기] [1.개발환경구성] 3. 개발환경 세팅## 개발환경 플로우 이해 DAG를 로컬컴퓨터 VScode에서 개발해서 Git으로 올리고 WSL에서 DAG를 가져와 컨테이너에 마운트를 시킨다. ### 개발환경 세팅의 목표 - 로컬 환경에서 만든 dag를 컨테이너까지 배포하는 것 ### Action1. Airflow docker의 Python 버전 확인 2. 로컬 컴퓨터에 동일한 Python 버전으로 설치 3. IDE(VScode) 개발 환경 설정 4. Github 레파지토리 생성 5. 로컬 컴퓨터에 Airflow 라이브러리 설치 6. WSL에 Git 설치 및 git pull이 가능한 환경 구성 WSL 터미널을 연다.> sudo service docker start 도커 이미지들을 확인한다.> sudo docker ps NAMES에서 ai..
2024.09.20