분류 전체보기
-
# 학습 목표 - Docker 개념 이해하기 및 설치 하기 - Docker 를 이용한 AirFlow 설치하기 ## Docker 설치### Docker란? 리눅스내 가상화 관련 커널을 활용하여 어플리케이션을 독립적 환경에서 실행시키는 기술 가상화 서버(VM) 대비 Guest OS가 없어 경량화된 가상화 서버로 볼 수 있다. VM의 단점으로 오버헤드가 있다. CPU나 메모리, 디스크 같은 공간을 가상화 서버에 명시적으로 할당 해줘야 되기 때문에 그만큼 호스트 OS가 사용할 수 있는 가연 공간이 줄어든다. 그런 단점을 해결한 게 Docker라고 보면 된다. 그래서 Docker를 보면 가상화 서버 (VM)에 있는 Guest OS가 없다. APP만 독립적인 환경에서 구동시켜 줄 수 있는 것이 Docker이..
[AirFlow 공부하기] [1.개발환경구성] 2. Docker와 Airflow 설치하기# 학습 목표 - Docker 개념 이해하기 및 설치 하기 - Docker 를 이용한 AirFlow 설치하기 ## Docker 설치### Docker란? 리눅스내 가상화 관련 커널을 활용하여 어플리케이션을 독립적 환경에서 실행시키는 기술 가상화 서버(VM) 대비 Guest OS가 없어 경량화된 가상화 서버로 볼 수 있다. VM의 단점으로 오버헤드가 있다. CPU나 메모리, 디스크 같은 공간을 가상화 서버에 명시적으로 할당 해줘야 되기 때문에 그만큼 호스트 OS가 사용할 수 있는 가연 공간이 줄어든다. 그런 단점을 해결한 게 Docker라고 보면 된다. 그래서 Docker를 보면 가상화 서버 (VM)에 있는 Guest OS가 없다. APP만 독립적인 환경에서 구동시켜 줄 수 있는 것이 Docker이..
2024.09.20 -
## WSL이란 Windows Subsystem for Linux Windows에서 리눅스 실행환경을 지원하는 Windows의 확장 기능 - Windows에서 바로 리눅스 명령어를 실행할 수 있어서, Windows와 리눅스를 함께 사용하는 개발자들에게 편리 기존에 가상머신(VM)을 사용할 경우 오버헤드 문제가 있었는데 그것을 해결해줌 ## 왜 Airflow를 하는데 WSL이 필요하지? Airflow는 Windows에 직접 설치 불가 Windows에서 리눅스 작업환경을 만들기 위해서 WSL 설치가 필수이다. ## WSL 설치 방법 PowerShell에서 명령어로 설치하기 PowerShell을 우클릭 관리자 권한으로 실행 > wsl --install 다시 Poweshell 열고 > wsl -l -v..
[AirFlow 공부하기] [1.개발환경구성]1. WSL 설치 및 간단한 리눅스 명령어 정리## WSL이란 Windows Subsystem for Linux Windows에서 리눅스 실행환경을 지원하는 Windows의 확장 기능 - Windows에서 바로 리눅스 명령어를 실행할 수 있어서, Windows와 리눅스를 함께 사용하는 개발자들에게 편리 기존에 가상머신(VM)을 사용할 경우 오버헤드 문제가 있었는데 그것을 해결해줌 ## 왜 Airflow를 하는데 WSL이 필요하지? Airflow는 Windows에 직접 설치 불가 Windows에서 리눅스 작업환경을 만들기 위해서 WSL 설치가 필수이다. ## WSL 설치 방법 PowerShell에서 명령어로 설치하기 PowerShell을 우클릭 관리자 권한으로 실행 > wsl --install 다시 Poweshell 열고 > wsl -l -v..
2024.09.20 -
pandasai 튜토리얼 2목표LLM을 불러오는 다양한 방법을 이용해서 LLM을 불러오고 LLM에게 pandas의 dataframe을 분석시켜보자.SmartDatalake 사용하기Agent 사용하기튜토리얼 1에서 LLM을 불러오고 Pandasai의 SmartDataframe을 사용해보았습니다.이번에는 SmartDatalake와 Agent를 사용해봅니다. OpenAI API키 발급 링크Setting (톱니바퀴 모양) - Billing 에서 적어도 5 달러 이상 결제하고 Limits에서 사용 한도 정하고Your profile에서 User API Keys에 들어가서 Create new secret key 버튼 누르기key 발급 받고 .env 파일에서 openai api key를 넣어줍니다.import os f..
[Pandasai] Pandasai 튜토리얼 2pandasai 튜토리얼 2목표LLM을 불러오는 다양한 방법을 이용해서 LLM을 불러오고 LLM에게 pandas의 dataframe을 분석시켜보자.SmartDatalake 사용하기Agent 사용하기튜토리얼 1에서 LLM을 불러오고 Pandasai의 SmartDataframe을 사용해보았습니다.이번에는 SmartDatalake와 Agent를 사용해봅니다. OpenAI API키 발급 링크Setting (톱니바퀴 모양) - Billing 에서 적어도 5 달러 이상 결제하고 Limits에서 사용 한도 정하고Your profile에서 User API Keys에 들어가서 Create new secret key 버튼 누르기key 발급 받고 .env 파일에서 openai api key를 넣어줍니다.import os f..
2024.09.18 -
https://github.com/khw11044/Dashboard_Streamlit GitHub - khw11044/Dashboard_StreamlitContribute to khw11044/Dashboard_Streamlit development by creating an account on GitHub.github.com 데이터 분석 시각화 토이프로젝트를 수행해 보았다. streamlit으로 해보았는데 어떤 데이터를 넣어도 위와 같이 나오는 것이 아니라 데이터별 분석 후 시각화를 해야한다. 데이터 분석 AI Agent를 개발해서 어떤 데이터를 넣든 알아서 데이터 분석 및 시각화를 하면 좋을 것 같다. 그래서 알아보니, PandasAI, LIDA, CrewAI, LangGraph로 데이터 분석 AI..
[Pandasai] Pandasai 튜토리얼 1https://github.com/khw11044/Dashboard_Streamlit GitHub - khw11044/Dashboard_StreamlitContribute to khw11044/Dashboard_Streamlit development by creating an account on GitHub.github.com 데이터 분석 시각화 토이프로젝트를 수행해 보았다. streamlit으로 해보았는데 어떤 데이터를 넣어도 위와 같이 나오는 것이 아니라 데이터별 분석 후 시각화를 해야한다. 데이터 분석 AI Agent를 개발해서 어떤 데이터를 넣든 알아서 데이터 분석 및 시각화를 하면 좋을 것 같다. 그래서 알아보니, PandasAI, LIDA, CrewAI, LangGraph로 데이터 분석 AI..
2024.09.18 -
import os from dotenv import load_dotenv# API KEY 정보로드load_dotenv()import pandas as pdfrom pandasai import SmartDataframeprint(os.environ['OPENAI_API_KEY'])from pandasai.llm import OpenAIllm = OpenAI(api_token = os.environ['OPENAI_API_KEY'])sales_by_country = pd.DataFrame({ "country": ["United States", "United Kingdom", "France", "Germany", "Italy", "Spain", "Canada", "Australia", "Japan", "C..
openai.RateLimitError: Error code: 429import os from dotenv import load_dotenv# API KEY 정보로드load_dotenv()import pandas as pdfrom pandasai import SmartDataframeprint(os.environ['OPENAI_API_KEY'])from pandasai.llm import OpenAIllm = OpenAI(api_token = os.environ['OPENAI_API_KEY'])sales_by_country = pd.DataFrame({ "country": ["United States", "United Kingdom", "France", "Germany", "Italy", "Spain", "Canada", "Australia", "Japan", "C..
2024.09.18 -
문제집 추천, 이 문제집에 나온 유형들만 공부해도 코딩테스트는 거뜬: https://www.acmicpc.net/workbook/by/BaaaaaaaaaaarkingDog https://www.acmicpc.net/problem/12852 유사한 문제, 이전 버전 문제: https://hyundoil.tistory.com/78 문제정수 X에 사용할 수 있는 연산은 다음과 같이 세 가지 이다.X가 3으로 나누어 떨어지면, 3으로 나눈다.X가 2로 나누어 떨어지면, 2로 나눈다.1을 뺀다.정수 N이 주어졌을 때, 위와 같은 연산 세 개를 적절히 사용해서 1을 만들려고 한다. 연산을 사용하는 횟수의 최솟값을 출력하시오.입력첫째 줄에 1보다 크거나 같고, 106보다 작거나 같은 자연수 N이 주어진다.출력첫째 ..
[백준][파이썬][DP] 12852번: 1로 만들기 2문제집 추천, 이 문제집에 나온 유형들만 공부해도 코딩테스트는 거뜬: https://www.acmicpc.net/workbook/by/BaaaaaaaaaaarkingDog https://www.acmicpc.net/problem/12852 유사한 문제, 이전 버전 문제: https://hyundoil.tistory.com/78 문제정수 X에 사용할 수 있는 연산은 다음과 같이 세 가지 이다.X가 3으로 나누어 떨어지면, 3으로 나눈다.X가 2로 나누어 떨어지면, 2로 나눈다.1을 뺀다.정수 N이 주어졌을 때, 위와 같은 연산 세 개를 적절히 사용해서 1을 만들려고 한다. 연산을 사용하는 횟수의 최솟값을 출력하시오.입력첫째 줄에 1보다 크거나 같고, 106보다 작거나 같은 자연수 N이 주어진다.출력첫째 ..
2024.09.18