ROS 공식문서에서 우분투 설치 섹션을 살펴본다.  https://docs.ros.org/en/humble/Installation/Ubuntu-Install-Debs.html Ubuntu (deb packages) — ROS 2 Documentation: Humble documentationYou're reading the documentation for an older, but still supported, version of ROS 2. For information on the latest version, please have a look at Jazzy. Ubuntu (deb packages) Table of Contents Deb packages for ROS 2 Humble Hawksbill a..

이번 포스팅에서는 PEFT 방법 중 가장 핵심이 되는 QLoRA에 대해 실제코드를 살펴보고 학습 결과를 확인해 보겠습니다.  1부 되짚어 보기지난 포스팅에서는 거대 언어 모델(LLM)을 조정하는 세 가지 방법에 대해 살펴보았습니다.https://hyundoil.tistory.com/400 PEFT (LoRA와 QLoRA)에 대해서 알아보자 1부LLM을 그냥 쓰는 것에 대해 LLM은 일반적인 지식에는 강하지만, 특정 도메인에 대한 깊이 있는 전문성을 가지기는 어렵다는 한계를 보여준다.그러므로 어떤 도메인이나 작업에 특화된 모델을 만hyundoil.tistory.com  In-context Learning은 프롬프트 입력 시 연관된 예시를 함께 제공하여 모델의 가중치를 업데이트하지 않고 프롬프트 엔지니어링..

LLM을 그냥 쓰는 것에 대해 LLM은 일반적인 지식에는 강하지만, 특정 도메인에 대한 깊이 있는 전문성을 가지기는 어렵다는 한계를 보여준다.그러므로 어떤 도메인이나 작업에 특화된 모델을 만들기 위해서는 기존의 사전 학습된 모델을 적절히 '조정'하여 사용해야 한다.  모델 조정의 대표적인 방법In-context Learning: 프롬프트 입력 시 관련 예시를 함께 제공. 이 방법에는 모델의 파라미터(가중치, 편향)는 업데이트되지 않음Full Fine-tuning: 모델의 모든 파라미터를 재학습하여 업데이트 함장점 적은 데이터로도 효과적인 학습 가능 정확도 향상단점 높은 계산 비용 엄청난 GPU 메모리 요구량 급격한 망각 현상 (이전에 학습하였던 정보를 급격하게 잊어버리는 현상)PEFT (P..

FastAPI는 http://127.0.0.1:8000   install nginx sudo apt-get updatesudo apt-get install nginxsudo systemctl start nginx /etc/nginx/sites-available 내 file에 쓰기 권한이 없으므로 chmod를 쓰기 권한을 추가해준다.sudo chmod 775 /etc/nginx/sites-available  nginx config 추가: cd /etc/nginx/sites-available && vim .conf 예) vim conect.confserver { listen 80; server_name ; location / { include proxy_params; pro..

이전 포스팅에서 DB 접속 준비를 하고, ToDo 앱을 위한 DB 모델을 정의하였다.이번 포스팅에서는 db의 읽기/쓰기 처리를 구현하고, 이를 api에 연결하여 동작을 확인해본다. 01 C: CreateTask 리소스를 구성하는 CRUD에서 첫번째 C(Create)에 대해서 설명한다. 처음에는 데이터가 존재하지 않으므로 POST /tasks부터 작성한다. CRUDs라우터는 MVC(Model View Controller)의 컨트롤러에 해당한다. 컨트롤러는 모델이나 뷰를 연결하기 때문에 비대해지기 쉽다. 이를 피하기 위해 DB의 CRUD 조작 처리는 api/cruds.task.py에 작성한다.  api/cruds/task.pyfrom sqlalchemy.orm import Session import api...

이번 포스팅에서는 데이터베이스로 MySQL의 Docker 컨테이너를 설정해, ToDo 앱에서 데이터베이스에 접속하는 방법을 알아본다. 01 MySQL 컨테이너 실행 Docker 컨테이너로 MySQL을 실행해 앱에서 접속해 본다. demo-app과 함께 demo라는 이름의 데이터베이스를 가진 db 서비스를 추가한다. docker-compose.yamlservices: demo-app: build: . volumes: - .dockervenv:/src/.venv - .:/src ports: - 8000:8000 # 호스트 머신의 8000번 포트를 docker의 8000번 포트에 연결 environment: ..