git clone 한 openvla 폴더에서  vla-scripts/deploy.py 파일에서 아래와 같이 코드를 바꿔준다. """deploy.pyProvide a lightweight server/client implementation for deploying OpenVLA models (through the HF AutoClass API) over aREST API. This script implements *just* the server, with specific dependencies and instructions below.Note that for the *client*, usage just requires numpy/json-numpy, and requests; example usage bel..

우선 OpenVLA를 하기위해 OpenVLA 깃헙과 embodied-agent 깃헙, 그리고 SimplerEnv를 알아볼 필요가 있다.  https://github.com/openvla/openvla GitHub - openvla/openvla: OpenVLA: An open-source vision-language-action model for robotic manipulation.OpenVLA: An open-source vision-language-action model for robotic manipulation. - openvla/openvlagithub.com  https://github.com/mbodiai/embodied-agents?tab=readme-ov-file GitHub - mbo..

https://www.nvidia.com/ko-kr/omniverse/  개발 시작하기 버튼 누르기  여기서 헷갈리는데 아래 Omniverse Launcher를 다운받아야한다. 아래 Linux를 클릭하면 AppImage 파일이 다운된다. 아래 링크는 launcher 설치 가이드 문서이다. https://docs.omniverse.nvidia.com/launcher/latest/it-managed-launcher/install_guide_linux.html Installation on Linux — Omniverse LauncherTo install the IT Managed Launcher on Linux (Ubuntu 20.04 and 22.04), follow these steps: Run the I..

ROS 공식문서에서 우분투 설치 섹션을 살펴본다.  https://docs.ros.org/en/humble/Installation/Ubuntu-Install-Debs.html Ubuntu (deb packages) — ROS 2 Documentation: Humble documentationYou're reading the documentation for an older, but still supported, version of ROS 2. For information on the latest version, please have a look at Jazzy. Ubuntu (deb packages) Table of Contents Deb packages for ROS 2 Humble Hawksbill a..

이번 포스팅에서는 PEFT 방법 중 가장 핵심이 되는 QLoRA에 대해 실제코드를 살펴보고 학습 결과를 확인해 보겠습니다.  1부 되짚어 보기지난 포스팅에서는 거대 언어 모델(LLM)을 조정하는 세 가지 방법에 대해 살펴보았습니다.https://hyundoil.tistory.com/400 PEFT (LoRA와 QLoRA)에 대해서 알아보자 1부LLM을 그냥 쓰는 것에 대해 LLM은 일반적인 지식에는 강하지만, 특정 도메인에 대한 깊이 있는 전문성을 가지기는 어렵다는 한계를 보여준다.그러므로 어떤 도메인이나 작업에 특화된 모델을 만hyundoil.tistory.com  In-context Learning은 프롬프트 입력 시 연관된 예시를 함께 제공하여 모델의 가중치를 업데이트하지 않고 프롬프트 엔지니어링..

LLM을 그냥 쓰는 것에 대해 LLM은 일반적인 지식에는 강하지만, 특정 도메인에 대한 깊이 있는 전문성을 가지기는 어렵다는 한계를 보여준다.그러므로 어떤 도메인이나 작업에 특화된 모델을 만들기 위해서는 기존의 사전 학습된 모델을 적절히 '조정'하여 사용해야 한다.  모델 조정의 대표적인 방법In-context Learning: 프롬프트 입력 시 관련 예시를 함께 제공. 이 방법에는 모델의 파라미터(가중치, 편향)는 업데이트되지 않음Full Fine-tuning: 모델의 모든 파라미터를 재학습하여 업데이트 함장점 적은 데이터로도 효과적인 학습 가능 정확도 향상단점 높은 계산 비용 엄청난 GPU 메모리 요구량 급격한 망각 현상 (이전에 학습하였던 정보를 급격하게 잊어버리는 현상)PEFT (P..