모바일로봇의 카메라를 실시간으로 입력받아서 GPU가 있는 컴퓨터에서 인공지능을 돌리고 그 결과값을 모바일 로봇에게 보내 제어를 하려고 한다.  실시간으로 모바일로봇 카메라를 수신받는 방법이 무엇이 있을까Socket 방식에서 TCP와 UDP 방식이 있을 수 있고  HTTP 방식이 있을 수 있다. 나는 로봇이 보내는 영상을 휴먼 팔로잉할때도 써야하고 Action Recognition 할때도 써야하니깐 쉽게 접근 가능한 HTTP 방식의 Flask를 사용하기로 하였다.  로봇 / 보내는 쪽 (송신) 코드 더보기 import cv2from flask import Flask, Responseimport time# import requestapp = Flask(__name__)# OpenCV로 웹캠 캡처 객체 생성c..

Human Pose를 다루기 위해서 PoseFormerV2를 추천한다여기에 demo/vis.py에 유용한 함수들이 많다. 2D/3D pose 시각화랑  H36M에 맞춘 Pose format Transformation 코드등이 있다. https://github.com/QitaoZhao/PoseFormerV2 GitHub - QitaoZhao/PoseFormerV2: The project is an official implementation of our paper "PoseFormerV2: Exploring Frequency DomaiThe project is an official implementation of our paper "PoseFormerV2: Exploring Frequency Domain f..

https://github.com/khw11044/SAM2_streaming GitHub - khw11044/SAM2_streamingContribute to khw11044/SAM2_streaming development by creating an account on GitHub.github.com 위 깃헙주소를 그대로 따라하면 sam2를 통해 바운딩 박스를 마우스로 지정하고 segmentation tracking을 진행할 수 있다.  이번에는 바운딩 박스를 마우스로 지정하는게 아니라 yolo object detection을 이용해서 바운딩 박스를 자동으로 지정하고 사람을 segmentation & tacking 하자  먼저 위 깃헙 rep에서 demo가 실행 될 수 있는 최소한의 폴더와 파일 구성만 ..

먼저 모바일 로봇 (또는 모바일 로봇 위에 올라갈 라즈베리파이)의 카메라에서 실시간 영상을 서버에서 받고 처리하기 위해 아래와 같은 과정을 기획해 보았다. 로봇은 다른 복잡한 기능 없이 오직 실시간 영상만 보내면 되니깐 flask를 이용하자아래는 로봇의 코드이다.sender.pyimport cv2from flask import Flask, Responseapp = Flask(__name__)# OpenCV로 웹캠 캡처 객체 생성 (0은 기본 웹캠을 의미)camera = cv2.VideoCapture(0) # 0 2 4 def generate_frames(): """웹캠에서 프레임을 가져와 스트리밍""" while True: success, frame = camera.read..

1. Hugging Face에서 모델 파일 다운로드i. git-lfs 설치Hugging Face에서 큰 파일을 다운로드하려면 git-lfs가 필요합니다. 아래 명령어를 실행해 설치합니다.# Linuxsudo apt-get install git-lfs# macOSbrew install git-lfs ii. 모델 다운로드모델 저장소를 클론하여 모든 파일을 다운로드합니다.git lfs installgit clone https://huggingface.co/minimaxir/imgbeddings   2. 사용 시 확인 사항PyTorch/ONNX Runtime: patch14_v1.onnx 모델은 ONNX Runtime을 필요로 합니다. ONNX Runtime 설치 확인:pip install onnxruntime..

OpenVLA 테스트를 위해 LIBERO 데이터셋을 불러보자. 먼저 OpenVLA 환경설치 후  https://github.com/openvla/openvla GitHub - openvla/openvla: OpenVLA: An open-source vision-language-action model for robotic manipulation.OpenVLA: An open-source vision-language-action model for robotic manipulation. - openvla/openvlagithub.com  https://github.com/openvla/openvla?tab=readme-ov-file#libero-setup GitHub - openvla/openvla: Open..