https://arxiv.org/pdf/2504.05084https://www.youtube.com/watch?v=19YtpWtUjN0내가 읽고 요약 평가강화학습이나 LLM을 이용한 기존 방법들의 문제점강화학습이나 LLM을 이용하면 의도한대로 동작하지 않거나 자율성이 너무 부여될 수 있고 위험함prompt 설계자가 지정한 미리 결정된 output format에 의존하는 경우가 많음motion planning과 같은 중요한 작업의 신뢰성을 저해할 수 있음복잡성 증가는 직접적인 grounding 접근 방식에서 훈련 및 추론 모두에 어려움을 야기함인간과 유사한 성능을 달성하기 위해서는 Diffusion Policy (생성형 모델)를 로봇 운영자의 사용 기록을 훈련 데이터셋으로 하여 학습시키자.GPT 기반 da..

Speech-to-Trajectory: Learning Human-Like Verbal Guidance for Robot Motion

https://arxiv.org/pdf/2504.05084https://www.youtube.com/watch?v=19YtpWtUjN0내가 읽고 요약 평가강화학습이나 LLM을 이용한 기존 방법들의 문제점강화학습이나 LLM을 이용하면 의도한대로 동작하지 않거나 자율성이 너무 부여될 수 있고 위험함prompt 설계자가 지정한 미리 결정된 output format에 의존하는 경우가 많음motion planning과 같은 중요한 작업의 신뢰성을 저해할 수 있음복잡성 증가는 직접적인 grounding 접근 방식에서 훈련 및 추론 모두에 어려움을 야기함인간과 유사한 성능을 달성하기 위해서는 Diffusion Policy (생성형 모델)를 로봇 운영자의 사용 기록을 훈련 데이터셋으로 하여 학습시키자.GPT 기반 da..

2025.05.09

https://arxiv.org/pdf/2504.02724 https://arxiv.org/pdf/2501.05204https://www.youtube.com/watch?v=4U4etupwzhQ읽은 후 나의 평가 로봇 움직임, 강화학습이 답은 아니다 -> 강화학습보다는 생성모델HRI하는 로봇에 적용할 모델에 대해 지도학습이 나을 수 있다.정교한 움직임을 요구하는 로봇이 아니라면 (반려로봇)이라면 로봇 운영자가 주어진 HRI 시나리오에 대해 자신이 생각하는 게임패드 조종을 기록하고 이를 지도학습 데이터셋으로 구축하여 생성 모델을 학습시키자 Diffusion Policy 논문을 반드시 읽고 코드를 익혀야겠다. Abstract로봇은 운영자의 경험과 사회적 직관에 의존하여 인간과 표현력 있는 상호작용을 수행할 ..

https://arxiv.org/pdf/2403.11552 논문리뷰  Abstract 기존 Task and Motion Planning (TAMP) 접근법- symbolic task planning(기호적 작업 계획)과 continuous motion generation(연속적인 동작 생성)를 수동적으로 연결 - 이러한 도메인 특화적(domain-specific)이고 노동 집약적인 모듈 새롭게 등장하는 작업을 처리하는 데 한계 이러한 문제를 해결하기 위해 LLM³을 제안- Large Language Model (LLM)을 기반으로 한 새로운 TAMP 프레임워크- 도메인 독립적인(domain-independent) 인터페이스가 특징 특히, 사전 학습된 LLM의 강력한 추론 및 계획 능력을 활용- symbo..

SNN(Spiking Neural Network)에서 역전파(Backpropagation)가 어려운 이유는 스파이크 신호가 불연속적이고 비미분적이기 때문 기존 인공신경망(ANN)에서는 연속적인 실수 값이 사용되므로, 역전파 알고리즘이 기울기 정보를 쉽게 계산하고 업데이트할 수 있었음  반면, SNN에서는 뉴런이 특정 임계값을 넘을 때만 **스파이크(0 또는 1)**를 발생시키므로, 이 과정에서 미분 가능한 정보가 부족하게 됨  이 때문에 SNN에서 역전파를 사용하는 것이 어려워, 초기에는 주로 얕은 레이어를 쌓거나 간단한 구조가 주로 연구되었음  최근 연구들은 몇 가지 핵심 기술을 통해 SNN에서 깊은 레이어를 사용하거나 Transformer와 같은 복잡한 구조를 적용하는 것이 가능해짐   1. Surr..

https://openaccess.thecvf.com/content/CVPR2024/papers/Shi_SpikingResformer_Bridging_ResNet_and_Vision_Transformer_in_Spiking_Neural_Networks_CVPR_2024_paper.pdf  https://github.com/xyshi2000/SpikingResformer GitHub - xyshi2000/SpikingResformer: Codes of the paper: SpikingResformer: Bridging ResNet and Vision Transformer in Spiking NeuCodes of the paper: SpikingResformer: Bridging ResNet and Visi..

https://openreview.net/pdf?id=frE4fUwz_hICLR 20231저자 : Zhaokun ZhouPeking University, Peng Cheng Laboratory, Sea AI Lab, Shenzhen EEGSmart Technology Co., Ltd  ABSTRACT - 우리는 생물학적으로 그럴듯한 구조 2개, Spiking Neural Network (SNN)와 self-attention mechanism을 고려한다. - SNN은 deep learning을 위한 에너지 효율적이고 event-driven paradigm을 제공하고, Self-attention mechanism은 feature dependencies를 포착할 수 있는 능력을 가지고 있기 때문에 Transf..