https://arxiv.org/pdf/2403.11552 논문리뷰  Abstract 기존 Task and Motion Planning (TAMP) 접근법- symbolic task planning(기호적 작업 계획)과 continuous motion generation(연속적인 동작 생성)를 수동적으로 연결 - 이러한 도메인 특화적(domain-specific)이고 노동 집약적인 모듈 새롭게 등장하는 작업을 처리하는 데 한계 이러한 문제를 해결하기 위해 LLM³을 제안- Large Language Model (LLM)을 기반으로 한 새로운 TAMP 프레임워크- 도메인 독립적인(domain-independent) 인터페이스가 특징 특히, 사전 학습된 LLM의 강력한 추론 및 계획 능력을 활용- symbo..

SNN(Spiking Neural Network)에서 역전파(Backpropagation)가 어려운 이유는 스파이크 신호가 불연속적이고 비미분적이기 때문 기존 인공신경망(ANN)에서는 연속적인 실수 값이 사용되므로, 역전파 알고리즘이 기울기 정보를 쉽게 계산하고 업데이트할 수 있었음  반면, SNN에서는 뉴런이 특정 임계값을 넘을 때만 **스파이크(0 또는 1)**를 발생시키므로, 이 과정에서 미분 가능한 정보가 부족하게 됨  이 때문에 SNN에서 역전파를 사용하는 것이 어려워, 초기에는 주로 얕은 레이어를 쌓거나 간단한 구조가 주로 연구되었음  최근 연구들은 몇 가지 핵심 기술을 통해 SNN에서 깊은 레이어를 사용하거나 Transformer와 같은 복잡한 구조를 적용하는 것이 가능해짐   1. Surr..

https://openaccess.thecvf.com/content/CVPR2024/papers/Shi_SpikingResformer_Bridging_ResNet_and_Vision_Transformer_in_Spiking_Neural_Networks_CVPR_2024_paper.pdf  https://github.com/xyshi2000/SpikingResformer GitHub - xyshi2000/SpikingResformer: Codes of the paper: SpikingResformer: Bridging ResNet and Vision Transformer in Spiking NeuCodes of the paper: SpikingResformer: Bridging ResNet and Visi..

https://openreview.net/pdf?id=frE4fUwz_hICLR 20231저자 : Zhaokun ZhouPeking University, Peng Cheng Laboratory, Sea AI Lab, Shenzhen EEGSmart Technology Co., Ltd  ABSTRACT - 우리는 생물학적으로 그럴듯한 구조 2개, Spiking Neural Network (SNN)와 self-attention mechanism을 고려한다. - SNN은 deep learning을 위한 에너지 효율적이고 event-driven paradigm을 제공하고, Self-attention mechanism은 feature dependencies를 포착할 수 있는 능력을 가지고 있기 때문에 Transf..

https://arxiv.org/pdf/2103.16440 AbstractSelf-supervised learning에서 Data transformations 은 중요함다양한 view로 이미지를 변환하여 학습하면, 신경망이 downstream task에 적합한 feature representations을 학습할 수 있음 (ex. Anomaly Detection)어떤 transformations을 사용할 지 결정하는게 확실하지 않기에, 본 연구에서는 end-to-end로 Anomaly Detection을 위한 learnable transformations 과정을 제시함각기 다른 transformations끼리는 구별되게 하며, transformed data는 untransformed data를 닮도록 se..

Anomaly Detection은 말 그대로 데이터가 들어왔을 때 정상 데이터들의 특성을 통해 비정상 데이터를 탐지하는 것을 의미합니다. Anomaly Detection은 라벨 유무에 따라 크게 아래와 같이 나눌 수 있습니다.​1) Supervised anomaly detection- 데이터셋에 정상 / 비정상 라벨이 있는 경우2) Semi-supervised anomaly detection- 라벨이 안된 다량의 데이터와 소량의 정상 / 비정상 라벨이 있는 경우- 정상 데이터만으로 학습3) unspervised anomaly detection- 라벨이 아예 없는 경우​이번에 다루는 논문은 Deep SVDD 방법론을 제안하며 정상 데이터만을 학습하여 anomaly detection을 하는 semi-supe..