SNN(Spiking Neural Network)에서 역전파(Backpropagation)가 어려운 이유는 스파이크 신호가 불연속적이고 비미분적이기 때문 기존 인공신경망(ANN)에서는 연속적인 실수 값이 사용되므로, 역전파 알고리즘이 기울기 정보를 쉽게 계산하고 업데이트할 수 있었음  반면, SNN에서는 뉴런이 특정 임계값을 넘을 때만 **스파이크(0 또는 1)**를 발생시키므로, 이 과정에서 미분 가능한 정보가 부족하게 됨  이 때문에 SNN에서 역전파를 사용하는 것이 어려워, 초기에는 주로 얕은 레이어를 쌓거나 간단한 구조가 주로 연구되었음  최근 연구들은 몇 가지 핵심 기술을 통해 SNN에서 깊은 레이어를 사용하거나 Transformer와 같은 복잡한 구조를 적용하는 것이 가능해짐   1. Surr..

https://openaccess.thecvf.com/content/CVPR2024/papers/Shi_SpikingResformer_Bridging_ResNet_and_Vision_Transformer_in_Spiking_Neural_Networks_CVPR_2024_paper.pdf  https://github.com/xyshi2000/SpikingResformer GitHub - xyshi2000/SpikingResformer: Codes of the paper: SpikingResformer: Bridging ResNet and Vision Transformer in Spiking NeuCodes of the paper: SpikingResformer: Bridging ResNet and Visi..

https://openreview.net/pdf?id=frE4fUwz_hICLR 20231저자 : Zhaokun ZhouPeking University, Peng Cheng Laboratory, Sea AI Lab, Shenzhen EEGSmart Technology Co., Ltd  ABSTRACT - 우리는 생물학적으로 그럴듯한 구조 2개, Spiking Neural Network (SNN)와 self-attention mechanism을 고려한다. - SNN은 deep learning을 위한 에너지 효율적이고 event-driven paradigm을 제공하고, Self-attention mechanism은 feature dependencies를 포착할 수 있는 능력을 가지고 있기 때문에 Transf..

https://arxiv.org/pdf/2103.16440 AbstractSelf-supervised learning에서 Data transformations 은 중요함다양한 view로 이미지를 변환하여 학습하면, 신경망이 downstream task에 적합한 feature representations을 학습할 수 있음 (ex. Anomaly Detection)어떤 transformations을 사용할 지 결정하는게 확실하지 않기에, 본 연구에서는 end-to-end로 Anomaly Detection을 위한 learnable transformations 과정을 제시함각기 다른 transformations끼리는 구별되게 하며, transformed data는 untransformed data를 닮도록 se..

Anomaly Detection은 말 그대로 데이터가 들어왔을 때 정상 데이터들의 특성을 통해 비정상 데이터를 탐지하는 것을 의미합니다. Anomaly Detection은 라벨 유무에 따라 크게 아래와 같이 나눌 수 있습니다.​1) Supervised anomaly detection- 데이터셋에 정상 / 비정상 라벨이 있는 경우2) Semi-supervised anomaly detection- 라벨이 안된 다량의 데이터와 소량의 정상 / 비정상 라벨이 있는 경우- 정상 데이터만으로 학습3) unspervised anomaly detection- 라벨이 아예 없는 경우​이번에 다루는 논문은 Deep SVDD 방법론을 제안하며 정상 데이터만을 학습하여 anomaly detection을 하는 semi-supe..

https://openreview.net/pdf?id=H1lK_lBtvS 요약: 이미지에 대해 geometric transformation을 적용한 anomaly detection 방법인 GEOM에서 tabular data로 확장된 논문으로 geometric transformation을 적용할 수 없는 tabular data에 affine transformation을 적용하여 문제를 해결하였습니다.목적함수로는 - transformation 분류를 위한 cross-entropy loss를 사용하고, - intra-class variation을 줄이고, inter-class variation은 늘리는 center triplet loss를 함께 사용하여 각 클래스의 feature space 영역을 compac..