https://arxiv.org/pdf/2103.16440 AbstractSelf-supervised learning에서 Data transformations 은 중요함다양한 view로 이미지를 변환하여 학습하면, 신경망이 downstream task에 적합한 feature representations을 학습할 수 있음 (ex. Anomaly Detection)어떤 transformations을 사용할 지 결정하는게 확실하지 않기에, 본 연구에서는 end-to-end로 Anomaly Detection을 위한 learnable transformations 과정을 제시함각기 다른 transformations끼리는 구별되게 하며, transformed data는 untransformed data를 닮도록 se..

Anomaly Detection은 말 그대로 데이터가 들어왔을 때 정상 데이터들의 특성을 통해 비정상 데이터를 탐지하는 것을 의미합니다. Anomaly Detection은 라벨 유무에 따라 크게 아래와 같이 나눌 수 있습니다.​1) Supervised anomaly detection- 데이터셋에 정상 / 비정상 라벨이 있는 경우2) Semi-supervised anomaly detection- 라벨이 안된 다량의 데이터와 소량의 정상 / 비정상 라벨이 있는 경우- 정상 데이터만으로 학습3) unspervised anomaly detection- 라벨이 아예 없는 경우​이번에 다루는 논문은 Deep SVDD 방법론을 제안하며 정상 데이터만을 학습하여 anomaly detection을 하는 semi-supe..

https://openreview.net/pdf?id=H1lK_lBtvS 요약: 이미지에 대해 geometric transformation을 적용한 anomaly detection 방법인 GEOM에서 tabular data로 확장된 논문으로 geometric transformation을 적용할 수 없는 tabular data에 affine transformation을 적용하여 문제를 해결하였습니다.목적함수로는 - transformation 분류를 위한 cross-entropy loss를 사용하고, - intra-class variation을 줄이고, inter-class variation은 늘리는 center triplet loss를 함께 사용하여 각 클래스의 feature space 영역을 compac..

https://huggingface.co/google/gemma-1.1-2b-it google/gemma-1.1-2b-it · Hugging FaceThis repository is publicly accessible, but you have to accept the conditions to access its files and content. To access Gemma on Hugging Face, you’re required to review and agree to Google’s usage license. To do this, please ensure you’re logged-inhuggingface.co

https://kr.wandb.ai/ Weights & Biases – Developer tools for MLWandB is a central dashboard to keep track of your hyperparameters, system metrics, and predictions so you can compare models live, and share your findings.kr.wandb.ai https://github.com/microsoft/DeepSpeed GitHub - microsoft/DeepSpeed: DeepSpeed is a deep learning optimization library that makes distributed training and inference eaD..

https://velog.io/@dongyoungkim/GPT-fine-tuning-8.-supervised-fine-tuning GPT fine-tuning - 8. supervised fine-tuning여러 매체를 통해 GPT 의 성능이 그 크기에서 유래한다고 알려진것과는 상당해 다른 결과입니다. 1B 이 결코 작은 모델이 아니지만, 국내외적으로 많은 기업들이 거대모델의 기준을 175B 으로 잡고velog.io https://huggingface.co/docs/trl/sft_trainer Supervised Fine-tuning Trainer huggingface.co https://velog.io/@wkshin89/Paper-Review-Training-Compute-Optimal-Large-La..