새소식

인기 검색어

KT AIVLE SCHOOL/코딩 마스터스

SLLM SFT (Small Large Language Model Supervised fine tuning), RAG

  • -

 

https://velog.io/@dongyoungkim/GPT-fine-tuning-8.-supervised-fine-tuning

 

GPT fine-tuning - 8. supervised fine-tuning

여러 매체를 통해 GPT 의 성능이 그 크기에서 유래한다고 알려진것과는 상당해 다른 결과입니다. 1B 이 결코 작은 모델이 아니지만, 국내외적으로 많은 기업들이 거대모델의 기준을 175B 으로 잡고

velog.io

 

https://huggingface.co/docs/trl/sft_trainer

 

Supervised Fine-tuning Trainer

 

huggingface.co

 

https://velog.io/@wkshin89/Paper-Review-Training-Compute-Optimal-Large-Language-Models-NeurIPS-2022

 

[Paper Review] Training Compute-Optimal Large Language Models (NeurIPS 2022)

Transformer 구조의 LM 에서 주어진 compute budget (FLOPs 로 표현) 에 대한 optimal model size 와 tokens 간의 관계에 대한 실험 연구

velog.io

 

https://heegyukim.medium.com/large-language-model%EC%9D%98-scaling-law%EC%99%80-emergent-ability-6e9d90813a87

 

Large Language Model의 scaling law와 emergent ability

거대한 언어모델(Large Language Model, LLM)을 학습할 때, 우리는 한정적인 리소스로 최적의 모델을 학습해야 한다. 한 번 학습에 큰 비용이 들기 때문에 여러번 실험하기 어렵다. 공개된 문헌을 바탕

heegyukim.medium.com

 

RAG(Retrieval-Augmented Generation)

 

https://jeonsworld.github.io/NLP/rag/

 

[논문리뷰] Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks Patrick Lewis, Ethan Perez, Aleksandara Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, Douwe Kiela htt

jeonsworld.github.io

 

Contents
댓글 0

포스팅 주소를 복사했습니다

이 글이 도움이 되었다면 공감 부탁드립니다.

SHARE

DARK

MENU

티스토리툴바