Ollema 이용해서 자기 노트북에 LLM 모델 사용하기

 

 

1. Ollema 설치하기

https://ollama.com/

Ollama

 

설치가 끝나면 사용가능한 Models가 무엇이 있는지 확인해 보자

 

 

노트북에서도 잘 돌아갈 수 있게 qwen2를 사용해보자. 클릭

1.5 b를 선택하고 복사

 

 

그냥 터미널 열고 복사한 명령어 치면 모델을 다운받고

모델과 대화할 수 있음

 

2. Open WebUI를 사용하여 localhost에서 사용하기

 

2.1. Docker 다운로드

먼저 Docker를 다운받자

 

https://www.docker.com/products/docker-desktop/

 

 

 

윈도우 맥 리눅스등 자기 os에 맞게 설치

설치가 끝나면 close and restart 버튼이 뜨고 누르면 컴퓨터가 꺼지니 미리 저장할거는 저장해 놓자

 

로그인 하기

 

 

이 창이 뜨면 성공

 

 

여러 WebUI가 있다. 

https://github.com/open-webui/open-webui?tab=readme-ov-file#installation-with-default-configuration

GitHub - open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI)

https://github.com/ivanfioravanti/chatbot-ollama

GitHub - ivanfioravanti/chatbot-ollama: Chatbot Ollama is an open source chat UI for Ollama.

 

https://lmstudio.ai/

👾 LM Studio - Discover and run local LLMs

 

 

첫번째 링크인 Open-webui 깃헙에 들어가면 how to install을 찾아라 

 

 

해당 스크립트를 복사하고 터미널에 붙여넣기

 

 

완료

 

http://localhost:3000 에 접속, 계정 만들고 모델 선택 

 

사용해 보는데 성능이 매우 안좋다.

업스테이지의 Solar도 써봤는데 완전 구리다.

 

라마3 8b~10b도 노트북에서 충분히 돌아가는거 같다. 성능도 좋다.

 

4. LM studio 사용하기

장점: 허깅페이스에 접속하여 올라온 모델들을 사용할 수 있으며, 내 컴퓨터 사향에 따라 모델을 실행할 수 있는지 없는지 미리 알려준다. 경량화 모델도 쉽게 접근 가능해서 좋다.

 

https://lmstudio.ai/

👾 LM Studio - Discover and run local LLMs

 

설치 

 

 

 

검색 아이콘 누르고 llama-ko 치면 한국어 llm이 나오고 오른쪽에 Available files가 뜬다.

https://www.youtube.com/watch?v=ILqsZI0PnyE