Project Ollema 이용해서 자기 노트북에 LLM 모델 사용하기 - 1. Ollema 설치하기 https://ollama.com/ Ollama Get up and running with large language models. ollama.com 설치가 끝나면 사용가능한 Models가 무엇이 있는지 확인해 보자 노트북에서도 잘 돌아갈 수 있게 qwen2를 사용해보자. 클릭 1.5 b를 선택하고 복사 그냥 터미널 열고 복사한 명령어 치면 모델을 다운받고 모델과 대화할 수 있음 2. Open WebUI를 사용하여 localhost에서 사용하기 2.1. Docker 다운로드 먼저 Docker를 다운받자 https://www.docker.com/products/docker-desktop/ Docker Desktop: The #1 Containerization Tool for Developers | Docker Docker Desktop is collaborative containerization software for developers. Get started and download Docker Desktop today on Mac, Windows, or Linux. www.docker.com 윈도우 맥 리눅스등 자기 os에 맞게 설치 설치가 끝나면 close and restart 버튼이 뜨고 누르면 컴퓨터가 꺼지니 미리 저장할거는 저장해 놓자 로그인 하기 이 창이 뜨면 성공 여러 WebUI가 있다. https://github.com/open-webui/open-webui?tab=readme-ov-file#installation-with-default-configuration GitHub - open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI) User-friendly WebUI for LLMs (Formerly Ollama WebUI) - open-webui/open-webui github.com https://github.com/ivanfioravanti/chatbot-ollama GitHub - ivanfioravanti/chatbot-ollama: Chatbot Ollama is an open source chat UI for Ollama. Chatbot Ollama is an open source chat UI for Ollama. - ivanfioravanti/chatbot-ollama github.com https://lmstudio.ai/ 👾 LM Studio - Discover and run local LLMs Find, download, and experiment with local LLMs lmstudio.ai 첫번째 링크인 Open-webui 깃헙에 들어가면 how to install을 찾아라 해당 스크립트를 복사하고 터미널에 붙여넣기 완료 http://localhost:3000 에 접속, 계정 만들고 모델 선택 사용해 보는데 성능이 매우 안좋다. 업스테이지의 Solar도 써봤는데 완전 구리다. 라마3 8b~10b도 노트북에서 충분히 돌아가는거 같다. 성능도 좋다. 4. LM studio 사용하기 장점: 허깅페이스에 접속하여 올라온 모델들을 사용할 수 있으며, 내 컴퓨터 사향에 따라 모델을 실행할 수 있는지 없는지 미리 알려준다. 경량화 모델도 쉽게 접근 가능해서 좋다. https://lmstudio.ai/ 👾 LM Studio - Discover and run local LLMs Find, download, and experiment with local LLMs lmstudio.ai 설치 검색 아이콘 누르고 llama-ko 치면 한국어 llm이 나오고 오른쪽에 Available files가 뜬다. https://www.youtube.com/watch?v=ILqsZI0PnyE 공유하기 게시글 관리 . 'Project' 카테고리의 다른 글 [RAG 프로젝트][데이콘] 재정정보 AI 검색 알고리즘 경진대회 (0) 2024.08.15 Redis (0) 2024.08.11 LoGO 해외로고 프로젝트 - RAG 5: RAGAS로 성능 평가하기 (0) 2024.08.06 Chroma DB 폴더 및 파일 구조 (0) 2024.08.01 LoGO 해외로고 프로젝트 - RAG 4. (0) 2024.07.31 Contents 당신이 좋아할만한 콘텐츠 [RAG 프로젝트][데이콘] 재정정보 AI 검색 알고리즘 경진대회 2024.08.15 Redis 2024.08.11 LoGO 해외로고 프로젝트 - RAG 5: RAGAS로 성능 평가하기 2024.08.06 Chroma DB 폴더 및 파일 구조 2024.08.01 댓글 0 + 이전 댓글 더보기