[단비 AI 만들기] 환경 세팅 — Python, VSCode, Ollama 설치

1. Python 설치

Python을 새로 설치했다. 기존에는 아나콘다 등을 통해 설치했었는데, 이번에는 일단 Claude가 시키는 대로 따라가 보기로 했다.

Claude는 3.12 버전을 설치하라고 했다. 현재 최신 버전이 3.15라고 알려줬더니 처음에는 3.13까지만 알고 있었던 것 같았다. 자기가 잘못 알고 있었다고 하더니, 그래도 안정성 면에서 3.12를 쓰는 게 낫다고 했다. 그래서 그냥 3.12로 설치했다.

VSCode는 전날 미리 설치해 뒀다.

 

2. Ollama 설치

다음은 Ollama 설치였다. Ollama가 정확히 뭔지 잘 몰라서 Gemini에게 따로 물어봤다. 로컬 환경에서 대규모 언어 모델을 쉽게 설치하고 실행할 수 있도록 돕는 오픈소스 프레임워크라고 했다. 과거에는 LLM을 로컬에서 돌리려면 복잡한 설정이 필요했는데, Ollama는 이를 자동화해서 명령 한 줄로 모델을 내려받고 실행할 수 있게 해준다고 한다.

다운로드 용량이 1.8GB라 시간이 좀 걸렸다. 설치 후 VSCode에서 터미널을 열고 버전을 확인해봤다.

ollama --version → ollama version is 0.21.0

 

3. Mistral 모델 및 임베딩 모델 다운로드

Ollama 설치가 끝나자 모델을 받으라고 했다. VSCode 터미널에서 아래 명령어를 입력했다.

ollama pull mistral

Mistral은 오픈소스 AI 모델로 Ollama와 잘 맞는다고 한다. 용량이 4.4GB라 시간이 꽤 걸렸다.

이어서 임베딩 모델도 받으라고 했다. 임베딩 모델은 문서를 벡터로 변환할 때 쓰는 모델이라고 한다. 아래 명령어로 받았는데 이건 용량이 작아서 금방 끝났다.

ollama pull nomic-embed-text

 

4. Python 패키지 설치

모델 다운로드가 끝나자 이번에는 Python 패키지를 설치하라고 했다. 아래 명령어 하나로 필요한 것들이 한꺼번에 설치된다고 한다.

pip install streamlit chromadb llama-index llama-index-llms-ollama llama-index-embeddings-ollama

Streamlit은 UI 도구, ChromaDB는 벡터DB, LlamaIndex는 RAG 프레임워크다. 각각이 뭔지는 앞선 포스팅에서 정리했다.

 

5. 프로젝트 폴더 생성

마지막으로 작업할 폴더 구조를 만들었다. 터미널에서 아래 순서대로 입력했다.

mkdir investment-chatbot

cd investment-chatbot

mkdir documents

investment-chatbot 폴더 안에 documents 폴더를 만드는 것으로, 이 documents 폴더에 나중에 투자 관련 문서들을 넣을 예정이다.

 

6. 오늘의 진행 현황

Python 3.12, VSCode, Ollama 설치 및 Mistral 모델과 임베딩 모델 다운로드, Python 패키지 설치, 프로젝트 폴더 생성까지 완료했다. 다음 단계는 실제 문서를 넣고 코드를 작성하는 것이다.

 

 

설치하는 것만으로도 시간소요가 좀 되는 것 같다. 다음 포스팅에서는 실제 내가 학습시키고자 하는 내용을 만들고자 한다.

아마 시간이 많이 걸릴 것 같다.