[단비 AI 만들기] 첫 시작을 위한 준비(투자 AI 만들기)

평소 AI를 활용하는 일이 많다. 쓰면 쓸수록 나에게 맞춤화된 AI가 있었으면 좋겠다는 생각이 반복됐다. 내가 원하는 방향으로 학습시키고 싶은데, 현재의 생성형 AI로는 분명한 한계가 있다.

그래서 직접 만들어보기로 했다. 투자와 정부지원사업에 특화된 AI다. 방법을 찾기 위해 클로드와 챗GPT 둘 다에 물어봤는데 공통적으로 가장 강하게 추천한 방식이 RAG였다.

사실 AI를 직접 만들어본 경험은 전혀 없다. 뭘 어떻게 해야 하는지도 처음엔 막막했다. 그래도 AI한테 하나하나 물어가면서 더듬더듬 시작해보기로 했다. 잘 되면 나에게도 좋고, 이 기록이 비슷한 고민을 가진 사람들에게도 참고가 되면 좋겠다.

 

---

1. 어떤 방식으로 만드는가 — RAG 구조

RAG(Retrieval-Augmented Generation)라는 방식으로  쉽게 말하면 내가 작성한 문서들을 AI가 검색할 수 있는 데이터베이스에 저장해두고, 질문이 들어올 때마다 관련 내용을 찾아서 답변에 반영하는 구조라고 한다.

내 문서 → 벡터DB 저장 → 질문 시 관련 내용 검색 → AI에 주입 → 답변 생성

 

2. 무료로 시작하기 — 기술 스택 선택

처음 경험 단계에서는 무료로 구성하고자 한다.

LLM은 클라우드 API 대신 내 컴퓨터에서 직접 실행하는 Ollama라는 걸 쓰기로 했다. 벡터DB는 처음에 Supabase를 추천받았는데, 무료로 로컬에서 돌아가는 ChromaDB로 바꿨다. RAG 프레임워크는 LlamaIndex, UI는 Streamlit이라는 도구를 쓰기로 했다. 일단 초기 비용은 0원이다. 나중에 잘 되면 그때 클라우드로 넘어갈 예정이다.

 

3. PC 사양 확인 — 로컬이므로 사양이 중요해짐

로컬에서 AI 모델을 돌리려면 PC 램이 중요해 진다. 클라우드를 쓰면 상관없지만 내 컴퓨터에서 모델을 직접 올려야 하니 메모리가 충분해야 한다

다행히 PC 램이 32GB여서 충분한 사양이다. 8GB라면 모델 품질이 많이 낮아질 수 있다고 한다.

 

4. 세션 한도 문제와 해결 방법

Claude 무료버전으로 작업하다 보니 세션 한도 문제가 바로 생겼다. 이야기가 길어지면 새 세션을 열어야 하는데 그러면 앞에서 나눈 내용이 다 날아간다.

이것도 Claude한테 어떻게 하면 좋냐고 물어봤더니 두 가지 방법을 알려줬다. 하나는 Claude Projects 기능을 쓰는 것인데, 프로젝트 안에서 대화하면 세션이 바뀌어도 맥락이 어느 정도 유지된다고 했다. 다만 일반 채팅과 메모리는 공유가 안 돼서, 프로젝트를 새로 만들 때 필요한 배경 정보를 따로 정리해서 붙여넣는 방식을 써야 한다.

또 하나는 진행 현황을 따로 문서로 정리해두는 것이다. 완료된 단계, 현재 파일 구조, 다음 할 일을 메모해두고 새 세션 시작할 때 붙여넣으면 된다고 한다. 

프로젝트 기능을 써보기로 했다.

 

5. 오늘의 진행 현황

오늘은 전체 구조를 잡고 기술 스택을 정하고 PC 사양을 확인하고 Claude Projects를 세팅하는 것까지 했다.

다음에는 Python 설치부터 계속 진행해 볼 예정이다.

 

 

아직은 모르는 게 너무 많아서 하나 해결하면 또 모르는 게 나온다. 그래도 AI한테 계속 물어보면서 어떻게든 되고 있다. 다음 포스팅에서는 실제로 환경을 세팅해 볼 예정이다.