[Dev-Fortune] 시리즈 다시보기

• 1편: 기획부터 스택 선정까지
• 2편: 로컬 LLM Ollama 연동
• 3편: RAG와 Vector Store 구축
• 4편: 프롬프트 엔지니어링 실전
• 5편: 스트리밍 API 구현
• 6편: 전체 워크플로우 분석

1. 서론: 프로젝트를 마무리하며

시니컬한 개발자 챗봇 ‘Dev-Fortune’을 통해 Spring AI와 RAG의 가능성을 엿보았습니다. 마지막으로 이 프로젝트의 한계를 짚어보고 고도화 로드맵을 그려봅니다.

2. 미래 고도화 로드맵 (AS-IS vs TO-BE)

현재의 메모리 기반 구조에서 영구 저장소와 맥락 인지 능력을 갖춘 시스템으로의 진화 방향입니다.

subgraph "TO-BE (Future)"
    E[PostgreSQL + pgvector] --- F[Persistent Storage]
    G[ChatMemory / Redis] --- H[Context Awareness]
    I[Multi-Persona] --- J[Style Selection]
end

A -.-> E
C -.-> G

3. 핵심 고도화 포인트

• PostgreSQL + pgvector: 수만 건의 데이터를 영구 저장하고 고속 검색.
• Chat Memory: 이전 대화 맥락을 기억하는 지능형 대화.
• 멀티 페르소나: 에인절 시니어, 까칠한 CTO 등 페르소나 확장.

4. 결론

Java 진영에서도 AI 개발이 너무나 쉽고 우아해졌습니다. 여러분의 앞날에 컴파일 에러 없는 평안만 가득하시길 바라며 시리즈를 마칩니다.

당신의 인생을 계속 디버깅하세요!

[Dev-Fortune] 시리즈 다시보기

• 1편: 기획부터 스택 선정까지
• 2편: 로컬 LLM Ollama 연동
• 3편: RAG와 Vector Store 구축
• 4편: 프롬프트 엔지니어링 실전
• 5편: 스트리밍 API 구현

1. 서론: 조각난 퍼즐을 하나로 합치기

데이터의 이동이 일어나는 찰나의 순간, 서버 내부에서 일어나는 유기적인 상호작용을 파헤쳐 보겠습니다.

2. 전체 워크플로우 시퀀스 (Deep-Dive)

사용자의 엔터 키 한 번이 답변으로 돌아오기까지의 7단계 여정입니다.

3. 데이터 흐름의 5단계

1. 요청 수신: JSON 고민 데이터 접수.
2. 의미 검색: 사주 데이터 조각 탐색.
3. 프롬프트 조합: 페르소나 + 지식 + 질문 결합.
4. 추론 및 생성: AI의 인격이 투영된 답변 생성.
5. 스트리밍 응답: 차가운 조언의 실시간 전달.

결국 데이터가 지능을 만들고, 프롬프트가 성격을 만듭니다.

마지막 7편에서는 프로젝트를 마무리하며 미래 고도화 로드맵을 그려보겠습니다.

[Dev-Fortune] 시리즈 다시보기

• 1편: 기획부터 스택 선정까지
• 2편: 로컬 LLM Ollama 연동
• 3편: RAG와 Vector Store 구축
• 4편: 프롬프트 엔지니어링 실전

1. 서론: AI 답변, 왜 기다리게 하나요?

사용자 경험(UX)을 위해 한 글자씩 타이핑하듯 보여주는 스트리밍 방식은 필수적입니다. 우리 프로젝트는 WebFlux와 **SSE(Server-Sent Events)**를 활용했습니다.

2. 스트리밍 시퀀스 다이어그램

서버와 클라이언트 간의 끊임없는 데이터 흐름을 살펴보세요.

U->>S: POST /chat (Request)
Note over S,A: Connection Stay Open
A-->>S: "오늘의" (Token 1)
S-->>U: data: "오늘의"
A-->>S: " 사주는" (Token 2)
S-->>U: data: " 사주는"
Note right of U: 사용자는 실시간으로 글자가 보임

3. Flux와 SSE

MediaType.TEXT_EVENT_STREAM_VALUE를 사용하여 AI가 단어(Token)를 생성할 때마다 즉시 클라이언트로 전송합니다. 비차단(Non-blocking) 방식인 WebFlux는 답변을 기다리는 동안 쓰레드를 점유하지 않아 성능적으로도 우수합니다.

4. 클라이언트에서의 처리

프론트엔드에서는 fetch API의 getReader()를 사용하여 한 글자씩 화면에 덧붙이는 작업을 수행합니다.

다음 6편에서는 지금까지의 기술들을 하나로 묶어 전체 워크플로우를 심층 분석해 보겠습니다.

[Dev-Fortune] 시리즈 다시보기

• 1편: 기획부터 스택 선정까지
• 2편: 로컬 LLM Ollama 연동
• 3편: RAG와 Vector Store 구축

1. 서론: AI의 ‘인격’은 어디서 오는가?

지식만 있는 AI는 백과사전일 뿐입니다. 우리가 원하는 “시니컬한 시니어 개발자” 인격을 형성하고 답변 형식을 강제하는 프롬프트 엔지니어링을 살펴보겠습니다.

2. 프롬프트 조합 구조

시스템 지침(Persona)과 검색된 데이터, 사용자의 질문이 하나로 섞이는 과정입니다.

3. 시스템 프롬프트(System Prompt) 설계

apiContext를 통해 페르소나를 정의하고, 건조하고 시니컬한 반말 말투를 강제합니다. 특히 출력 형식을 엄격하게 통제하여 UI 일관성을 유지합니다.

private final String apiContext = """
    # 페르소나: 실리콘밸리 천재 개발자...
    # 답변 형식: 무조건 아래 두 문장 구조로만 답변해라.
    - "오늘의 개발자 사주는 '...'다."
    - "주의사항은 '...'이니 '...' 하지 않도록 조심해라."
""";

4. Few-Shot 기법

AI가 형식을 자꾸 어긴다면 예시를 몇 개 보여주는 Few-Shot 기법을 사용하여 일관성을 비약적으로 높일 수 있습니다.

다음 5편에서는 답변을 실시간으로 전달하는 WebFlux 기반 스트리밍 API 구현을 알아보겠습니다.

[Dev-Fortune] 시리즈 다시보기

• 1편: 기획부터 스택 선정까지
• 2편: 로컬 LLM Ollama 연동

1. 서론: AI는 어떻게 사주를 ‘공부’하는가?

AI에게 새로운 지식을 가르치는 방법 중 가장 경제적이고 정확한 RAG(Retrieval-Augmented Generation) 방식을 살펴봅니다. 질문이 들어올 때마다 관련 내용을 찾아서 읽어주며 답변하게 하는 원리입니다.

2. 데이터 주입 프로세스 (Data Ingestion)

JSON 파일이 어떻게 벡터화되어 메모리에 저장되는지 그 흐름을 도식화했습니다.

style F fill:#f96,stroke:#333,stroke-width:2px

3. SimpleVectorStore와 DataLoader

우리 프로젝트는 별도의 DB 없이 메모리 기반의 SimpleVectorStore를 사용합니다. UnidocuDataLoader는 서버 기동 시점에 JSON 데이터를 읽어 벡터로 변환하여 주입합니다.

// 텍스트 정제 예시
String content = String.format(
    "it_interpretation: %s\nanti_pattern: %s\nbad_habit: %s",
    item.get("it_interpretation"), ...
);

4. 유사도 검색(Similarity Search)

사용자가 “프로젝트 마감"에 대해 물으면, 벡터 저장소는 의미적으로 유사한 사주 데이터 상위 3개를 찾아 AI에게 전달합니다.

다음 4편에서는 이 데이터를 기반으로 시니컬한 말투를 생성하는 ‘프롬프트 엔지니어링’에 대해 다뤄보겠습니다.

[Dev-Fortune] 시리즈 다시보기

• 1편: 기획부터 스택 선정까지

1. 서론: 왜 유료 API 대신 로컬 LLM인가?

이번 2편에서는 본격적인 구현의 첫 단추인 AI 모델 환경 구축을 다룹니다. 우리는 비용 제로, 데이터 보안, 완전한 통제를 위해 Ollama를 활용한 로컬 LLM 방식을 선택했습니다.

2. 로컬 AI 서버 연동 구조

Spring Boot가 로컬에서 실행 중인 Ollama와 통신하는 물리적 구조입니다.

    subgraph "Application.properties"
        D[Base-URL]
        E[Temperature: 0.4]
        F[Model Name]
    end
    D -.-> A
    E -.-> A
end

3. Spring Boot 프로젝트 설정: application.properties

application.properties 파일에 담긴 설정값들을 하나씩 뜯어보며 그 의미를 파헤쳐 보겠습니다.

spring.ai.ollama.base-url=http://localhost:11434
spring.ai.ollama.chat.options.model=qwen2.5:3b
spring.ai.ollama.chat.options.num-ctx=4096
spring.ai.ollama.chat.options.temperature=0.4

핵심 파라미터 분석

• temperature=0.4: 사주라는 데이터에 기반하되, 개발자 특유의 시니컬한 변주를 주기 위한 최적의 밸런스입니다.
• num-ctx=4096: AI가 한 번에 기억할 수 있는 대화의 맥락 크기입니다.

4. Spring AI의 ChatClient

설정을 마쳤다면 코드에서는 ChatClient를 통해 아주 간편하게 AI와 대화할 수 있습니다.

다음 3편에서는 메모리 기반 벡터 저장소(SimpleVectorStore)를 활용하여 사주 데이터를 AI에게 학습시키는 RAG 시스템 구축 과정을 다루겠습니다.

전통적인 사주 풀이는 어렵고 따분합니다. “올해는 물의 기운이 강하니…” 같은 말은 현대의 개발자들에게는 다소 와닿지 않죠. 하지만 만약 **“실리콘밸리 출신의 천재 개발자”**가 당신의 인생을 코드로 보고 ‘디버깅’해준다면 어떨까요?

이 프로젝트는 바로 그 엉뚱한 상상에서 시작되었습니다. 감정 섞인 위로 대신, 건조하고 시니컬한 말투로 당신의 사주를 “안티 패턴"과 “배드 해빗(Bad Habit)“으로 분석해 주는 챗봇, **‘Dev-Fortune’**입니다.

2. 프로젝트 시스템 구조도

전체적인 데이터 흐름과 기술 스택을 한눈에 살펴보겠습니다.

3. 기술 스택 (The Stack)

• Framework: Spring Boot 3.x
• AI Library: Spring AI
• LLM: Ollama (qwen2.5:3b)
• Vector DB: SimpleVectorStore
• Data Source: JSON 기반의 사주 풀이 데이터

4. 왜 Spring AI와 RAG인가?

일반적인 모델은 사주에 대한 지식이 파편화되어 있거나, 우리가 원하는 특유의 “개발자 스타일"로 대답하도록 통제하기 어렵습니다. 이를 해결하기 위해 우리는 RAG(Retrieval-Augmented Generation) 기법을 사용하여 전문 사주 데이터를 미리 벡터화해서 저장해 둡니다.

다음 편에서는 Ollama를 이용해 내 컴퓨터에 로컬 AI 환경을 구축하고 Spring Boot와 연결하는 방법을 알아보겠습니다.