아키텍처 (바이브 코더 가이드)

1. 파싱

콘텐츠는 다양한 소스에서 일반 텍스트로 파싱됩니다:

• Notion: 계층 구조를 유지하는 블록 단위 파싱
• DOCX: mammoth.js를 통해 추출
• Markdown: remark/unified로 파싱
• Website: 웹사이트: 크롤링 후 내비게이션/푸터 제거

2. 청킹

텍스트는 최적의 검색을 위해 겹치는 청크로 분할됩니다:

{
  targetSize: 400,    // tokens per chunk
  overlap: 50,        // token overlap between chunks
  preserveHeadings: true,  // keep heading context
  minChunkSize: 100   // minimum viable chunk
}

각 청크는 컨텍스트를 위해 상위 제목 계층을 유지합니다.

3. 임베딩

청크는 1536차원 벡터로 변환됩니다:

Model: text-embedding-3-small
Dimensions: 1536
Provider: OpenAI (via OpenRouter)

4. 저장

벡터는 pgvector 확장을 사용하여 PostgreSQL에 저장됩니다:

-- content_chunks table
id: uuid
knowledge_base_id: uuid
page_id: string
page_title: string
content: text
embedding: vector(1536)
parent_heading: string

하이브리드 검색

2단계 검색 프로세스를 사용합니다:

1. Vector Search: 벡터 검색: pgvector의 <=> 연산자를 사용한 코사인 유사도
2. Keyword Fallback: 키워드 폴백: 벡터 검색 결과의 유사도가 낮으면 키워드 매칭된 청크를 추가

유사도 스코어링

-- Vector similarity query
SELECT *, 1 - (embedding <=> query_embedding) as similarity
FROM content_chunks
WHERE knowledge_base_id = $1
ORDER BY embedding <=> query_embedding
LIMIT 5

신뢰도 스코어링

생성 전에 신뢰도 점수를 계산합니다:

confidence = bestSimilarity + (hasMultipleChunks ? 0.1 : 0) + 0.2
// Capped at 1.0

if (confidence < threshold) {
  return refusalMessage;  // Don't hallucinate
}

인용 추출

LLM은 [Source N] 형식을 사용하도록 지시됩니다. 이를 파싱하여 원본 페이지에 연결합니다:

// Extract citations from answer
const citationPattern = /\[Source (\d+)\]/g;
const matches = answer.matchAll(citationPattern);

// Map to original pages
citations = matches.map(m => chunks[m[1] - 1])