สถาปัตยกรรม (คู่มือสำหรับ Vibe Coder)

1. การแยกวิเคราะห์

เนื้อหาถูกแยกวิเคราะห์จากแหล่งต่างๆ เป็นข้อความธรรมดา:

• Notion: แยกวิเคราะห์ทีละบล็อกโดยรักษาลำดับชั้น
• DOCX: แยกข้อมูลผ่าน mammoth.js
• Markdown: แยกวิเคราะห์ด้วย remark/unified
• Website: เว็บไซต์: ครอว์ลและลบส่วนนำทาง/ส่วนท้าย

2. การแบ่งชิ้น

ข้อความถูกแบ่งเป็นชิ้นส่วนที่ซ้อนทับกันเพื่อการค้นหาที่เหมาะสม:

{
  targetSize: 400,    // tokens per chunk
  overlap: 50,        // token overlap between chunks
  preserveHeadings: true,  // keep heading context
  minChunkSize: 100   // minimum viable chunk
}

แต่ละชิ้นส่วนรักษาลำดับชั้นหัวข้อหลักเพื่อบริบท

3. การฝังเวกเตอร์

ชิ้นส่วนถูกแปลงเป็นเวกเตอร์ 1536 มิติ:

Model: text-embedding-3-small
Dimensions: 1536
Provider: OpenAI (via OpenRouter)

4. การจัดเก็บ

เวกเตอร์ถูกจัดเก็บใน PostgreSQL ด้วยส่วนขยาย pgvector:

-- content_chunks table
id: uuid
knowledge_base_id: uuid
page_id: string
page_title: string
content: text
embedding: vector(1536)
parent_heading: string

การค้นหาแบบผสม

เราใช้กระบวนการค้นหาสองขั้นตอน:

1. Vector Search: การค้นหาเวกเตอร์: ความคล้ายคลึงโคไซน์โดยใช้ตัวดำเนินการ <=> ของ pgvector
2. Keyword Fallback: การค้นหาคำสำรอง: หากผลลัพธ์เวกเตอร์มีความคล้ายคลึงต่ำ เราจะเพิ่มชิ้นส่วนที่ตรงกับคำค้น

การให้คะแนนความคล้ายคลึง

-- Vector similarity query
SELECT *, 1 - (embedding <=> query_embedding) as similarity
FROM content_chunks
WHERE knowledge_base_id = $1
ORDER BY embedding <=> query_embedding
LIMIT 5

การให้คะแนนความมั่นใจ

ก่อนสร้างคำตอบ เราคำนวณคะแนนความมั่นใจ:

confidence = bestSimilarity + (hasMultipleChunks ? 0.1 : 0) + 0.2
// Capped at 1.0

if (confidence < threshold) {
  return refusalMessage;  // Don't hallucinate
}

การแยกการอ้างอิง

LLM ถูกสั่งให้ใช้รูปแบบ [Source N] เราแยกวิเคราะห์และลิงก์ไปยังหน้าต้นฉบับ:

// Extract citations from answer
const citationPattern = /\[Source (\d+)\]/g;
const matches = answer.matchAll(citationPattern);

// Map to original pages
citations = matches.map(m => chunks[m[1] - 1])