Architecture & Engineering Manual

Inference Control Center Architecture

คู่มือเชิงลึกและสถาปัตยกรรมทางเทคนิคของศูนย์ควบคุมการประมวลผล AI การจัดสรรทรัพยากร VRAM โครงสร้างเธรด CPU SMT และระบบค้นหาเครื่องยนต์ Local AI ภายในเครือข่าย

ระบบฮาร์ดแวร์ของคุณในปัจจุบัน (Live Telemetry)
กำลังดึงข้อมูลเซ็นเซอร์จาก /api/v1/system/hardware...
GPU: ตรวจจับอยู่... VRAM: -- GB CPU: ตรวจจับอยู่... SMT: --

1. สถาปัตยกรรมระบบ (System Architecture & 3-Tier Data Flow)

โครงสร้างการสื่อสารแบบแยกส่วน Process Isolation, วงรอบการตัดสินใจ ReAct Loop และระบบจัดการหน่วยความจำถาวร

ระบบ Kiku Agent ถูกออกแบบบนรากฐานสถาปัตยกรรม 3-Tier Modular Suite Architecture เพื่อแยกกระบวนการทำงานระหว่างการแสดงผลส่วนหน้า (Presentation), การควบคุมจัดการสถานะ (Orchestration & Web Server) และการคำนวณโครงข่ายประสาทเทียม (Neural Compute Engine) ออกจากกันอย่างเด็ดขาด ป้องกันไม่ให้การประมวลผลคำตอบที่ใช้ทรัพยากรสูงส่งผลกระทบต่อความลื่นไหลของ UI

1.1 3-Tier Suite Topology & Process Isolation

การทำงานของทั้ง 3 เลเยอร์เชื่อมต่อกันผ่านโปรโตคอลมาตรฐานที่ไร้การผูกขาด (Decoupled IPC & HTTP Transport):

Tier 1: Fan Portal (Port 3000)
Vite + React 19 + Tailwind CSS 4 Single Page Application (SPA) บริการข้อมูลผลงาน ประวัติ และมัลติมีเดีย ปรับปรุงด้วย Liquid Glass Design System
Tier 2: Web Chat & Control Center (Port 3002)
Node.js HTTP Server ทำหน้าที่เป็น API Gateway, บริการหน้าแชทหลัก, หน้าควบคุม Inference Control Center (/settings), หน้าคู่มือ (/docs), REST API Router และ Streamable HTTP Model Context Protocol (MCP) Server (/mcp)
⬇ OpenAI-Compatible REST, Server-Sent Events (SSE) & Child Process IPC ⬇
Tier 3A: LM Studio Server (:1234)
llama.cpp Engine รองรับ Cross-Platform ทั้ง Windows, macOS (Metal) และ Linux รองรับโมเดล GGUF Quantization ผ่าน lms CLI
Tier 3B: vLLM Server (:8000)
Enterprise High-Throughput Engine ทำงานบน WSL2 / Linux พร้อมระบบจัดการ KV Cache เสมือน PagedAttention และ Continuous Batching
Tier 3C: Cloud Providers
เชื่อมต่อตรงกับ API ภายนอก ได้แก่ Ollama, Google Gemini, OpenAI, Anthropic, Groq, DeepSeek และ OpenRouter ผ่านคลาสตัวกลาง LLMClient พร้อมโปรไฟล์ Low-VRAM Qwen 2.5 7B/3B และระบบบูต LM Studio อัตโนมัติบนพอร์ต 1234

1.2 ReAct Cognitive Loop & Context Compaction

สมองกลของตัวแทน AI ทำงานด้วยวงรอบ ReAct (Reasoning + Acting) โดยใช้หลักการ Dynamic Multi-Factor Score Ranking ในการคัดเลือกเครื่องมือ (Tools) แทนการใช้โครงสร้าง if/else หรือคีย์เวิร์ดตายตัว:

  • Tool Priority Scoring: เครื่องมือที่ตรงเงื่อนไขจะถูกประเมินคะแนนเชิงเส้น $Score = Explicit(+100) + Priority(+20) + Direct(+10) + RankScore(15 - 3i - r)$ พร้อมเพดานโควตาคลัสเตอร์เพื่อกระจายความหลากหลายของเครื่องมือ ไม่ผูกขาดกับหมวดใดหมวดหนึ่ง
  • Context Compactor (compactToolResultForContext): ผลลัพธ์ดิบที่ส่งคืนจากเครื่องมือจะถูกกรองเอาลิงก์ตกแต่งและฟิลด์ฟุ่มเฟือยออก คงเหลือเฉพาะคีย์ข้อมูลสำคัญ เพื่อลดการสิ้นเปลือง Context Window และลดความหน่วง (Latency) ในการอ่านโทเค็นของ LLM
  • 4-Tier Context Allocation: จัดสรรพื้นที่บริบทอย่างเป็นระบบ — 20% สำหรับคำถามของผู้ใช้, 40% สำหรับสถานะและแผนงานในหน่วยความจำแอคทีฟ, 20% สำหรับบันทึกสะท้อนผลลัพธ์ระยะยาว (Reflections), และ 20% สำหรับเครื่องมือและการสนทนาทั่วไป
  • Subagent Intent Router (scoreSubagentIntent): ให้คะแนนเจตนา research / verify / none แบบไดนามิกแล้วจัดเส้นทางไปสายวิจัยโดยอัตโนมัติ รองรับคำถามวิจัยที่พิมพ์ตรงโดยไม่ต้องใช้ slash command
  • Category Aliases + Refusal Interceptor: แปลงคำพ้อง TH/ZH/EN เป็นชนิดแคตตาล็อกมาตรฐานก่อนเลือกเครื่องมือ และดักการปฏิเสธก่อนเวลาอันควรให้กลับไปดึงข้อมูลแคตตาล็อกหรือเว็บก่อนเสมอ
  • RRF Fusion + News Relevance Ranking: รวมผลข้ามเอนจินด้วย Reciprocal Rank Fusion ส่วนข่าวจัดอันดับด้วยความน่าเชื่อถือของแหล่งคูณการลดค่าตามความเก่า บวกโบนัสหัวข้อ ลบโทษสแปม แล้วตัดรายการซ้ำด้วย SimHash
Port Map: โหมด dev รัน SPA + REST + แชทในโปรเซสเดียวบนพอร์ต 3000 ส่วน dev:all แยก 3 บริการ คือ 3000 (SPA + REST API v1) / 3001 (Eval Studio) / 3002 (Web Chat + Inference Control Center + MCP) ส่วนโปรดักชันใช้ Vercel wrapper api/index.js ส่งต่อให้ handleApiRequest เส้นทาง API ใหม่เพิ่มแค่ใน apiRouter.js ใต้ /api/v1

1.3 Atomic Persistence Queue & Storage Guarantees

สถานะการปรับแต่งเครื่องยนต์และการตั้งค่าอนุมานถูกจัดเก็บ 2 ระดับอย่างสมบูรณ์:

Atomic Write Pipeline: เมื่อมีการเปลี่ยนค่าในหน้าเว็บ ข้อมูลจะถูกบันทึกลง localStorage ฝั่งเบราว์เซอร์ทันทีเพื่อให้ UI ตอบสนองในระดับ 0ms และส่งสัญญาณต่อไปยังเซิร์ฟเวอร์เพื่อบันทึกลงไฟล์ kiku_config.json ผ่านฟังก์ชันคิว withSettingsWriteQueue() โดยเขียนลงไฟล์ชั่วคราว kiku_config.json.tmp ก่อนสลับชื่อไฟล์แบบอะตอมมิก เพื่อป้องกันไฟล์เสียหายกรณีเซิร์ฟเวอร์ดับกะทันหัน 100%
Stateful Memory Engine: หน่วยความจำเอเจนต์แยกจากคอนฟิก เก็บใต้ <KIKU_DATA_DIR>/memory/ เป็นแผน kiku/runs/{run_id}/execution/plan.md เช็กพอยต์ checkpoints/step-{n}.json สแนปชอต context/compacted.md และร่องรอยล้มเหลว failures/{code}.json พร้อมคลังสะท้อนผล kiku/knowledge/reflections.md run_id ถูกคุมด้วย regex ตัวอักษรเคร่งครัด ข้อมูลเกิน 1,000 ตัวอักษรเก็บลงดิสก์แล้วส่ง pointer แทน run หมดอายุใน 7 วันแล้วถูกบีบอัด-เก็บถาวรอัตโนมัติ ควบคุมผ่าน tools checkpoint_step / record_failure / load_active_run
Secrets: คีย์จริงอยู่ใน .env ที่รูทแพ็กเกจและ <KIKU_DATA_DIR>/.env สำหรับโกลบอลอินสตอล คำสั่ง /env แตะเฉพาะค่าที่จำเป็น (LMSTUDIO_BASE_URL, KIKU_CONTEXT_LIMIT) ส่วน cookies.txt กับ .env ถูก gitignore ห้ามคอมมิตเด็ดขาด คีย์ REST แยกเทียร์ปกติกับ VIP (KIKU_API_KEYS / KIKU_VIP_KEYS) โดย VIP ได้โควตาเรตสูงกว่า

2. เปรียบเทียบเครื่องยนต์ประมวลผล (LM Studio vs vLLM)

ความแตกต่างเชิงสถาปัตยกรรมลึก มาตราส่วน GGUF Quantization และตารางแม็ปพารามิเตอร์ 1:1

2.1 llama.cpp Unified Memory vs vLLM PagedAttention

ระบบรองรับทั้งเครื่องยนต์ระดับผู้ใช้ทั่วไป (Consumer Desktop) และเครื่องยนต์ระดับศูนย์ข้อมูล (Enterprise Serving) โดยทั้งสองมีหลักการจัดสรรหน่วยความจำที่แตกต่างกัน:

คุณสมบัติเชิงวิศวกรรม LM Studio (llama.cpp) vLLM (PagedAttention)
Core Architecture C/C++ CUDA, Metal, ROCm Kernels พร้อมตัวคูณเวกเตอร์ SIMD (AVX2/AVX-512) Python/C++ Custom CUDA Kernels พัฒนาบนแนวคิด OS Virtual Memory Paging
ระบบปฏิบัติการที่รองรับ Windows 10/11, macOS (Apple Silicon Metal), Linux Linux Native หรือ Windows 11 ผ่าน WSL2 เท่านั้น (ไม่รองรับ Native Windows)
รูปแบบไฟล์โมเดล GGUF Single-File Quantizations (Q4_K_M, Q6_K, Q8_0) HuggingFace SafeTensors, AWQ, GPTQ, FP8 Checkpoints
KV Cache Allocation จัดสรรบล็อกหน่วยความจำแบบต่อเนื่อง (Contiguous VRAM Buffer) แบ่ง KV Cache เป็นเพจขนาดเล็ก (Paged Blocks) ลด Memory Fragmentation เหลือ < 4%
Batching Strategy Static / Dynamic Micro-batching (เน้น Single-stream Latency) Continuous Batching (Iteration-level Scheduling) เพื่อรองรับผู้ใช้พร้อมกันจำนวนมาก
ฮาร์ดแวร์เป้าหมาย การ์ดจอเดี่ยว 6GB, 8GB, 12GB หรือเครื่องไม่มีการ์ดจอ (CPU Offload) Workstation หลายการ์ดจอ หรือ Data Center GPUs (RTX 4090, A100, H100)

2.2 GGUF Quantization Scales & Bits Per Weight (BPW)

GGUF ใช้วิธีการบีบอัดน้ำหนักโมเดลแบบ K-Quants ซึ่งใช้จำนวนบิตต่อค่าน้ำหนัก (Bits Per Weight - BPW) แตกต่างกันในแต่ละเลเยอร์ โดยพิจารณาจากความไวต่อการสูญเสียข้อมูล:

ระดับ Quantization BPW แท้จริง ขนาดบน VRAM (8B Model) Perplexity Delta (ΔPPL) คำแนะนำการใช้งาน
Q4_K_M แนะนำ 4.50 ~4.50 GB +0.09 PPL (แทบไม่รู้สึก) คุ้มค่าสูงสุดสำหรับ GPU 6GB และ 8GB ให้ความเร็วและความแม่นยำสมดุลที่สุด
Q5_K_M 5.50 ~5.50 GB +0.04 PPL เหมาะสำหรับผู้ใช้ที่ต้องการคำตอบภาษาไทยและจีนที่สมบูรณ์ขึ้น บนการ์ด 8GB–12GB
Q6_K 6.56 ~6.56 GB +0.01 PPL (Near-Lossless) คุณภาพเทียบเคียง FP16 เหมาะสำหรับการ์ดจอ 12GB ขึ้นไป เช่น RTX 4070
Q8_0 8.00 ~8.00 GB 0.00 PPL (Lossless 8-bit) มาตรฐานสำหรับการประเมินผล Benchmarking และการคำนวณขั้นสูงบน GPU 16GB+
FP16 16.00 ~16.00 GB 0.00 Baseline น้ำหนักดั้งเดิมก่อนควอนต์ ใช้สำหรับวิจัยหรือ Fine-tuning

2.3 Flag Translation Matrix: LM Studio (lms) vs vLLM CLI

ตารางเทียบเคียงคำสั่งพารามิเตอร์ 1:1 เพื่อให้นักพัฒนาสามารถสลับการควบคุมระหว่าง LM Studio และ vLLM ได้อย่างแม่นยำ:

หน้าที่การควบคุม LM Studio (lms load) vLLM (python -m vllm.entrypoints.openai.api_server)
การดึงโมเดลเข้า VRAM --gpu max หรือ --gpu 0.85 --gpu-memory-utilization 0.90
ความยาว Context Window --context-length 32768 --max-model-len 32768
จำนวนคำขอพร้อมกัน (Slots) --parallel 6 --max-num-seqs 6
Attention Acceleration --flash-attn (FlashAttention-2) เปิดทำงานโดยอัตโนมัติ (หรือใช้ --enforce-eager เพื่อปิด)
การแบ่งโมเดลหลาย GPU --split-mode layer --tensor-split 20,12 --tensor-parallel-size 2
การบีบอัด KV Cache --ctk q8_0 --ctv q8_0 --kv-cache-dtype fp8
Ollama + Low-VRAM + Wakeup: เครื่องยนต์ที่สามคือ Ollama (--provider ollama พอร์ต 11434 ตรวจ tag ผ่าน /api/tags) โปรไฟล์ประหยัดแรมคือ Qwen 2.5 7B (Q4_K_M ราว 4.8 GB) และ Qwen 2.5 3B (ราว 2.2 GB) ฝั่งคลาวด์ทนทานด้วยการคงลายเซ็น Claude 3.7 Extended Thinking ข้ามเทิร์นและทางลัด text-protocol ของ DeepSeek-R1 หาก LM Studio ดับตอนรัน eval หรือคำสั่งเอเจนต์ lmStudioWakeup.js จะค้นหาและบูตเซิร์ฟเวอร์ 1234 ให้เองโดยไม่ต้องคลิก

3. การจัดการ CPU Hyper-Threading & SMT Topology

หลักการทางฟิสิกส์: ขีดจำกัด Memory Bandwidth, การแย่งแคช L1/L2 และสถาปัตยกรรมเธรด 4 โหมด

3.1 Memory Bandwidth Bottleneck & Compute Bounds

ในการอนุมานผลลัพธ์ของโมเดลภาษา (Autoregressive Token Generation) ทุกๆ 1 โทเค็นที่สร้างขึ้น ซีพียูต้องโหลดน้ำหนักโมเดลทั้งหมด (Weights) ผ่านบัสหน่วยความจำอย่างน้อย 1 รอบเต็มเสมอ:

Maximum Tokens/sec ≤ Memory Bandwidth (GB/s) ÷ Model Weight Size (GB)
สมการขีดจำกัดความเร็วสูงสุดทางทฤษฎีของการสร้างโทเค็นบนระบบ Memory-Bound

เปรียบเทียบแบนด์วิดท์จริงระหว่างหน่วยความจำหลัก (RAM) และหน่วยความจำการ์ดจอ (VRAM):

  • Dual-Channel DDR4-3200: แบนด์วิดท์สูงสุด ~45–50 GB/s → รันโมเดลขนาด 4.5 GB จะได้ความเร็วสูงสุดไม่เกิน 10–11 tokens/s
  • Dual-Channel DDR5-6000: แบนด์วิดท์สูงสุด ~85–96 GB/s → รันโมเดลขนาด 4.5 GB จะได้ความเร็วสูงสุดไม่เกิน 18–21 tokens/s
  • RTX 3060 GDDR6 (192-bit): แบนด์วิดท์ 360 GB/s → รันโมเดลขนาด 4.5 GB จะได้ความเร็ว 70–80 tokens/s
  • RTX 4090 GDDR6X (384-bit): แบนด์วิดท์ 1,008 GB/s → รันโมเดลขนาด 4.5 GB จะได้ความเร็วทะลุ 150+ tokens/s

3.2 SMT / Hyper-Threading Cache Eviction & Pipeline Thrashing

เทคโนโลยี Simultaneous Multi-Threading (SMT ใน AMD หรือ Hyper-Threading ใน Intel) สร้าง Logical Threads เสมือนขึ้นมา 2 ตัวบนคอร์จริงอันเดียว แต่ทั้งสองเธรดต้องใช้ทรัพยากรฮาร์ดแวร์ภายในร่วมกัน:

ทำไม SMT ทำให้ LLM ช้าลง: การคูณเมทริกซ์ของ LLM รันบนหน่วยคำนวณทศนิยม (Floating Point Units / AVX2 / AVX-512) อย่างเข้มข้น 100% ต่อเนื่อง หากส่งเธรดคำนวณเข้าไป 2 เธรดพร้อมกัน เธรดทั้งสองจะเกิดการชนกันที่ Execution Ports และที่สำคัญที่สุดคือจะ ขับไล่ข้อมูลในแคช L1 และ L2 ทิ้ง (Cache Eviction) ส่งผลให้เกิด Cache Misses มหาศาล อัตราความเร็วในการสร้างโทเค็นจะ ร่วงลง 10% ถึง 25%!

3.3 The 4 Thread Allocation Modes ใน cpuMetrics.js

โหมด (htMode) สูตรคำนวณจำนวนเธรด พฤติกรรมและการจัดสรรทรัพยากร
physical โหมดแนะนำสูงสุด Math.min(physicalCores, 12) ล็อคจำนวนเธรดเท่ากับคอร์แท้เท่านั้น ขจัดปัญหาการแย่งแคช L1/L2 ให้ Single-stream latency ต่ำที่สุดและความเร็วสูงสุดสำหรับการแชท 1 ต่อ 1
smt / all logicalThreads (เช่น 12 หรือ 16 เธรด) เปิดใช้ทุกเธรดเสมือน เหมาะสำหรับสถานการณ์ที่ต้องการประมวลผลคำขอ Prompt Prefill พร้อมกันหลายผู้ใช้ (Throughput-oriented)
auto Heuristic จากสถาปัตยกรรม CPU ตรวจจับโครงสร้างคอร์อัตโนมัติ หากตรวจพบว่าเป็นระบบที่มี SMT จะสงวนคอร์ไว้ 1-2 คอร์สำหรับงาน OS และ I/O
custom ผู้ใช้ระบุค่าอิสระ (1–256) ยืดหยุ่นตามความต้องการของผู้ดูแลระบบ เหมาะสำหรับเซิร์ฟเวอร์แบบ NUMA Multi-Socket ผูกเธรดกับโหนด CPU จำเพาะ
Telemetry ไม่บล็อก UI: แผงฮาร์ดแวร์ใช้ stale-while-revalidate คือคืนค่าแคชทันที (GPU 5 วินาที หน่วยความจำแชร์ 10 วินาที ลายนิ้วมือฮาร์ดแวร์ 30 วัน) แล้วรีเฟรชเบื้องหลัง ตัวเลข bandwidth ในหมวดนี้พิสูจน์ด้วย scripts/profileNsys.js (Nsight Systems เทรซ CUDA/cuBLAS/FlashAttention แยก prefill ที่อิ่มด้วย compute ออกจาก decode ที่อิ่มด้วยบัสหน่วยความจำ)

4. การคำนวณ VRAM Footprint & Multi-GPU Math

สูตรคำนวณทางคณิตศาสตร์ที่แม่นยำของ Model Weights, Hybrid SWA Attention และการจัดสรร Multi-GPU

Total VRAM Footprint = Weight Memory + KV Cache Memory + Activation & CUDA Overhead
งบประมาณหน่วยความจำวิดีโอทั้งหมดที่ต้องจัดสรรล่วงหน้าก่อนรันโมเดล

4.1 Weight Memory Equation & BPW Math

หน่วยความจำสำหรับบรรจุน้ำหนักโมเดลคำนวณจากจำนวนพารามิเตอร์คูณด้วย Bits Per Weight (BPW) หารด้วย 8:

Weight Memory (GB) = (Parameters × BPW) ÷ (8 × 1024³)
ตัวอย่าง: โมเดล Gemma 4 E4B (8.0B parameters) ที่ Q4_K_M (BPW = 4.50) = (8.0 × 10&sup9; × 4.50) ÷ (8 × 1024³) ≈ 4.19 GiB (4.50 GB)

กรณีที่มีการกระจายชั้นเลเยอร์บางส่วน (Fractional Offload):
Offloaded Weights (GB) = Total Weight Memory × (GPU Layers ÷ Total Layers)

4.2 Hybrid KV Attention Math & Sliding Window (SWA)

สถาปัตยกรรม Gemma 4 ไม่ได้ใช้ Attention แบบเต็มความยาวในทุกเลเยอร์ แต่ใช้ระบบลูกผสม Sliding Window Attention (SWA Profile) อัตราส่วน 5:1:

  • Local Sliding Layers (5 ใน 6 เลเยอร์): บันทึก KV Cache เฉพาะหน้าต่าง 1,024 โทเค็นล่าสุดเท่านั้น (ความจำจะถูก Clamp ไว้ที่ 1,024 ไม่ว่า Context จะยาว 32K หรือ 64K ก็ตาม)
  • Global Layers (1 ใน 6 เลเยอร์): บันทึกประวัติศาสตร์บริบทแบบเต็มความยาว Context Length ($L_{ctx}$)
KV Cache Total = (Layers_Global × 2 × H × D × B_val × L_ctx) + (Layers_Local × 2 × H × D × B_val × min(L_ctx, 1024))
H = Attention Heads, D = Head Dimension, B_val = Bytes Per Value ตามระดับการควอนต์

การลดขนาด KV Cache ตามชนิดข้อมูล (KV_CACHE_DTYPE_BYTES):
• fp16: 2.00 Bytes/Value • q8_0: 1.0625 Bytes/Value (ลดลง ~47%) • q4_0: 0.5625 Bytes/Value (ลดลง ~72%)

4.3 Activation Buffers & CUDA Runtime Overhead

พื้นที่กันชนส่วนเกินคำนวณตามสูตรใน src/lib/vram/estimator.js:

  • CUDA Context: พื้นที่สำหรับ CUDA Driver, Unified Virtual Addressing และโครงสร้าง Kernel ระหว่าง 0.35 GB ถึง 0.55 GB
  • Intermediate Activations: อยู่ในช่วง 0.15 GB ถึง 0.35 GB (ค่าเริ่มต้น 0.25 GB) สำหรับจัดเก็บผลลัพธ์ระหว่างชั้นเลเยอร์
  • LM Studio Engine Overhead: พื้นที่กันชน $0.60 \text{ GB} + 0.10 \text{ GB} \times N_{GPUs}$ เพื่อป้องกันไดรเวอร์ NVIDIA แคชล้นจนเกิด Display Driver Crash (TDR)

4.4 Multi-GPU Tensor Split & Balancing Heuristics

เมื่อใช้งานเครื่องที่มีการ์ดจอมากกว่า 1 ใบ ระบบรองรับกลยุทธ์การกระจายโมเดล 2 รูปแบบ:

กลยุทธ์ พารามิเตอร์ การเชื่อมต่อที่เหมาะสม ข้อดีและข้อจำกัด
Layer Split --split-mode layer PCIe Gen3 / Gen4 ธรรมดา (ไม่จำเป็นต้องมีบริดจ์) แบ่งเลเยอร์ตามชั้น เหมาะสำหรับการ์ดจอที่มีขนาด VRAM ต่างกัน เช่น RTX 4080 (16GB) คู่กับ RTX 3060 (12GB) โดยกำหนดสัดส่วน --tensor-split 16,12
Row Split --split-mode row NVLink บริดจ์ความเร็วสูง หรือ PCIe 4.0 x16 ตัดแบ่งเมทริกซ์ภายในเลเยอร์ด้วย Tensor Parallelism ได้ Throughput สูงสุด แต่ต้องการการ์ดจอที่มีสเปกเหมือนกัน
Bus Width 4 ขั้น + เครื่องคิดเลขใน UI: ความกว้างบัสหน่วยความจำไล่จาก NVML จริงก่อน ถ้าไม่ได้จึงเทียบความจุ VRAM แล้วใช้ฮิวริสติกสถาปัตยกรรม ฐานข้อมูล TechPowerUp ครอบคลุม 100+ รุ่นตั้งแต่ Blackwell / Ada / Ampere / Turing / Pascal ถึง B200 H200 H100 A100 L40S P40 AMD Instinct / Radeon / Strix Halo และ Apple Silicon M1-M4 ก่อนกดโหลดให้ตรวจกับการ์ด Predictive VRAM Footprint Calculator ในแท็บ Hardware ของ /settings และมอนิเตอร์สดด้วย npm run vram:live

5. ระบบค้นหาเครือข่ายภายใน (Zero-Key LAN Discovery)

เทคโนโลยีสแกนค้นหาเครื่องแม่ข่าย AI ในวงแลนอัตโนมัติ การแยกแยะพอร์ต และกำแพงป้องกัน SSRF

5.1 Network Interface Inspection & Concurrency Sweeper

ระบบ scanLan() ใน server/agent/lanDiscovery.js ออกแบบมาเพื่อตรวจจับเครื่องแม่ข่าย AI ท้องถิ่นโดยที่ผู้ใช้ไม่ต้องเปิดเทอร์มินัลพิมพ์คำสั่ง ipconfig หรือป้อนที่อยู่ IP เอง:

  • Cross-Platform Inspection: ตรวจจับการ์ดแลนและการ์ด Wi-Fi ผ่าน os.networkInterfaces() เสริมด้วย PowerShell Snapshot บน Windows (Get-NetAdapter + Get-NetRoute) หรือ ip -j addr บน Linux เพื่อนำ Netmask แท้จริงมาใช้คำนวณ Subnet
  • Bounded Concurrency Pool: ใช้ระบบ TCP Connect Pre-filter แบบจำกัดปริมาณ Socket พร้อมกัน (~64 โฮสต์พร้อมกัน) เพื่อสแกนตรวจจับเป้าหมาย 2,500–3,000 จุด ให้เสร็จสิ้นภายในเวลาเพียง 15–20 วินาที โดยไม่ทำให้เราเตอร์ในบ้านค้าง
  • Auto-Sweep Budget Packing: จัดเรียง Subnet จากขนาดเล็กไปใหญ่ และข้าม Subnet ที่มีขนาดเกินโควตาความปลอดภัย (KIKU_LAN_SCAN_MAX_HOSTS = 4096) เพื่อป้องกันการสแกนค้าง

5.2 Probed Ports & Server Fingerprinting

ทุกพอร์ตที่เปิดจะถูกตรวจสอบเชิงลึกเพื่อระบุชนิดของเครื่องยนต์และดึงรายชื่อโมเดลที่กำลังโหลดอยู่:

พอร์ตเป้าหมาย เครื่องยนต์ที่คาดหวัง จุดตรวจสอบ Fingerprint ข้อมูลที่ส่งคืน
1234 LM Studio /api/v0/models → /v1/models สถานะการโหลด, Quantization, Loaded Context Length
8000 vLLM /version → /v1/models เวอร์ชัน vLLM, สถาปัตยกรรมโมเดล, Max Model Len
11434 Ollama /api/tags Tag โมเดลที่ดาวน์โหลดไว้ในระบบ
8080 Generic llama.cpp /v1/models → /health เวลาตอบสนอง (Round-Trip Latency) และรายชื่อโมเดล

5.3 SSRF Defense, RFC1918 Pinning & Security Guard

การป้องกัน Server-Side Request Forgery (SSRF): โมดูล LAN Scanner มีระบบตรวจสอบที่อยู่เครือข่ายอย่างเข้มงวด โดยจำกัดขอบเขตการกวาดตรวจเฉพาะช่วง RFC1918 Private IPv4 (10.0.0.0/8, 172.16.0.0/12, 192.168.0.0/16) และ Loopback (127.0.0.1) เท่านั้น หากมีการระบุ IP สาธารณะ หรือ Cloud Metadata Range (169.254.169.254) ระบบจะปฏิเสธคำขอทันที พร้อมทั้งจำกัดสิทธิ์การกด Apply ข้ามเครื่องให้เฉพาะ Local Loopback เท่านั้น

5.4 Web Chat LAN Sharing & Trust Boundary

แชร์หน้าต่างแชทให้มือถือในวงแลนด้วย /web lan [port] หรือสตาร์ต node server/web-chat/server.js --port 3002 --lan เซิร์ฟเวอร์จะผูก 0.0.0.0 ตั้ง KIKU_ALLOW_REMOTE_WEB_CHAT=true แล้วพิมพ์ URL http://<lan-ip>:<port>/chat ตรวจสถานะด้วย /web status คำขอ same-origin จากเบราว์เซอร์ผ่าน ส่วน origin แปลกปลอมถูกปฏิเสธด้วย 403 ปลายทาง inference ที่ผู้ดูแลตั้งไว้เองบน loopback ได้รับสิทธิ์ ส่วน baseUrl ที่ผู้เรียกส่งมาจึงถูกกัน SSRF เต็มรูปแบบ เส้นทาง admin และ engine ยังล็อกเฉพาะ loopback หรือคีย์ผู้ดูแลเท่านั้น แผง Scan LAN ใน /settings จำ iface และพอร์ต (kiku_lan_iface / kiku_lan_ports) ผลสแกนแคช 60 วินาที (--force เพื่อสแกนใหม่) และคงสถานะใน lan-state.json ข้ามการรีสตาร์ต

6. คู่มือคำสั่งและการปรับแต่งโมเดลเชิงลึก (Model Tuning & Commands)

สารานุกรมคำสั่ง CLI แบบครบถ้วน, พารามิเตอร์การโหลดโมเดลเข้า VRAM และ Hyperparameters สำหรับ Sampling

ส่วนนี้รวบรวมข้อมูลเชิงเทคนิคของการควบคุมโมเดล AI ในระบบ Kiku ทั้งหมด ตั้งแต่การใช้งานผ่าน Command Line Interface (CLI), การปรับแต่งพารามิเตอร์โหลดเข้าการ์ดจอ ไปจนถึงการจูนพารามิเตอร์สุ่มคำตอบ (Sampling Hyperparameters)

6.1 สารานุกรมคำสั่ง CLI & Interactive Slash Commands

ระบบรองรับคำสั่งทั้งในรูปแบบ One-Shot CLI สำหรับการสคริปต์อัตโนมัติ และ Interactive Slash Commands ภายในเทอร์มินัลหรือแชท:

npx kiku-agent --query "<prompt>" [--provider <name>] [--model <id>] One-Shot CLI

รันคำสั่งถามตอบแบบครั้งเดียวจบ (Headless Execution) ทำงานผ่าน ReAct Agent เต็มรูปแบบ ค้นหาข้อมูลผลงาน ละคร เพลง และเว็บริเสิร์ชอัตโนมัติ เหมาะสำหรับตั้งเวลา Cron หรือไปป์คำสั่ง

/lan [scan | ifs | use <n> [model] | json] Network Engine

กวาดสแกนหาเครื่องแม่ข่าย AI ภายในวงแลน (/lan ifs แสดงการ์ดเครือข่าย, /lan scan --iface Wi-Fi สแกนเฉพาะการ์ดนั้น, /lan use 1 สลับไปเชื่อมต่อกับโฮสต์และพอร์ตของเครื่องที่ 1 พร้อมบันทึก Base URL อัตโนมัติ)

/llm local | load <id> | unload | config | temp | topp | minp | ctx] Inference Control

จัดการโมเดลและเครื่องยนต์ที่กำลังรันอยู่ ปรับแต่งอุณหภูมิ Sampling (/llm local 0.2), ปรับ Context Limit (/llm local 32768), สั่งคืน VRAM (/llm local ) หรือตรวจสอบสถานะการโหลด

/provider [list | use <name> [model] | url [provider] [url] | models] Provider Bridge

สลับผู้ให้บริการ AI แบบทันที รองรับ lmstudio, vllm, ollama, openai, gemini, groq, deepseek, anthropic, และ openrouter พร้อมระบบตรวจสอบ Endpoint Latency

/gpu [status] • /system Hardware Telemetry

ตรวจสอบการใช้ VRAM แบบเรียลไทม์, อุณหภูมิ GPU, Bus Width, อัตราการรับส่ง PCIe และโครงสร้างคอร์ซีพียู SMT / Hyper-Threading

/eval [ui | dashboard | validate | quick | run | judge | compare] Benchmark Suite

เปิดระบบทดสอบประสิทธิภาพโมเดล 500 ข้อ (Frozen Benchmark), สั่งเปิด Eval Studio Web Dashboard (Port 3001), รันชุดทดสอบ Enterprise 7-Point Model Compatibility (npm run eval:compat) หรือรันประเมินความถูกต้องด้านความปลอดภัย

/vram [check <model> | live | compare | ctx | tier] [--ctx <len>] [--quant <type>] Memory Predictor

คำนวณงบประมาณ VRAM ล่วงหน้าก่อนโหลดโมเดล แสดงตารางเปรียบเทียบขนาด KV Cache ตามความยาว Context และตรวจสอบว่าโมเดลจะฟิตลงในการ์ดจอหรือไม่

/mcp [status | list | connect <name> <url|cmd> | tools | reload] Protocol Bridge

เชื่อมต่อไปยังเซิร์ฟเวอร์ Model Context Protocol (MCP) ภายนอก และควบคุม MCP Server ภายในระบบ (Streamable HTTP POST /mcp, Protocol 2025-11-25) รองรับการเชื่อมต่อจาก 10 ค่าย AI & IDEs (Claude Desktop, Cursor, Windsurf, VS Code, AGY, Cline, Claude Code, Gemini CLI, LibreChat, OpenCode)

/stats [overview | tokens] • /thinking [show | hide | toggle] Diagnostics

แสดงความเร็วการสร้างโทเค็น (Prompt Tokens/s vs Eval Tokens/s) และสลับการแสดงผลกล่องความคิดภายใน (<think> / Thoughts) ของโมเดล Reasoning

/news [watch <topic> --every M | check [topic] | watches] News Intelligence

เฝ้าข่าวอัตโนมัติด้วยงานจับเวลา ตรวจรายการใหม่ด้วย SimHash เทียบสถานะใน news-watch-state.json คำสั่ง check ตรวจครั้งเดียว watches ดูงานที่ค้างอยู่

/mem [add | search | del] • /session [list] • /quiz • /suggest Memory & Learning

บันทึกข้อเท็จจริงระยะยาว ค้นหาและลบความจำ ดูเซสชันที่เก็บไว้ เล่นควิซ 15 ข้อ และขอหัวข้อวิจัยจากข่าว 7 วันล่าสุด

/research <q> • /verify <claim> • /web [lan | status] • /env Research & Ops

เปิดทีมวิจัย Deep Research หรือสายตรวจ Fact-Check (ตัดสิน VERIFIED / UNVERIFIED / CONFLICTING / FALSE) แชร์แชทขึ้น LAN และตั้งค่าคีย์ผู้ให้บริการผ่านตัวช่วย /env

6.2 ตารางการปรับแต่งการโหลดโมเดลเข้า VRAM (Model Load Parameters)

พารามิเตอร์ทั้งหมดในส่วนนี้ใช้ส่งผ่านคำสั่ง lms load หรือผ่าน REST API POST /api/engine/load เพื่อควบคุมพฤติกรรมในระดับไดรเวอร์และเคอร์เนล CUDA:

contextLength
Integer High VRAM Impact

กำหนดขนาดความยาวหน้าต่างบริบท (Context Window) มีผลต่อขนาดหน่วยความจำ KV Cache โดยตรง ยิ่งกำหนดสูง ยิ่งต้องใช้ VRAM มากขึ้น

ค่ามาตรฐาน: 32768 (32K) ขอบเขต: 512 – 131072
gpuOffload
String / Float Critical Speed

สัดส่วนการส่งชั้นเลเยอร์ของโมเดลเข้าการ์ดจอ max คือนำเข้า VRAM ทั้งหมด, off คือรันบน CPU ทั้งหมด หรือระบุเป็นทศนิยม 0.0 – 1.0

ค่ามาตรฐาน: max (100%) ตัวเลือก: max, off, 0.0-1.0
htMode
Enum +10%–25% Speed

ควบคุมการจัดสรรเธรดซีพียูตามโครงสร้าง Hyper-Threading/SMT โหมด physical ช่วยปิดการแย่งแคช L1/L2 ให้ความเร็วสร้างโทเค็นสูงสุด

ค่ามาตรฐาน: physical ตัวเลือก: physical, smt, auto, custom
flashAttn
Boolean -30% VRAM

เปิดใช้เคอร์เนล FlashAttention-2 คำนวณ Attention Matrix แบบ Tiled บน SRAM ความเร็วสูง ลดความซับซ้อนหน่วยความจำจาก O(N²) เหลือ O(N)

ค่ามาตรฐาน: true (เปิด) ตัวเลือก: true, false
batchSize / ubatchSize
Integer VRAM Spike Control

batchSize ควบคุมการหั่นชิ้นประโยค Prompt ในระดับตรรกะ ส่วน ubatchSize ควบคุมขนาดสไลซ์ที่ส่งเข้าคำนวณใน CUDA Kernel ป้องกันอาการ VRAM พุ่งกระฉูดขณะอ่านคำถามยาว

ค่ามาตรฐาน: 512 / 128 ขอบเขต: 32 – 2048
splitMode / tensorSplit
Enum / String Multi-GPU Only

วิธีกระจายน้ำหนักโมเดลข้ามการ์ดจอหลายใบ layer สำหรับการ์ดจอขนาด VRAM ต่างกัน, row สำหรับการ์ดรุ่นเดียวกันที่มีบริดจ์ความเร็วสูง

ค่ามาตรฐาน: layer ตัวอย่าง: --tensor-split 20,12
kvQuant (ctk / ctv)
Enum -50% to -70% VRAM

บีบอัด Key และ Value ในหน่วยความจำบันทึกบทสนทนา โหมด q8_0 ช่วยประหยัด VRAM ได้ 50% โดยสูญเสียความแม่นยำเพียง 0.2%

ค่ามาตรฐาน: q8_0 ตัวเลือก: fp16, q8_0, q4_0, q4_1

6.3 การปรับแต่งการสุ่มคำตอบ (Inference Sampling Hyperparameters)

พารามิเตอร์การประมวลผลคำตอบ (Logit Post-Processing & Sampling) ซึ่งส่งผลต่อความแม่นยำ ความสร้างสรรค์ และการป้องกันคำตอบวนลูป:

temperature
Float Creativity & Logic

ตัวปรับสเกลความน่าจะเป็นก่อนเข้า Softmax: $P(x_i) = \frac{\exp(z_i / T)}{\sum \exp(z_j / T)}$ สำหรับ ReAct Agent และงานเรียกใช้ Tools แนะนำ 0.2 – 0.3 เพื่อความแม่นยำสูงสุด, ค่า 0.0 สำหรับการทดสอบ Deterministic Benchmarking

ค่ามาตรฐาน: 0.30 ขอบเขต: 0.00 – 2.00
min_p (Minimum Probability)
Float Modern Sampler

ตัดโทเค็นที่มีความน่าจะเป็นต่ำกว่าเกณฑ์สัมพัทธ์ $P_i < min\_p \times P_{max}$ ทำงานได้ดีกว่า top_p แบบเดิมสำหรับโมเดลตระกูล Gemma 4 อย่างเห็นได้ชัด เพราะปรับตัวตามความมั่นใจของโมเดลได้แบบไดนามิก

ค่ามาตรฐาน: 0.08 ขอบเขต: 0.01 – 1.00
top_p (Nucleus Sampling)
Float Cumulative Cutoff

คัดเฉพาะกลุ่มโทเค็นที่มีผลรวมความน่าจะเป็นสะสมไม่เกินค่าที่กำหนด $\sum P_i \le top\_p$ ในระบบ Kiku หากเปิดใช้งาน min_p ระบบจะปลดล็อค top_p = 1.0 โดยอัตโนมัติเพื่อไม่ให้ขัดขวางการทำงานของ Min-P

ค่ามาตรฐาน: 1.0 (Auto) ขอบเขต: 0.01 – 1.00
repeatPenalty (repetition_penalty)
Float Anti-Loop

ลดทอนค่า Logit ของโทเค็นที่เคยปรากฏในข้อความที่สร้างไปแล้ว ช่วยขจัดปัญหาโมเดลตอบวนซ้ำประโยคเดิม แต่ไม่ควรตั้งเกิน 1.25 เพราะจะทำให้โมเดลปฏิเสธการใช้คำศัพท์ไวยากรณ์ที่จำเป็น

ค่ามาตรฐาน: 1.10 ขอบเขต: 1.00 – 1.50
maxTokens (max_tokens)
Integer Output Ceiling

จำนวนโทเค็นสูงสุดที่โมเดลสามารถสร้างได้ในคำตอบเดียว ระบบได้สำรองพื้นที่บริบทสำหรับการตอบข้อยาว (Generation Reserve Buffer) ไว้ 8,192 โทเค็นเสมอ

ค่ามาตรฐาน: 8192 ขอบเขต: 256 – 32768

6.4 REST API Reference & Code Playbook

ตัวอย่างคำสั่ง cURL และโค้ด Node.js สำหรับนำไปเชื่อมต่อควบคุมการทำงานของ Inference Control Center แบบโปรแกรม: สเปกทุกเส้นทางดูได้ที่ /api-docs และ /openapi.json

1. ตรวจสอบ Telemetry ฮาร์ดแวร์ (GPU, VRAM และ CPU SMT)

GET /api/v1/system/hardware
# เรียกดูข้อมูลการ์ดจอและโครงสร้างซีพียู
curl -s http://localhost:3002/api/v1/system/hardware | jq .data

# ตัวอย่าง Response:
# {
#   "gpu": { "name": "NVIDIA GeForce RTX 2060", "vramTotalMb": 6144, "vramFreeMb": 4200, "temperatureC": 52 },
#   "cpu": { "model": "AMD Ryzen 5 3600", "physicalCores": 6, "logicalCores": 12, "smtActive": true, "recommendedThreads": 6 }
# }

2. สั่งโหลดโมเดลเข้า VRAM พร้อมกำหนด Hyper-Threading และ FlashAttention

POST /api/engine/load
# ยิงคำสั่งให้ LM Studio โหลดโมเดลพร้อมตั้งค่าความยาว Context 32K
curl -X POST http://localhost:3002/api/engine/load \
  -H "Content-Type: application/json" \
  -d '{
    "engine": "lms",
    "model": "google/gemma-4-e4b",
    "gpuOffload": "max",
    "cpuThreads": 6,
    "htMode": "physical",
    "contextLength": 32768,
    "flashAttn": true,
    "batchSize": 512,
    "ubatchSize": 128
  }'

3. ตัวอย่างการเขียนสคริปต์ Node.js สำหรับสั่งโหลดโมเดลอัตโนมัติ

Node.js ESM Script
import fetch from 'node:fetch';

async function configureInferenceEngine() {
  const payload = {
    engine: 'lms',
    model: 'google/gemma-4-e4b',
    gpuOffload: 'max',
    htMode: 'physical',
    contextLength: 32768,
    flashAttn: true
  };

  const res = await fetch('http://localhost:3002/api/engine/load', {
    method: 'POST',
    headers: { 'Content-Type': 'application/json' },
    body: JSON.stringify(payload)
  });

  const result = await res.json();
  console.log('Engine status:', result.ok ? 'Ready' : result.error);
}

configureInferenceEngine();

4. สั่งปล่อยคืน VRAM ทั้งหมด (Unload Model)

POST /api/engine/unload
curl -X POST http://localhost:3002/api/engine/unload \
  -H "Content-Type: application/json" \
  -d '{"engine": "lms", "model": "google/gemma-4-e4b"}'

5. ตั้งชื่อห้องแชทอัตโนมัติ (Two-Tier Auto Title)

POST /api/chat/title
curl -X POST http://localhost:3002/api/chat/title \
  -H "Content-Type: application/json" \
  -d '{"firstUser": "ถามเรื่องละคร花间令", "firstBot": "杨采薇由鞠婧祎饰演"}'

ตั้งชื่อทันที 0ms จากข้อความแรก แล้วตกแต่งด้วยโมเดลภายหลัง งบหลักล็อก 20 โทเค็น โมเดล reasoning ที่ตอบว่างจะ retry 768 โทเค็นหนึ่งครั้งแล้วถอยไปดึงชื่อจาก reasoning ที่เลือกไว้ ไม่บูต LM Studio เพื่องานนี้

6. ค้นหาเครื่อง LAN และดูสถานะ MCP (Discovery + Protocol)

GET /api/lan/discovery + GET /api/mcp/status
curl -s "http://localhost:3002/api/lan/discovery?iface=Wi-Fi" | head -c 600
curl -s http://localhost:3002/api/mcp/status | head -c 600

7. คู่มือการปรับจูนและแก้ปัญหา (Tuning Playbook & OOM)

ตารางการปรับแต่งตามสเปก VRAM, ขั้นตอนกู้วิกฤต VRAM Overflow และข้อควรระวัง PCIe Bus

7.1 Hardware VRAM Tiers Matrix

การปรับแต่งที่เหมาะสมที่สุดตามความจุการ์ดจอ เพื่อให้ได้ความเร็วในการสร้างโทเค็นสูงสุดและไม่เกิดอาการหน่วยความจำล้น:

VRAM Capacity โมเดลและ Quantization แนะนำ Context & KV Settings CPU SMT Mode
6 GB VRAM
(GTX 1660 / RTX 2060)
Gemma 4 E4B (Q4_K_M) Context 16,384 (16K), KV Cache: q4_0, FlashAttn: เปิด physical
8 GB VRAM
(RTX 3070 / RTX 4060)
Gemma 4 E4B (Q4_K_M หรือ Q5_K_M) Context 32,768 (32K), KV Cache: q8_0, FlashAttn: เปิด physical
12 – 16 GB VRAM
(RTX 4070 / RTX 4080)
Gemma 4 E4B (Q8_0) หรือ Qwen 2.5 14B (Q4_K_M) Context 32,768 – 65,536, KV Cache: q8_0 หรือ fp16 physical / auto
24 GB+ / Multi-GPU
(RTX 3090 / 4090 / 2x GPUs)
Qwen 2.5 32B (Q4_K_M) หรือ LLaMA 3.3 70B Context 65,536+, Multi-GPU Split: layer หรือ row smt / all
Apple Silicon Unified
(M1 – M4 / Metal)
Gemma 4 E4B (Q4_K_M) หรือ Qwen 2.5 7B Context 16,384 – 32,768 แชร์กับระบบ ห้ามจองเกิน 70% ของหน่วยความจำรวม auto
Enterprise / Data Center
(RTX 5090 Blackwell / H100 / A100 / L40S)
Qwen 2.5 32B–70B (Q4_K_M / FP8) Context 65,536 – 131,072 เปิด Continuous Batching ผ่าน vLLM smt / custom
Yellow / RED Policy: คำเตือนเหลือง (VRAM ตึง) ถูกปิดเสียงในโหมด headless เหลือเฉพาะ RED (เสี่ยง OOM จริง) ที่บังคับหยุดเสมอ ก่อนปรับให้รัน /vram check กับ /gpu status ถ้าใช้ Eval Studio แล้วพอร์ต 3001 ชน ระบบจะจับ EADDRINUSE แล้วเปิดเบราว์เซอร์ให้โดยไม่ล้ม

7.2 4-Step Deterministic Out-Of-Memory (OOM) Recovery

หากแถบวัด VRAM ในหน้า Settings แสดงสถานะสีแดงเกิน 90% หรือไดรเวอร์เกิดข้อผิดพลาด CUDA Out of Memory (exit code 1) ให้ปฏิบัติตามลำดับ 4 ขั้นตอนนี้เพื่อกู้คืนระบบโดยไม่ต้องรีบูตเครื่อง:

ขั้นตอนที่ 0: ตรวจก่อนแก้ด้วย /vram check <model> และ /gpu status
ดูงบ VRAM จริงกับอุณหภูมิและบัสก่อนเสมอ แล้วค่อยไล่ 4 ขั้นด้านล่าง หรือสั่ง POST /api/engine/unload เพื่อคืน VRAM ทั้งหมดในครั้งเดียว
ขั้นตอนที่ 1: บีบอัด KV Cache เป็น q8_0 หรือ q4_0
ส่งผลให้ขนาด KV Cache ลดลงทันที 47% ถึง 72% ช่วยคืนพื้นที่ VRAM กลับมาได้ทันที 1.2 ถึง 2.5 GB โดยไม่จำเป็นต้องลดความยาว Context
ขั้นตอนที่ 2: ปรับลดความยาว Context Length ลงหนึ่งสเต็ป
หากเดิมตั้งไว้ 32,768 ให้ปรับลดลงมาที่ 16,384 (16K) หรือ 8,192 (8K) ซึ่งเพียงพอสำหรับงานสนทนาและค้นคว้าทั่วไปถึง 95%
ขั้นตอนที่ 3: ตรวจสอบและเปิดใช้งาน flashAttn = true
ยืนยันว่าการ์ดจอรองรับ FlashAttention-2 เพื่อหลีกเลี่ยงการจัดสรร Memory Matrix ขนาดใหญ่ขณะทำ Prompt Prefill
ขั้นตอนที่ 4: ปรับสัดส่วน gpuOffload เป็นทศนิยม (เช่น 0.85)
สั่งให้ระบบแบ่งชั้นเลเยอร์ 15% ท้ายสุดไปรันบน System RAM แทนการบังคับยัดลงการ์ดจอทั้งหมด

7.3 PCIe Bandwidth & Partial Offloading Warning

ข้อควรระวังสำคัญที่สุดในการตั้งค่า Partial Offload: ช่องเสียบ PCIe Gen3 x16 มีแบนด์วิดท์สูงสุดเพียง ~15.75 GB/s (และ PCIe Gen3 x8 เพียง ~7.8 GB/s) ซึ่งต่ำกว่า VRAM บนการ์ดจอ (360–1,000 GB/s) ถึง 25–60 เท่า!

คำเตือนเรื่องความเร็วร่วง (PCIe Thrashing): หากท่านปล่อยให้โมเดลล้นไปรันบน System RAM เพียง 2–3 เลเยอร์ ทุกๆ โทเค็นที่สร้างขึ้น ข้อมูลผลลัพธ์ระหว่างเลเยอร์จะต้องถูกส่งข้ามบัส PCIe สลับไปมาระหว่างการ์ดจอกับเมนบอร์ด ความเร็วการสร้างโทเค็นจะร่วงลงจาก 70 tokens/s เหลือเพียง 8–12 tokens/s ทันที ดังนั้น ควรเลือกโมเดล Quantization ขนาดที่ บรรจุลงใน VRAM ได้ 100% เสมอเพื่อรักษาประสิทธิภาพสูงสุด

8. ระบบ Subagent & Deep Research Pipeline (Adaptive Resource Management)

ทีมวิจัยอัตโนมัติแบบขนาน: การกระจายงานเชิงลึก, การจัดสรรงบเวลาแบบปรับตัว, คลังหลักฐานนอก context และ Subagent Workspace แบบเรียลไทม์

ระบบ Subagent คือทีมวิจัยอัตโนมัติที่ทำงานเบื้องหลังทุกคำถามเชิงลึกของ Web Chat — กระจายภารกิจให้ workers หลายสายอาชีพ (แคตตาล็อกทางการ, แหล่งเว็บสด, ผู้ตรวจสอบอิสระ) ทำงานพร้อมกัน แล้วสังเคราะห์หลักฐานเป็นรายงานเดียวที่อ้างอิงได้ โดยเฉพาะบนเครื่อง Local ที่ GPU จัดลำดับการประมวลผลเอง ระบบจะสลับไปใช้ Deep-dive Worker ตัวเดียวที่ได้งบเวลาเต็ม 180 วินาที แทนการให้ 3 workers แย่งทรัพยากรกันเอง

8.1 ทางเข้าใช้งานและโหมดการทำงาน (Entry Points & Modes)

มี 3 ทางเข้า: พิมพ์ /research <คำถาม> หรือ /verify <ข้อความ> ในช่องแชท, กด Quick Actions (▸ Deep Research / ∴ Fact-Check) เพื่อเปิด modal พร้อมหัวข้อแนะนำและประวัติที่บันทึกไว้ หรือพิมพ์คำถามเชิงวิจัยตรง ๆ — scoreSubagentIntent จะให้คะแนนความตั้งใจของผู้ใช้และเลือกโหมดให้เองโดยไม่ต้องพิมพ์คำสั่ง (Anti-Hardcoded Score Ranking)

โหมด Research สังเคราะห์รายงานวิเคราะห์พร้อมแหล่งอ้างอิง ส่วนโหมด Verify จบด้วยคำตัดสินมาตรฐาน 4 ระดับ: VERIFIED / UNVERIFIED / CONFLICTING / FALSE พร้อมหลักฐานข้ามแหล่ง ผลลัพธ์แสดงเป็นการ์ดในแชทพร้อมเปิด Subagent Workspace เพื่อดูรายละเอียดการทำงานทั้งหมด

8.2 Adaptive Resource Management (งบเวลาแบบปรับตัว — ไม่ใช่ Passive Abort)

งบเวลาถูก "วางแผน" ไม่ใช่ "กำหนดตายตัว": โหมด Local ใช้งบรวม 240 วินาที แบ่งให้ worker ตามสูตร max(overall×(1−ส่วนสังเคราะห์)÷workers, overall÷(workers+1)) เพื่อการันตีว่าขั้นสังเคราะห์ได้ส่วนแบ่งเสมอ (สำรอง 25% Local / 30% Remote) เมื่อเปิดโหมด Local ระบบจะยุบเป็น Deep-dive Worker ตัวเดียว ที่รับภารกิจรวม (แคตตาล็อก + เว็บ + ตรวจสอบ) พร้อมงบเต็ม 180 วินาที ส่วน Time-Aware Wrap-up ทำให้ worker รู้เวลาที่เหลือล่วงหน้า — เมื่อเหลือต่ำกว่าเกณฑ์วิกฤต (15 วินาที) จะระงับการเปิดรอบค้นหาใหม่ทันที แล้วเข้าสู่โหมด "สรุปผลด้วยข้อมูลเท่าที่มี" ก่อนถูกตัดจบ หากหมดเวลากลางทาง รายงานจะแสดงเฉพาะ URL ที่พบจริงในผลลัพธ์เครื่องมือหรือรายงาน worker เท่านั้น (ตัดลิงก์ที่โมเดลคาดเดาขึ้นเองทิ้ง)

Decoupled Scratchpad: ทุกผลลัพธ์จากเครื่องมือ (URL, หัวข้อ, สไนปเป็ต) ถูกบันทึกลง Evidence Collector ที่อยู่นอก context ของ LLM ทันที — หากโมเดลคิด reasoning ไม่ทันจนหมดเวลา หลักฐานจะไม่หาย: ระบบแปลง scratchpad เป็น digest ส่งต่อให้ตัวสังเคราะห์ต่อ Saturation Early-Stop จะตัดลูปค้นหาทันทีเมื่อได้แหล่งข้อมูลที่ต่างกันครบเกณฑ์ (4 แหล่ง) เพื่อสงวนเวลาไปสรุปผล และ Asymmetric Model Routing อนุญาตให้ worker loop ใช้โมเดลเล็กที่เร็ว ขณะที่โมเดล Reasoning สงวนไว้สรุปผลรอบเดียว

Graceful Closure: ไม่ว่า run จะจบด้วยคำตอบสมบูรณ์ คำตอบบางส่วน หรือหมดเวลา — ระบบจะปิด tool call อย่างถูกต้อง ส่งข้อความแจ้งผลเป็นภาษาของผู้ใช้เสมอ (⏱ หมดเวลา / ⚠ ไม่สำเร็จ ครบ 5 ภาษา) และห้ามมีบับเบิลว่างหรือสถานะ "กำลังทำงาน" ค้างเป็นชั่วโมงเด็ดขาด

8.3 Subagent Workspace (แผงควบคุมด้านขวา)

แผงด้านขวาเปิดอัตโนมัติเมื่อ run เริ่มทำงาน ประกอบด้วย Stepper 3 ขั้น (01 กระจายงาน → 02 ค้นหาหลักฐาน → 03 สังเคราะห์คำตัดสิน), Telemetry Stats (STATUS / TOOLS / SOURCES / ELAPSED — โชว์เวลาที่ใช้จริงเมื่อทำงานเสร็จ), Worker Cards แสดงสถานะแต่ละสายอาชีพ, Live Timeline ของการเรียกใช้เครื่องมือและรอบวิเคราะห์ และรายงานฉบับสมบูรณ์ใน accordion พร้อมปุ่มคัดลอก / นำเข้ากลับเข้าช่องแชท

History Selector ด้านบนแผงช่วยสลับดู run ย้อนหลังของเซสชัน พร้อมปุ่มลบรายการและเคลียร์ทั้งหมด — Workspace แสดง run ทั้งหมดของเซสชันปัจจุบัน และระบบคงประวัติไว้สูงสุด 50 run ใน localStorage (kiku_subagent_history; ส่วน Deep Research modal แสดง 5 run ล่าสุด) ทุก run บันทึกเวลาเสร็จสมบูรณ์ (completedAt) เพื่อให้ ELAPSED แสดงระยะเวลาทำงานจริง ไม่ใช่อายุของ run

8.4 In-chat Cards & Live Localization (การ์ดในแชทและภาษาสด)

การ์ด Deep Research ในแชทแสดงหัวข้อ, จำนวนรอบ, เครื่องมือ, workers และปุ่มเปิด Workspace — ทุกการ์ดผูกกับ run ผ่าน data-run-id จึงถูก re-localize สดทันทีเมื่อสลับภาษา (TH / ZH / EN / JA / KO) โดยไม่ต้องรีโหลด รวมถึง timeline ที่ re-derive จากข้อมูลดิบ (tool / iteration / worker lifecycle) และ tool row ที่ค้างสถานะ running เมื่อ stream จบ จะแสดงเป็น "ไม่สำเร็จ" อย่างตรงไปตรงมาแทนการค้าง "กำลังทำงาน" ตลอดไป

8.5 Environment Variables & Tuning (ตัวแปรปรับแต่ง)

งบเวลาทั้งหมดปรับได้ผ่านตัวแปรแวดล้อม — ระบบจะเลือกกลยุทธ์เองตามว่าผู้ดูแลล็อกงบรวมหรืองบต่อ worker:

Variable Default คำอธิบาย
KIKU_RESEARCH_TIMEOUT_MS 240000 (Local) / 120000 (Remote) งบเวลารวมของการวิจัยหนึ่งรอบ — ถ้าตั้ง ระบบจะคำนวณ worker slice ให้พอดี
KIKU_RESEARCH_WORKER_TIMEOUT_MS 90000 (Local) / 45000 (Remote) งบต่อ worker — ถ้าตั้ง ระบบจะขยายงบรวมให้พอกับทุก worker + ส่วนสังเคราะห์
KIKU_RESEARCH_CONCURRENCY 1 (Local) จำนวน worker ที่รันขนานกัน — Local เริ่มที่ 1 เพราะ GPU serialize inference
KIKU_RESEARCH_WORKER_MODEL (โมเดลหลัก) โมเดลเล็ก/เร็วสำหรับ worker loop — โมเดล Reasoning สงวนให้ขั้นสังเคราะห์
KIKU_RESEARCH_SATURATION_SOURCES 4 จำนวนแหล่งที่ต่างกันขั้นต่ำก่อนตัดลูปค้นหาแบบ early-stop
KIKU_RESEARCH_WRAPUP_MS 15000 เกณฑ์เวลาวิกฤตที่เหลืออยู่ก่อนเข้าโหมด emergency wrap-up
KIKU_RESEARCH_SYNTHESIS_TIMEOUT_MS 25% ของงบรวม (Local) / 30% (Remote) เพดานขั้นต่ำของขั้นสังเคราะห์ — ระบบใช้ค่าสูงสุดระหว่างค่านี้, เวลาที่เหลือจริง, และส่วนสำรองสังเคราะห์

8.6 Language Fidelity, Safety Filter & Privileged Tools

ภาษาของรายงานยึดสคริปต์คำถามก่อน (ไทยไปไทย จีนไปจีน) แล้วจึงใช้ภาษาที่ผู้เรียกส่งมา สาย run_subagent / run_deep_research / verify_claim เป็นเครื่องมือสิทธิ์พิเศษ บน stdio ผ่านเลย บน HTTP ต้องมีคีย์ ผลเว็บดิบทุกชิ้นผ่านตัวกรองล้างข้อความ (ตัด zero-width และคำสั่งแฝง) แล้วติดป้ายข้อมูลภายนอกก่อนเข้า loop ปิดสตรีมทุกครั้งด้วยผลลัพธ์เครื่องมือพร้อมประกาศภาษาผู้ใช้ ไม่มีวันทิ้งบับเบิลว่าง

10. ข่าวกรองเรียลไทม์และงานเฝ้าระวัง (News Intelligence)

สกัดวันที่หลายภาษา แบ่งเทียร์แหล่งข่าว ติดป้ายหัวข้อ จัดอันดับตามความสดคูณความน่าเชื่อถือ และเฝ้าหัวข้อแบบอัตโนมัติ

10.1 Date Extraction, Source Tiers & Ranking

วันที่บทความไล่จาก pubDate ของ RSS แล้วฟิลด์สไตล์ JSON-LD แล้ว ISO แล้ววันที่จีน (2026年9月12日) วันที่ไทย (12 ก.ย. 2568 แปลง พ.ศ. ลบ 543) ภาษาอังกฤษ และเวลาสัมพัทธ์ (3 hours ago / 5小时前 / 2 วันที่แล้ว) แหล่งข่าวแบ่ง 3 เทียร์ คือทางการ (Weibo/Douyin/Bilibili/YouTube/IG/XHS) สื่อ (Sohu/NetEase/QQ/Sina และไทยรัฐ/สนุก/กระปุก/PPTV/TrueID) และชุมชน หัวข้อติดป้าย music / drama / brand / award / event จากแพตเทิร์นสามภาษา ผลจาก search_news กับ web_search ถูกหลอม จัดอันดับด้วยความสดคูณความน่าเชื่อถือ แล้วพับข่าวซ้ำข้ามภาษาด้วย SimHash

10.2 Watch Jobs & Suggestion Seed

คำสั่ง /news watch <topic> [--every M] ลงทะเบียนงานจับเวลาที่ยกเลิกได้ ตรวจรายการใหม่ด้วย SimHash เทียบ news-watch-state.json ส่วน /news check [topic] ตรวจครั้งเดียว /news watches ดูงานค้าง เมนู /suggestion news ป้อนหัวข้อวิจัยจากพาดหัว 7 วันล่าสุด และ tool search_news ถูกสั่งให้เป็นทางเลือกแรกของคำถามข่าวเสมอ

11. เซิร์ฟเวอร์ MCP สองช่องทางและชุดตรวจรุ่น (Dual Transport & Compat)

stdio ท้องถิ่นกับ Streamable HTTP พร้อมการยืนยันตัวตนแบบ Scoped OAuth, การคอนฟิก 10 ค่าย และการโพรบ 7 จุดก่อนรับโมเดลใหม่

11.1 Tool Surface, Transports & 10-Client Matrix

รีจิสทรีเอเจนต์มี 75 tools ส่วน MCP เปิด 70 tools ตรง + 3 นามแฝง (73 รายการ) ตามค่าเริ่มต้น หรือ 74 tools ตรง + 3 นามแฝง (77 รายการ) เมื่อเปิด KIKU_MCP_ENABLE_WEB_TOOLS=true โดยเปิดเครื่องมือจีน (chinese_web / bilibili / web_images) เป็นค่าเริ่มต้นและปิดได้ด้วย KIKU_ENABLE_CN_WEB_TOOLS=false MCP มี 8 resources และ 9 prompts ช่องทางมีสองแบบคือ stdio (kiku-mcp) กับ Streamable HTTP (POST /mcp โปรโตคอล 2025-11-25 พร้อมเจรจาถอยรุ่น) HTTP ทุกคำขอต้องผ่าน OAuth 2.1 พร้อม mcp:connect และ scope ของเครื่องมือ ส่วน stdio ทำงานภายในโปรเซสบนเครื่องและจำกัดสิทธิ์ได้ด้วย MCP_STDIO_SCOPES สคริปต์ verifyMcpToolParity.mjs ตรวจรายการเครื่องมือของสองช่องทาง หน้า /settings กับ /api/mcp/status มีตัวอย่างคอนฟิกสำหรับไคลเอนต์

11.2 7-Point Compat Probes & Quant Profiles

คำสั่ง npm run eval:compat ยิงโพรบ 7 จุด ได้แก่ การเชื่อมต่อและชื่อรุ่น สตรีมโทเค็น การแยก reasoning การเรียก tool ลูปหลายเทิร์น และชนิดอาร์กิวเมนต์ พร้อมรายงานวิธีแก้ รายงานลง artifacts/eval/compat_*.json โปรไฟล์ประหยัดคือ Qwen 2.5 7B (Q4_K_M ราว 4.8 GB) และ 3B (ราว 2.2 GB) เชื่อม Ollama พอร์ต 11434 ได้ตรง ส่วน eval เต็มรัน 500 เคส (350 แคตตาล็อก + 150 ปลอดภัย) เคสละไม่เกิน 180 วินาที งานประเมินเป็นผู้เขียนรายงานสดเพียงตัวเดียวพร้อมล็อกรันกันชน

12. ประสบการณ์แชทและวงจรข้อมูล (Chat UX & Lifecycle)

คิวคำถามรายเซสชัน ตั้งชื่อสองชั้น แก้ข้อความที่ส่งแล้ว ภาษา 5 ชาติ และแท็บข้อมูลที่เหลือ

12.1 Queue, Auto-Title & Edit

ข้อความที่ส่งขณะสตรีมไม่ถูกทิ้งแต่เข้าคิวรายเซสชัน (สูงสุด 20 ข้อ มีชิปนับพร้อมปุ่มลบ/ล้าง) แล้วไหลตามลำดับเมื่อสตรีมจบ สตรีมผูกกับเซสชันต้นทาง สลับห้องไม่ฆ่าสตรีมห้องอื่น ปุ่มหยุด ล้าง และลบมีผลเฉพาะห้องตัวเอง ตั้งชื่อห้องมีสองชั้น ชั้นแรกฮิวริสติก 0ms จาก 26 ตัวอักษรแรก ชั้นหลัง AI ตกแต่งผ่าน POST /api/chat/title ปุ่มดินสอแก้ข้อความที่ส่งแล้วจะตัดบทสนทนาตั้งแต่จุดนั้นแล้วส่งใหม่ (ไม่เก็บไฟล์แนบข้ามการแก้) โหมด reasoning ที่กินงบโทเค็นจน content ว่างจะ retry หนึ่งครั้งแล้วถอยไปดึงชื่อจาก reasoning คำถามกำกวมจะถูกถามกลับแบบมีตัวเลือกก่อนลงมือค้นเพื่อลดงานเสีย

12.2 Five Languages & Remaining Tabs

ภาษา UI (TH/ZH/EN/JA/KO) จำใน kiku_lang สลับได้ไม่ต้องโหลดหน้าใหม่ ครอบถึงแถบ Workspace การ์ดในแชท โมดัล และปุ่ม Quick Actions ภาษาคำขอไหลไปแบ็กเอนด์ (body.lang แล้ว Accept-Language แล้ว th) แท็บที่เหลือใน /settings คือ General (SOUND FX / Petals / Theme) Agent Tone กับ Persona Memory Sessions (/mem add / /mem search / /mem del / /session list) My Fan Collection และ MCP Server ไฟล์ main.css ถูกสร้างจากโมดูล ห้ามแก้ตรง ให้แก้โมดูลแล้วรีบันเดิล