ข้ามไปยังเนื้อหาหลัก

โมเดลภายในเครื่อง

💡TL;DR
เซิร์ฟเวอร์ที่เปิดอยู่สามารถรันงานบนอุปกรณ์ของคุณได้ ต้องเตรียมโมเดลและโพรโทคอลก่อน การค้นคว้าเว็บ endpoint ภายนอก การติดตั้ง dependency และงานที่แยกส่งไปคลาวด์ไม่ได้เปลี่ยนเป็นออฟไลน์

เตรียมการ​

ติดตั้งเซิร์ฟเวอร์และโมเดลของ Ollama หรือโหลดโมเดลและเปิด API ใน LM Studio เตรียม OVMS deployment แยกต่างหาก Notemd ไม่ติดตั้งโมเดลและไม่เริ่มเซิร์ฟเวอร์เหล่านี้ให้ เลือกชื่อและโปรไฟล์ตรงจริง แล้วทดสอบทั้งการเชื่อมต่อและงาน

Endpoint และการยืนยันตัวตน​

โปรไฟล์URL ฐานโมเดลตัวอย่างโพรโทคอล / สิทธิ์
Ollamahttp://localhost:11434/apillama3โพรโทคอล Ollama โดยตรง ไม่บังคับคีย์
LMStudiohttp://localhost:1234/v1local-modelOpenAI-compatible คีย์เป็นทางเลือก เริ่มที่ EMPTY
OVMShttp://localhost:8000/v3openvino-modelOpenAI-compatible โมเดลและสิทธิ์ขึ้นกับ deployment

localhost หมายถึงอุปกรณ์ที่รัน Obsidian โทรศัพท์ไม่สามารถใช้ที่อยู่นี้เพื่อเข้าถึงคอมพิวเตอร์ได้ endpoint ใน LAN ต้องใช้ที่อยู่จริงและการป้องกันที่เหมาะสม อย่าเปิดเซิร์ฟเวอร์ไร้การป้องกันไปยังเครือข่ายที่ไม่เชื่อถือ

โมเดล​

Ollama แสดง tags ผ่าน /api/tags ส่วน LM Studio อาจมี /v1/models และ OVMS ขึ้นกับ deployment รายการโมเดลไม่พิสูจน์ว่าหน่วยความจำพอหรือผลลัพธ์มีรูปแบบที่เหมาะ ต้องลองคำขอจริง

ปัญหา​

  • เชื่อมต่อถูกปฏิเสธ: เซิร์ฟเวอร์ ที่อยู่รับฟัง และพอร์ต
  • ไม่มีโมเดล: ดาวน์โหลด/โหลดและตรวจ alias ให้ตรง
  • การยืนยันตัวตน: ใช้ token จริงเมื่อจำเป็น ไม่ใช้ EMPTY โดยไม่ตรวจ
  • ช้าหรือไม่ครบ: หน่วยความจำ บริบท และงบ เริ่มทีละคำขอ
  • รูปแบบผิด: ตรวจโพรโทคอล พรอมป์ต์ และโมเดลก่อนปรับงานชุด

เหมาะกับกรณีใด​

เมื่อขอบเขตข้อมูล ความพร้อม และผลที่วัดได้เหมาะสม เตรียม dependency ก่อนตัดเครือข่าย ตรวจเส้นทางทุกงาน เพราะข้อความในเครื่องอาจถูกส่งให้ LLM บนคลาวด์ Tavily/DuckDuckGo ยังออนไลน์ และการส่งออกผ่านแอปจริงอาจต้องใช้เครื่องมือแยก

ขั้นต่อไป​