โมเดลท้องถิ่น
ผู้ให้บริการท้องถิ่นจะไม่เก็บเนื้อหาของบันทึกไว้ใน APIs ที่โฮสต์ไว้ เส้นทางท้องถิ่นปัจจุบันครอบคลุม Ollama โดยใช้การส่งข้อมูลแบบ ollama ดั้งเดิมและ LMStudio ผ่านการส่งข้อมูลที่สอดคล้องกับ OpenAI ไม่จำเป็นต้องมีคีย์ API สำหรับเส้นทางใดๆ แต่เซิร์ฟเวอร์และโมเดลท้องถิ่นจะต้องทำงานอยู่ก่อน
นี่เป็นส่วนหนึ่งของ Obsidian คู่มือการจัดการความรู้ด้วย AI
การตั้งค่า
สำหรับ Ollama ให้ติดตั้ง Ollama ดึงโมเดลที่ต้องการ รันเซิร์ฟเวอร์ และเพิ่มโปรไฟล์ผู้ให้บริการ Ollama ใน Notemd สำหรับ LMStudio ให้โหลดโมเดลในเซิร์ฟเวอร์ท้องถิ่นของ LM Studio และเพิ่มโปรไฟล์ผู้ให้บริการ LMStudio
โมเดลท้องถิ่นเป็นส่วนประกอบที่จำเป็นต่อการทำงาน ไม่ใช่เพียงแค่การตั้งค่าเท่านั้น Notemd สามารถเรียกใช้ได้เฉพาะสิ่งที่กระบวนการท้องถิ่นเปิดเผยเท่านั้น ดังนั้นควรตรวจสอบโมเดลท้องถิ่นนอก Obsidian ก่อนที่จะดีบักพลักอิน
จุดจบและการยืนยันตัวตน
| ผู้ให้บริการ | Base URL | โมเดลเริ่มต้น | คีย์ API | หมายเหตุ |
|---|---|---|---|---|
| Ollama | localhost:11434/api | llama3 | ไม่จำเป็น | การสตรีม NDJSON; การค้นหาโมเดลผ่าน /api/tags |
| LMStudio | localhost:1234/v1 | local-model | ไม่จำเป็น | ส่ง "EMPTY" ในรูปแบบบีอาร์เออร์โทเค็น; สอดคล้องกับ OpenAI |
Ollama ใช้เส้นทาง /chat ดั้งเดิมใต้ Base URL ของมัน LMStudio จะใช้เส้นทาง chat/completions ที่สอดคล้องกับ OpenAI และคาดหวังว่าจะมีโมเดลที่ถูกโหลดไว้ในเซิร์ฟเวอร์ท้องถิ่น
การค้นหาโมเดล
Ollama ใช้โหมดการค้นหา ollama-tags และแสดงรายการแท็กที่ดึงมาจากท้องถิ่น LMStudio ใช้การค้นหาโมเดลที่สอดคล้องกับ OpenAI เมื่อเซิร์ฟเวอร์ของมันเปิดเผย /v1/models
หากการค้นหาไม่พบอะไรเลย มักเกิดจากปัญหาสถานะของเซิร์ฟเวอร์ท้องถิ่น นั่นคือโมเดลยังไม่ได้รับการดึงหรือโหลด หรือเซิร์ฟเวอร์ถูกกำหนดให้ใช้ฮอสต์/พอร์ตที่แตกต่างจากโปรไฟล์
การแก้ไขปัญหา
- การเชื่อมต่อถูกปฏิเสธ: เริ่มต้น Ollama หรือ LM Studio และตรวจสอบพอร์ตที่กำหนดไว้.
- ไม่พบโมเดล: ดึงแท็ก Ollama หรือโหลดโมเดล LM Studio ก่อนทำการทดสอบ.
- ผลลัพธ์ช้า: ลดขนาดคอนเท็กซ์ต์ ใช้โมเดลท้องถิ่นที่มีขนาดเล็กลง หรือส่งงานที่มีภาระหนักไปยังผู้ให้บริการที่โฮสต์.
- คำตอบว่างหรือมีรูปแบบผิด: ตรวจสอบให้แน่ใจว่าโปรไฟล์ผู้ให้บริการที่เลือกสอดคล้องกับโปรโตคอลของเซิร์ฟเวอร์ท้องถิ่น; Ollama และ LMStudio ไม่สามารถใช้แทนกันได้.
เมื่อควรใช้
ใช้ผู้ให้บริการท้องถิ่นสำหรับตู้เซฟส่วนตัว การทำงานออฟไลน์ หรืองานที่ต้องทำซ้ำและมีค่าใช้จ่ายต่ำ อย่าสันนิษฐานว่าการใช้ท้องถิ่นจะดีกว่าโดยอัตโนมัติสำหรับการสังเคราะห์ข้อมูลเพื่อการวิจัยหรือการให้เหตุผลระยะยาว เนื่องจากคุณภาพของโมเดลและข้อจำกัดด้านฮาร์ดแวร์คือสิ่งที่ต้องแลกเปลี่ยนกัน.
ขั้นตอนต่อไป
- LLM Providers -- การกำหนดค่าเต็มรูปแบบและการตั้งค่าโมเดลสำหรับแต่ละงาน
- Troubleshooting -- วิธีแก้ไขข้อผิดพลาดการเชื่อมต่อถูกปฏิเสธเมื่อเซิร์ฟเวอร์ท้องถิ่นไม่ทำงาน