מודלים מקומיים
הספקים המקומיים שומרים את תוכן הרשימות מחוץ לשרתים המאוחסנים API. השביל המקומי הנוכחי מכסה את Ollama באמצעות התשלום המקומי ollama ואת LMStudio באמצעות התשלום התואם OpenAI. אין צורך במפתח API עבור אף אחד מהשבילים, אך השרת המקומי והמודל חייבים לכבר לרוץ.
זהו חלק מהObsidian מדריך ניהול ידע AI.
הגדרה
עבור Ollama, התקינו את Ollama, הורידו את המודל שאתם רוצים, הפעילו את השרת, והוסיפו פרופיל של ספק Ollama ב-Notemd. עבור LMStudio, טענו מודל בשרת המקומי של LM Studio והוסיפו פרופיל של ספק LMStudio.
מודלים מקומיים הם תלויויות תפעוליות, ולא רק הגדרות. Notemd יכול רק לקרוא את מה שהתהליך המקומי מציג, לכן יש לבדוק את המודל המקומי מחוץ ל-Obsidian לפני תיקון הפלגין.
קצה ואימות
| ספק | Base URL | מודל ברירת המחדל | מפתח API | הערות |
|---|---|---|---|---|
| Ollama | localhost:11434/api | llama3 | לא נדרש | NDJSON שידור חי; גילוי מודלים באמצעות /api/tags |
| LMStudio | localhost:1234/v1 | local-model | לא נדרש | שולח את "EMPTY" כטוקן בעל; תואם OpenAI |
Ollama משתמש בנתיב המקומי /chat שמתחת ל‑Base URL שלו. LMStudio עוקב אחר המסלול התואם OpenAI של chat/completions ומצפה למודל שנטען בשרת המקומי.
גילוי מודלים
Ollama משתמש במוד של גילוי ollama-tags ומציג את התגים שהורדו לוקאלית. LMStudio משתמש בגילוי מודלים תואם OpenAI כאשר השרת שלו חושף את /v1/models.
אם החיפוש אינו מחזיר דבר, זה בדרך כלל בעיה של מצב השרת המקומי: המודל לא הורד, לא טוען, או שהשרת מחובר למארח/פורט שונים מאלו של הפרופיל.
פתרון בעיות
- התחברות נדחתה: הפעילו את Ollama או את LM Studio ואשרו את הפורט המוגדר.
- המודל לא נמצא: הורידו את התג Ollama או טענו את מודל LM Studio לפני הבדיקה.
- פלט איטי: הקטינו את גודל ההקשר, השתמשו במודל מקומי קטן יותר, או העבירו משימות כבדות לספק המארח.
- תגובות ריקות או לא תקינות: ודאו שפרופיל הספק הנבחר תואם את פרוטוקול השרת המקומי; Ollama ו-LMStudio אינם ניתנים להחלפה.
מתי להשתמש
השתמשו בספקים מקומיים לארונות פרטיים, עבודה ללא אינטרנט, או משימות חוזרות וזולות. אל תניחו שהשימוש במקומי הוא אוטומטית טוב יותר לסינתזת מחקר או לחשיבה ארוכת טווח; איכות המודל ומגבלות החומרה הם הפשרה.
צעדים באופק
- LLM ספקים -- תצורה מלאה והגדרת מודל לכל משימה
- פתרון בעיות -- תיקון שגיאות connection-refused כאשר השרת המקומי אינו פועל