מודלים מקומיים
💡TL;DR
שרת פעיל יכול לבצע משימות במכשיר שלכם. הכינו מודל ופרוטוקול תחילה. מחקר רשת, כתובות חיצוניות, התקנת תלויות ומשימות שנותבו לענן אינם הופכים לפעולות ללא רשת.
הכנה
התקינו שרת ומודל ל־Ollama, או טענו מודל והפעילו API ב־LM Studio. הכינו פריסת OVMS בנפרד. Notemd אינו מתקין מודלים או מפעיל שרתים אלה. בחרו שם/פרופיל מדויק ובדקו חיבור ומשימה.
נקודת קצה ואימות
| פרופיל | כתובת בסיס | מודל לדוגמה | פרוטוקול / גישה |
|---|---|---|---|
| Ollama | http://localhost:11434/api | llama3 | פרוטוקול Ollama המקורי; אין דרישת מפתח |
| LMStudio | http://localhost:1234/v1 | local-model | OpenAI-compatible; מפתח אופציונלי, ערך התחלתי EMPTY |
| OVMS | http://localhost:8000/v3 | openvino-model | OpenAI-compatible; מודל וגישה לפי הפריסה |
localhost מתייחס למכשיר Obsidian. טלפון אינו מגיע כך למחשב. רשת מקומית דורשת כתובת אמיתית ואבטחה מתאימה. אל תחשפו שרת לא מוגן לרשתות לא מהימנות.
מודלים
Ollama מציג תגיות דרך /api/tags; LM Studio עשוי להציע /v1/models; OVMS תלוי בפריסה. רשימה אינה מוכיחה זיכרון מספיק או פורמט תשובה מתאים. בדקו בקשה אמיתית.
תקלות
- חיבור נדחה: שרת, כתובת האזנה ויציאה.
- אין מודל: הורדה/טעינה וכינוי מדויק.
- אימות: אסימון אמיתי כשנדרש, לא
EMPTYאוטומטי. - איטי/חלקי: זיכרון, הקשר ותקציב; התחילו בבקשה אחת.
- פורמט שגוי: בדקו פרוטוקול, הנחיה ומודל לפני כוונון אצווה.
מתי לבחור
כאשר גבול המידע, הזמינות והתוצאה שנמדדה מתאימים. הכינו תלויות לפני ניתוק הרשת. בדקו כל ניתוב משימה: קטעים מקומיים יכולים להישלח ל־LLM בענן. Tavily/DuckDuckGo נשארים מקוונים; ייצוא ליישומים עשוי לדרוש כלים נוספים.