Τοπικά μονδέλα
Οι τοπικοί παρόχοι διατηρούν το περιεχόμενο των σημειώσεων εκτός των φιλοξενούμενων APIs. Η τρέχουσα τοπική διαδρομή καλύπτει το Ollama με την αυθόρθωτη μέθοδο μεταφοράς ollama και το LMStudio μέσω της μεθόδου μεταφοράς συμβατής με το OpenAI. Δεν απαιτείται κλειδί API για καμία από τις διαδρομές, αλλά ο τοπικός σερβιτόρ και το μοντέλο πρέπει ήδη να λειτουργούν.
Αυτό αποτελεί μέρος του Obsidian Οδηγού Διαχείρισης Γνώσης AI.
Ρύθμιση
Για το Ollama, εγκαταστήστε το Ollama, προσλάβετε το μοντέλο που θέλετε, ξεκινήστε τον σερβιτόρ και προσθέστε ένα προφίλ παρόχου Ollama στο Notemd. Για το LMStudio, φορτώστε ένα μοντέλο στον τοπικό σερβιτόρ του LM Studio και προσθέστε ένα προφίλ παρόχου LMStudio.
Τα τοπικά μοντέλα είναι λειτουργικές εξαρτήσεις, όχι απλώς ρυθμίσεις. Το Notemd μπορεί να καλέσει μόνο αυτά που παρουσιάζει το τοπικό διεργασμό, οπότε επαληθεύστε το τοπικό μοντέλο εκτός του Obsidian πριν αναπαραγωγή σφάλματος του πλαγινού.
Τερματικός και αυθεντικοποίηση
| Παρόχος | Base URL | Προεπιλεγμένο μοντέλο | Κλειδί API | Σημειώσεις |
|---|---|---|---|---|
| Ollama | localhost:11434/api | llama3 | Δεν απαιτείται | Ροή NDJSON· ανακάλυψη μοντέλων μέσω του /api/tags |
| LMStudio | localhost:1234/v1 | local-model | Δεν απαιτείται | Αποστέλλει το "EMPTY" ως τοκέν προωθητή· συμβατό με το OpenAI |
Το Ollama χρησιμοποιεί την αυθόρθωτη διαδρομή /chat κάτω από το Base URL του. Το LMStudio ακολουθεί τη διαδρομή chat/completions συμβατής με το OpenAI και περιμένει ένα μοντέλο που έχει φορτωθεί στον τοπικό σερβιτόρ.
Ανακάλυψη μοντέλων
Το Ollama χρησιμοποιεί τον λειτουργικό τρόπο ανακάλυψης ollama-tags και παραθέτει τα ταγιά που έχουν προσληφθεί τοπικά. Το LMStudio χρησιμοποιεί ανακάλυψη μοντέλων συμβατής με το OpenAI όταν ο σερβιτόρ του παρουσιάζει το /v1/models.
Αν η ανακάλυψη δεν επιστρέψει τίποτα, αυτό συνήθως οφείλεται σε πρόβλημα κατάστασης του τοπικού σερβιτόρ: το μοντέλο δεν έχει προσληφθεί, δεν έχει φορτωθεί, ή ο σερβιτόρ είναι συνδεδεμένος με διαφορετικό υπολογιστή/πόρτα από αυτό που έχει καθοριστεί στο προφίλ.
Αντιμετώπιση προβλημάτων
- Αρνηθήκε η σύνδεση: ξεκινήστε το Ollama ή το LM Studio και επαληθεύστε την καθορισμένη πόρτα.
- Μοντέλο δεν βρέθηκε: προσλάβετε το ταγί Ollama ή φορτώστε το μοντέλο του LM Studio πριν κάνετε δοκιμές.
- Αργή εξόδος: μειώστε το μέγεθος του πλαισίου, χρησιμοποιήστε ένα μικρότερο τοπικό μοντέλο ή διοχετεύστε βαρετές εργασίες σε έναν φιλοξενούμενο παρόχο.
- Κενές ή μη σωστές απαντήσεις: επαληθεύστε ότι το επιλεγμένο προφίλ παρόχου ταιριάζει με το πρωτόκολλο του τοπικού σερβιτόρ· το Ollama και το LMStudio δεν είναι αμοιβαία αντικαταστάσιμα.
Πότε να το χρησιμοποιήσετε
Χρησιμοποιήστε τους τοπικούς παρόχους για ιδιωτικά αποθετήρια, εργασία χωρίς σύνδεση ή φθηνές, επαναλαμβανόμενες εργασίες. Μην υποθέτετε ότι ο τοπικός τρόπος είναι αυτόματα καλύτερος για τη σύνθεση έρευνας ή μακρά συλλογιστικά προσδιορισμούς· η ποιότητα του μοντέλου και τα όρια του υλικού είναι οι ανταλλαγές.
Επόμενα βήματα
- LLM Παρόχοι -- Πλήρης διαμόρφωση και ρύθμιση μοντέλου ανά εργασία
- Λύση προβλημάτων -- Διόρθωση σφαλμάτων connection-refused όταν ο τοπικός διακομιστής δεν εκτελείται