Τοπικά μοντέλα
Προετοιμασία
Εγκαταστήστε διακομιστή/μοντέλο για Ollama ή φορτώστε μοντέλο και ξεκινήστε API στο LM Studio. Προετοιμάστε OVMS deployment ξεχωριστά. Το Notemd δεν εγκαθιστά μοντέλα ούτε εκκινεί αυτούς τους διακομιστές. Επιλέξτε ακριβές όνομα/προφίλ και δοκιμάστε σύνδεση και εργασία.
Endpoint και ταυτοποίηση
| Προφίλ | Βασική διεύθυνση | Μοντέλο παραδείγματος | Πρωτόκολλο / πρόσβαση |
|---|---|---|---|
| Ollama | http://localhost:11434/api | llama3 | Εγγενές Ollama· χωρίς υποχρεωτικό κλειδί |
| LMStudio | http://localhost:1234/v1 | local-model | OpenAI-compatible· προαιρετικό κλειδί, αρχικά EMPTY |
| OVMS | http://localhost:8000/v3 | openvino-model | OpenAI-compatible· μοντέλο και πρόσβαση από το deployment |
Το localhost αναφέρεται στη συσκευή Obsidian. Το τηλέφωνο δεν φτάνει έτσι στον υπολογιστή. Endpoint LAN χρειάζεται πραγματική διεύθυνση και κατάλληλη ασφάλεια. Μην εκθέτετε απροστάτευτους διακομιστές σε μη έμπιστα δίκτυα.
Μοντέλα
Το Ollama δείχνει tags μέσω /api/tags, το LM Studio μπορεί να παρέχει /v1/models, το OVMS ακολουθεί το deployment. Η λίστα δεν αποδεικνύει επάρκεια μνήμης ή κατάλληλη μορφή εξόδου. Δοκιμάστε πραγματικό αίτημα.
Προβλήματα
- Άρνηση σύνδεσης: διακομιστής, διεύθυνση ακρόασης και θύρα.
- Απόν μοντέλο: λήψη/φόρτωση και ακριβές alias.
- Ταυτοποίηση: πραγματικό token όπου απαιτείται, όχι τυφλά
EMPTY. - Αργό/ελλιπές: μνήμη, πλαίσιο και προϋπολογισμός· ξεκινήστε με ένα αίτημα.
- Λάθος μορφή: δείτε πρωτόκολλο, οδηγία και μοντέλο πριν ρυθμίσετε παρτίδες.
Πότε ταιριάζει
Όταν τα όρια δεδομένων, η πρόσβαση και οι μετρήσεις εξυπηρετούν την εργασία. Προετοιμάστε εξαρτήσεις πριν αποσυνδέσετε δίκτυο. Ελέγξτε όλες τις διαδρομές· τοπικά αποσπάσματα μπορούν να πάνε σε cloud LLM. Tavily/DuckDuckGo μένουν online και εξαγωγές μπορεί να απαιτούν άλλα εργαλεία.