Model setempat

💡TL;DR

Penyedia setempat membolehkan pelayan model pada peranti memproses kandungan tugas. Pasang atau muatkan model dahulu, kemudian tetapkan protokol sepadan. Memilih LLM setempat tidak menjadikan carian web, titik akhir jauh, pemasangan kebergantungan atau tugas awan berasingan luar talian.

Persediaan

Bagi Ollama, pasang pelayan dan muat turun model. Bagi LM Studio, muatkan model dan mulakan pelayan API setempat. Bagi OVMS, sediakan deployment pelayan sebelum menambah profil Notemd.

Pilih pratetap, masukkan nama model tepat yang didedahkan pelayan, jalankan Test connection dan proses nota ujian. Notemd tidak memasang model atau memulakan pelayan ini untuk anda.

Titik akhir dan pengesahan

Pratetap	URL asas lalai	Pemegang tempat model	Protokol / pengesahan
Ollama	http://localhost:11434/api	llama3	Ollama natif; tiada kunci API diperlukan
LMStudio	http://localhost:1234/v1	local-model	Serasi OpenAI; kunci pilihan, nilai pratetap EMPTY
OVMS	http://localhost:8000/v3	openvino-model	Serasi OpenAI; tetapkan model dan keperluan akses deployment

localhost ialah mesin yang menjalankan Obsidian. Telefon tidak boleh mengakses model komputer melalui alamat gelung baliknya sendiri. Titik akhir LAN ialah perkhidmatan rangkaian: gunakan alamat sebenar dan pengesahan sesuai, serta elakkan mendedahkan pelayan tanpa pengesahan kepada rangkaian tidak dipercayai.

Penemuan model

Ollama menyenaraikan tag dimuat turun melalui /api/tags. LM Studio boleh menyediakan /v1/models. OVMS mempunyai peraturan penemuan deployment sendiri. Model tersenarai tidak menjamin muat dalam memori atau mampu menjalankan tugas berstruktur; uji permintaan sebenar.

Penyelesaian masalah

• Sambungan ditolak: semak keadaan pelayan, alamat dengar dan port.
• Model tiada: muat turun/muatkan dan gunakan nama atau alias tepat pelayan.
• Pengesahan ditolak: masukkan token sebenar, jangan anggap EMPTY diterima.
• Hasil perlahan/tidak lengkap: semak memori, konteks serta had keluaran; mulakan satu permintaan pada satu masa.
• Format rosak: sahkan protokol, prompt dan keupayaan model sebelum tetapan kelompok.

Bila digunakan

Gunakan inferens setempat apabila batas privasi, ketersediaan dan hasil terukur memenuhi keperluan. Sediakan model dan kebergantungan eksport pilihan sebelum memutuskan rangkaian. Semak setiap penyedia khusus tugas serta dapatan setempat: petikan dihantar kepada LLM pilihan yang mungkin masih dihoskan awan.

Penyelidikan Tavily/DuckDuckGo tetap dalam talian. Pengeksport natif mungkin memerlukan alat berasingan. Penyedia setempat ialah satu komponen aliran luar talian, bukan jaminan semua ciri.

Seterusnya

• Gambaran penyedia: penghalaan dan semua pratetap.
• Konfigurasi: penyedia tugas serta bahasa.
• Penyelesaian masalah: asingkan kegagalan pelayan dan tugas.