Bỏ qua để đến nội dung chính

Mô hình cục bộ

💡TL;DR
Nhà cung cấp cục bộ cho máy chủ mô hình trên thiết bị xử lý nội dung. Cài hoặc nạp mô hình trước rồi chọn giao thức phù hợp. Lựa chọn này không biến tìm kiếm web, điểm cuối từ xa, cài phụ thuộc hoặc tác vụ định tuyến đám mây thành ngoại tuyến.

Thiết lập​

Với Ollama, cài máy chủ và tải mô hình. Với LM Studio, nạp mô hình và khởi động máy chủ API cục bộ. Với OVMS, chuẩn bị triển khai máy chủ trước khi thêm hồ sơ Notemd.

Chọn hồ sơ, nhập đúng tên mà máy chủ cung cấp, chạy Kiểm tra kết nối rồi xử lý ghi chú thử. Notemd không cài mô hình hoặc khởi động các máy chủ thay bạn.

Điểm cuối và xác thực​

Hồ sơURL cơ sở mặc địnhTên mô hình mẫuGiao thức / xác thực
Ollamahttp://localhost:11434/apillama3Ollama gốc; không bắt buộc khóa API
LMStudiohttp://localhost:1234/v1local-modelTương thích OpenAI; khóa tùy chọn, đặt sẵn EMPTY
OVMShttp://localhost:8000/v3openvino-modelTương thích OpenAI; cấu hình mô hình và quyền của triển khai

localhost là máy đang chạy Obsidian. Điện thoại không truy cập được mô hình trên máy tính qua địa chỉ loopback của điện thoại. Điểm cuối LAN là dịch vụ mạng: dùng địa chỉ và xác thực phù hợp, không mở máy chủ không xác thực ra mạng không đáng tin.

Tìm mô hình​

Ollama liệt kê tag đã tải qua /api/tags; LM Studio có thể cung cấp /v1/models. OVMS có quy tắc theo triển khai. Danh sách không bảo đảm mô hình vừa bộ nhớ hoặc đáp ứng tác vụ có cấu trúc; hãy gửi yêu cầu thực tế.

Khắc phục sự cố​

  • Từ chối kết nối: kiểm tra máy chủ, địa chỉ lắng nghe và cổng.
  • Thiếu mô hình: tải/nạp và dùng đúng tên hoặc bí danh điểm cuối cung cấp.
  • Từ chối xác thực: dùng token máy chủ yêu cầu, không giả định EMPTY được nhận.
  • Chậm hoặc thiếu đầu ra: xem bộ nhớ, ngữ cảnh và giới hạn; bắt đầu từng yêu cầu một.
  • Sai định dạng: xác nhận giao thức, lời nhắc và khả năng mô hình trước khi đổi cài đặt hàng loạt.

Khi nên dùng​

Dùng suy luận cục bộ khi ranh giới riêng tư, khả dụng và kết quả đáp ứng nhu cầu. Chuẩn bị mô hình và phụ thuộc xuất trước khi ngắt mạng. Kiểm tra từng nhà cung cấp theo tác vụ và truy xuất cục bộ: trích đoạn vẫn gửi đến mô hình được chọn, có thể ở đám mây.

Tavily/DuckDuckGo vẫn dùng mạng. Công cụ xuất gốc có thể cần cài riêng. Mô hình cục bộ chỉ là một phần của quy trình ngoại tuyến, không bảo đảm cho mọi tính năng.

Tiếp theo​