주요 콘텐츠로 이동

로컬 모델

💡TL;DR
실행 중인 서버가 장치에서 추론할 수 있습니다. 먼저 모델과 프로토콜을 준비하세요. 웹 연구, 원격 endpoint, 의존성 설치와 별도 클라우드 작업은 오프라인이 되지 않습니다.

준비​

Ollama 서버/모델을 설치하거나 LM Studio에서 모델을 로드해 API를 시작합니다. OVMS는 deployment를 준비하세요. Notemd가 모델을 설치하거나 서버를 시작하지는 않습니다. 정확한 프로필/모델 이름으로 연결과 노트를 시험합니다.

Endpoint와 인증​

프로필초기 URL예시 모델프로토콜 / 접근
Ollamahttp://localhost:11434/apillama3Ollama 네이티브; 키 필수 아님
LMStudiohttp://localhost:1234/v1local-modelOpenAI-compatible; 키 선택, 초기 EMPTY
OVMShttp://localhost:8000/v3openvino-modelOpenAI-compatible; deployment 모델과 접근 설정

localhost는 Obsidian을 실행하는 장치입니다. 휴대전화의 loopback은 PC 모델에 닿지 않습니다. LAN endpoint에는 실제 주소와 인증을 사용하고 신뢰하지 않는 망에 무인증 서버를 노출하지 마세요.

모델​

Ollama는 /api/tags로 받은 tag를, LM Studio는 /v1/models로 노출 모델을 확인할 수 있습니다. OVMS는 deployment 규칙을 따릅니다. 목록에 있어도 메모리나 구조화 출력이 충분하다는 뜻은 아닙니다.

문제 해결​

  • 연결 거부: 서버·listen 주소·port.
  • 모델 없음: 다운로드/로드 및 정확한 alias.
  • 인증: 필요한 실제 token 사용, EMPTY를 가정하지 않습니다.
  • 느리거나 잘림: 메모리·문맥·예산을 확인하고 한 요청으로 시작합니다.
  • 형식 오류: 배치 설정 전에 프로토콜·prompt·모델을 검증합니다.

적합한 용도​

데이터 경계와 실제 가용성·측정 결과가 맞을 때 선택하세요. 네트워크를 끊기 전에 모델/의존성을 준비하고 모든 작업별 경로를 확인합니다. 로컬 발췌도 클라우드 LLM으로 갈 수 있습니다. Tavily/DuckDuckGo는 계속 온라인이며 네이티브 export는 별도 도구가 필요할 수 있습니다.

다음 단계​