Pular para o conteúdo principal

Modelos locais

💡TL;DR

Um servidor ativo pode processar tarefas no dispositivo. Preparar modelo e protocolo antes de configurar. Isso não torna offline pesquisa Web, endpoints remotos, instalação de dependências ou tarefas enviadas à nuvem.

Preparação​

No Ollama, instalar servidor e obter modelo. No LM Studio, carregar modelo e iniciar API local. Preparar o deployment OVMS antes de criar perfil.

Selecionar perfil e nome exato do modelo, testar conexão e uma nota. Notemd não instala modelos nem inicia servidores.

Endpoint e autenticação​

PerfilURL inicialModelo de exemploProtocolo / acesso
Ollamahttp://localhost:11434/apillama3Ollama nativo; sem chave obrigatória
LMStudiohttp://localhost:1234/v1local-modelOpenAI-compatible; chave opcional, valor inicial EMPTY
OVMShttp://localhost:8000/v3openvino-modelOpenAI-compatible; configurar modelo e acesso do deployment

localhost é o dispositivo com Obsidian. A própria ligação local do telefone não chega ao modelo do computador. Endpoint LAN é serviço de rede: usar endereço e autenticação adequados, sem expor servidores abertos a redes não confiáveis.

Modelos​

Ollama lista tags obtidas por /api/tags; LM Studio pode expor /v1/models. OVMS tem regras do deployment. Estar listado não garante memória suficiente ou formato estruturado; testar pedido real.

Problemas​

  • Conexão recusada: servidor, endereço de escuta e porta.
  • Modelo ausente: obter/carregar e usar nome ou alias exato.
  • Autenticação: token real quando exigido, sem presumir EMPTY.
  • Lento/incompleto: memória, contexto e saída; começar com uma chamada.
  • Formato inválido: verificar protocolo, prompt e modelo antes dos ajustes de lote.

Quando utilizar​

Quando fronteira de dados, disponibilidade e resultados medidos forem adequados. Preparar modelos e dependências antes de desligar a rede. Rever todas as rotas: excertos locais podem ir para um LLM cloud.

Tavily e DuckDuckGo continuam online. Exportadores nativos podem precisar de ferramentas separadas. Um perfil local não garante desconexão de todas as funções.

Próximos passos​