Configurando modelos privados compatíveis com OpenAI
Os modelos privados compatíveis com OpenAI permitem conectar e gerenciar seus próprios endpoints semelhantes aos da OpenAI diretamente no AI Gateway.Isso oferece total flexibilidade para integrar modelos de provedores como Groq, Together AI, Mistral ou qualquer implantação personalizada compatível com OpenAI, tudo com isolamento e propriedade no nível do workspace. Depois de configurados, esses modelos ficam disponíveis em todo o Toqan Router e podem ser usados facilmente em Deployments, Experiments e no AI Gateway.
Recursos compatíveis
Os modelos privados compatíveis com OpenAI oferecem os mesmos recursos que os modelos padrão da OpenAI, incluindo:- Chat completion com chamada de funções e saídas estruturadas.
- Geração de embeddings para busca vetorial e recuperação semântica.
- Endpoints de geração de imagens (compatíveis com DALL-E).
- Completion (modelos legados e ajuste por instruções).
- Recursos de visão, quando o provedor oferece suporte.
Adicionando um modelo privado compatível com OpenAI
Para criar um modelo privado, acesse o AI Gateway no Studio do Toqan Router, clique em Model no canto superior direito e selecione OpenAI Compatible. Você verá um formulário de configuração no qual poderá definir todos os detalhes de conexão do seu modelo.Configurações de conexão
Configurações gerais
Configuração avançada
Salvando e validando sua configuração
Depois de preencher o formulário de configuração, clique em Add Model.O Toqan Router valida automaticamente sua configuração:
- Verificando a conectividade do endpoint.
- Verificando sua chave de API e a autenticação.
- Testando os recursos compatíveis do modelo.
- Deployments
- Experiments
- Chamadas ao AI Gateway