Pular para o conteúdo principal
Casos de uso
  • Analisar imagens ou PDFs enviados sem um pipeline de pré-processamento separado.
  • Gerar imagens a partir de prompts de texto com a mesma API e a mesma chave.
  • Transcrever gravações de áudio ou entradas de voz para processamento posterior.
  • Extrair dados estruturados de documentos digitalizados, recibos ou capturas de tela.

O AI Gateway oferece suporte a todas as modalidades de entrada e saída por meio de uma única API compatível com OpenAI, incluindo a Responses API. Todos os endpoints compartilham a mesma URL base, a mesma autenticação e as mesmas funcionalidades do AI Gateway: fallbacks, cache, balanceamento de carga e novas tentativas. Todos os endpoints usam a mesma URL base e a mesma autenticação:
Esta página cobre o envio e a geração de cada modalidade de ponta a ponta. Quais modelos aceitam entrada de imagem, PDF ou áudio, o contrato das partes de conteúdo e o envio por URL versus base64 são tratados em Enviar arquivos para modelos. Para ver o catálogo por endpoint, consulte Modelos compatíveis ou a página Provedores.

Entrada de imagem

Analise imagens junto com texto. Passe URLs de imagens ou arquivos codificados em base64 nas mensagens de chat/completions.

Entrada de PDF

Envie documentos PDF para extração e análise. Compatível nativamente com os modelos que oferecem suporte.

Geração de imagens

Gere, edite e crie variações de imagens com os modelos GPT Image.

Áudio

Converta texto em fala, transcreva arquivos de áudio e traduza áudio para inglês.

Entrada de imagem

Analise imagens junto com texto usando POST /v3/router/responses ou POST /v3/router/chat/completions. Passe as imagens como URLs públicas ou dados codificados em base64 no array de conteúdo da mensagem. Para o ciclo de vida dos arquivos, consulte a Files API.

Formatos compatíveis

Níveis de detalhe

Defina detail no objeto image_url:

Padrões

Várias imagens:
OCR e extração de texto:
Saída estruturada:

Limitações

Entrada de PDF

Envie documentos PDF diretamente nas mensagens para análise e extração de conteúdo usando POST /v3/router/responses ou POST /v3/router/chat/completions.
O suporte a entrada de PDF varia por modelo. Consulte a página Modelos compatíveis e verifique na documentação do seu provedor se há suporte a PDF. Para o ciclo de vida dos arquivos e para transformar documentos enviados em fontes de dados de knowledge base, consulte a Files API.
Os campos das partes de conteúdo input_file e file são especificados uma única vez, em Enviar arquivos para modelos.

Casos de uso

Limitações

Geração de imagens

Gere imagens a partir de um prompt de texto usando POST /v3/router/images/generations.
Para ver a lista completa e atualizada de modelos de imagem compatíveis, consulte Modelos de imagem na página Modelos compatíveis.

Parâmetros

Defina response_format como url para receber um link de imagem hospedada, ou como b64_json para receber a imagem inline como uma string codificada em base64.
A geração de imagens com streaming (stream: true) tem estas restrições:
  • n deve ser 1
  • response_format não é compatível
  • size deve ser 1024x1024, 1024x1536, 1536x1024 ou auto
Requisições fora dessas restrições retornam um erro 400 antes de o stream ser aberto.

Edição de imagens

Modifique uma imagem existente usando um prompt e uma máscara opcional com POST /v3/router/images/edits.

Variações de imagens

Gere variações de uma imagem existente com POST /v3/router/images/variations. Consulte Modelos de imagem para saber quais modelos oferecem suporte a variações.

Fallbacks e confiabilidade

Os endpoints de imagem aceitam os mesmos parâmetros fallbacks e retry que as chat completions:
TypeScript

Áudio

O AI Gateway expõe três endpoints de áudio compatíveis com OpenAI. Todos oferecem suporte a fallbacks, balanceamento de carga e novas tentativas.

Texto para fala

Converta texto em áudio usando POST /v3/router/audio/speech.
Para ver a lista completa e atualizada de modelos de TTS, consulte Modelos de texto para fala na página Modelos compatíveis.
Streaming: processe os chunks de áudio em tempo real à medida que chegam, o que é útil para pipelines de reprodução de baixa latência.
Parâmetros: Vozes:

Transcrição

Transcreva um arquivo de áudio para texto usando POST /v3/router/audio/transcriptions.
Para ver a lista completa e atualizada de modelos de transcrição, consulte Modelos de fala para texto na página Modelos compatíveis.
Parâmetros:

Tradução

O endpoint de tradução da OpenAI aceita apenas openai/whisper-1. gpt-4o-transcribe e gpt-4o-mini-transcribe não oferecem suporte a tradução.
Transcreva e traduza áudio para inglês usando POST /v3/router/audio/translations. A saída é sempre em inglês, independentemente do idioma de origem.
A tradução aceita os mesmos parâmetros response_format e temperature que a transcrição.