Consulta de modelos de visão

Neste artigo, você aprenderá a escrever solicitações de consulta para modelos de base otimizados para tarefas de visão e servidos pelo Gateway de IA do Unity.

Query the databricks-claude-sonnet-4-5 model using the OpenAI client, sending a base64-encoded image from a URL alongside a text question, and print the response.

O Model Serving fornece uma API unificada para entender e analisar imagens usando uma variedade de modelos de base, desbloqueando recursos multimodal avançados. Essa funcionalidade está disponível por meio de modelos específicos hospedados pelo Databricks, como parte das APIs do Foundation Model e dos pontos de extremidade que oferecem suporte a modelos externos.

Requisitos

• Confira os Requisitos
• Instale o pacote apropriado no cluster com base na opção de cliente de consulta escolhida.

Exemplos de consulta

Cliente OpenAI

Para usar o cliente OpenAI, especifique o nome do serviço de modelo como a model entrada.

from openai import OpenAI
import base64
import requests

# Get the workspace API URL and token from the notebook context
API_ROOT = dbutils.notebook.entry_point.getDbutils().notebook().getContext().apiUrl().get()
API_TOKEN = dbutils.notebook.entry_point.getDbutils().notebook().getContext().apiToken().get()

client = OpenAI(
    api_key=API_TOKEN,
    base_url=f"{API_ROOT}/ai-gateway/mlflow/v1",
)

# Download and encode image
image_url = "https://upload.wikimedia.org/wikipedia/commons/a/a7/Camponotus_flavomarginatus_ant.jpg"
resp = requests.get(image_url)
resp.raise_for_status()
image_data = base64.b64encode(resp.content).decode("utf-8")

# OpenAI request
completion = client.chat.completions.create(
    model="system.ai.claude-sonnet-4-5",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "what's in this image?"},
                {
                    "type": "image_url",
                    "image_url": {"url": f"data:image/jpeg;base64,{image_data}"},
                },
            ],
        }
    ],
)

print(completion.choices[0].message.content)

A API de Conclusões de Chat dá suporte a várias entradas de imagem, permitindo que o modelo analise cada imagem e sintetize informações de todas as entradas para gerar uma resposta ao prompt.

from openai import OpenAI
import base64
import requests

# Get the workspace API URL and token from the notebook context
API_ROOT = dbutils.notebook.entry_point.getDbutils().notebook().getContext().apiUrl().get()
API_TOKEN = dbutils.notebook.entry_point.getDbutils().notebook().getContext().apiToken().get()

client = OpenAI(
    api_key=API_TOKEN,
    base_url=f"{API_ROOT}/ai-gateway/mlflow/v1",
)

# Download and encode multiple images
image1_url = "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"
resp1 = requests.get(image1_url)
resp1.raise_for_status()
image1_data = base64.b64encode(resp1.content).decode("utf-8")

image2_url = "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"
resp2 = requests.get(image2_url)
resp2.raise_for_status()
image2_data = base64.b64encode(resp2.content).decode("utf-8")

# OpenAI request
completion = client.chat.completions.create(
    model="system.ai.claude-sonnet-4-5",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "What are in these images? Is there any difference between them?"},
                {
                    "type": "image_url",
                    "image_url": {"url": f"data:image/jpeg;base64,{image1_data}"},
                },
                {
                    "type": "image_url",
                    "image_url": {"url": f"data:image/jpeg;base64,{image2_data}"},
                },
            ],
        }
    ],
)

print(completion.choices[0].message.content)

SQL

As consultas a seguir utilizam um modelo de base suportado pelas APIs de Modelo de Base do Databricks para entrada multimodal usando a Função de IA ai_query().

> SELECT *, ai_query(
  'system.ai.llama-4-maverick',
 'what is this image about?', files => content)
as output FROM READ_FILES("/Volumes/main/multimodal/unstructured/image.jpeg");

Modelos com suporte

Consulte tipos de modelo Foundation para modelos de visão suportados.

Requisitos de imagem de entrada

Conversão de imagem em token

Esta seção se aplica somente às APIs do Modelo de Fundação. Para modelos externos, consulte a documentação do provedor.

Cada imagem em uma solicitação para um modelo de base contribui para o uso de tokens. Consulte a calculadora de preços para estimar o preço da imagem com base no uso do token e no modelo que você está usando.

Limitações de compreensão de imagem

Esta seção se aplica somente às APIs do Modelo de Fundação. Para modelos externos, consulte a documentação do provedor.

Veja a seguir as limitações de compreensão de imagem para os modelos de base hospedados pelo Databricks com suporte:

Recursos adicionais

• Consultar um modelo de inserção.
• Modelos de raciocínio de consulta.
• Consultar um modelo de chat.