Consultar LLMs e agentes no Azure Databricks

Azure Databricks fornece várias maneiras de consultar LLMs (modelos de linguagem grandes), modelos de base e agentes implantados. Escolha uma interface do usuário interativa, SQL, APIs REST ou bibliotecas de cliente, dependendo do fluxo de trabalho.

Laboratório de IA

O AI Playground é um ambiente de chat sem código em seu workspace Azure Databricks para solicitar e comparar LLMs. Use-o para experimentar prompts, ajustar parâmetros como temperatura e tokens máximos e criar protótipos de agentes de chamada de ferramentas e bots de resposta a perguntas lado a lado antes de passar para o código.

Modelos de base

O Gateway de IA do Unity atende a modelos de base de pagamento por token gerenciados por Azure Databricks por trás de uma API unificada, pronto para uso sem compromisso de infraestrutura. Escolha o tipo de serviço de modelo que melhor atende às suas necessidades:

• Serviços de modelo fornecidos pelo sistema em system.ai — serviços de modelo pré-configurados no Catálogo do Unity. Bom para começar.
• Serviços de modelo personalizado – crie seus próprios serviços de modelo para distribuir a carga em vários modelos ou configurar fallbacks. Melhor para governança avançada e escalabilidade.

Agentes de consulta

Depois de compilar e implantar um agente, faça consultas ao agente no seu aplicativo. Os agentes podem ser hospedados no Databricks Apps ou em endpoints do Mosaic AI Model Serving. Azure Databricks dá suporte a três métodos de consulta:

• Cliente Do Databricks OpenAI – recomendado para novos aplicativos, com streaming nativo e suporte a recursos completos.
• A API REST compatível com OpenAI — independente de linguagem, funciona com qualquer plataforma que já fale a API OpenAI.
• ai_query — consulte agentes legados hospedados em endpoints do Model Serving no SQL.

Enriqueça dados com Funções de IA

AI Functions são funções SQL internas que aplicam LLMs e outros modelos a dados armazenados em Azure Databricks. Execute-os no Databricks SQL, em notebooks, em Pipelines Declarativos do Lakeflow Spark ou em fluxos de trabalho para classificar tíquetes de suporte, extrair entidades de documentos, resumir conteúdo ou traduzir texto em lote e em escala.

Escolha entre dois estilos de funções:

• Funções específicas para tarefas, como ai_classify, ai_extract e ai_parse_document, são otimizadas para uma única tarefa e usam sistemas gerenciados pelo Azure Databricks e embasados por pesquisa.
• ai_query é a função para uso geral — forneça seu próprio prompt e escolha qualquer modelo fundamental suportado. Confira Usar ai_query.

Para obter um exemplo de ponta a ponta, consulte Analisar análises de clientes usando o AI Functions.