Consultar LLMs e agentes em Azure Databricks

O Azure Databricks oferece múltiplas formas de consultar grandes modelos de linguagem (LLMs), modelos de fundação e agentes implementados. Escolha uma interface interativa, SQL, APIs REST ou bibliotecas de clientes dependendo do seu fluxo de trabalho.

Ambiente de Teste de IA

O AI Playground é um ambiente de chat sem código no seu espaço de trabalho Azure Databricks para enviar prompts e comparar LLMs. Utilize-o para experimentar instruções, ajustar parâmetros como a temperatura e o número máximo de tokens, e criar protótipos de agentes com chamada de ferramentas e bots de perguntas e respostas, lado a lado, antes de passar ao código.

Modelos de fundação

O Unity AI Gateway serve modelos de fundação pay-per-token geridos pelo Azure Databricks, com base numa API unificada, pronta a usar sem compromisso de infraestrutura. Escolha o tipo de serviço modelo que se adapte às suas necessidades:

• Serviços de modelo fornecidos por sistema em system.ai — serviços de modelo pré-configurados no Unity Catalog. Bom para começar.
• Serviços de modelos personalizados — crie os seus próprios serviços de modelos para distribuir a carga entre múltiplos modelos ou configurar mecanismos de recurso. Ideal para governação avançada e escala.

Agentes de consulta

Depois de construir e implementar um agente, faça uma consulta ao agente da sua aplicação. Os agentes podem ser alojados no Databricks Apps ou nos endpoints do Mosaic AI Model Serving. O Azure Databricks suporta três métodos de consulta:

• Databricks OpenAI Client — recomendado para novas aplicações, com streaming nativo e suporte completo a funcionalidades.
• API REST compatível com OpenAI — independente da linguagem, funciona com qualquer plataforma que já utilize a API OpenAI.
• ai_query — consultar agentes legados alojados em endpoints de Model Serving a partir de SQL.

Enriquecer dados usando Funções de IA

Funções de IA são funções SQL integradas que aplicam LLMs e outros modelos aos dados armazenados no Azure Databricks. Execute-os a partir de SQL do Databricks, notebooks, Lakeflow Spark Declarative Pipelines ou Workflows para classificar tickets de suporte, extrair entidades de documentos, resumir conteúdos ou traduzir texto em escala de lote.

Escolha entre dois estilos de funções:

• Funções específicas de tarefa como ai_classify, ai_extract e ai_parse_document são otimizadas para uma única tarefa e utilizam sistemas geridos por Azure Databricks e apoiados por investigação.
• ai_query é a função de propósito geral — forneça o seu próprio prompt e escolha qualquer modelo de fundação suportado. Consultar Usar ai_query.

Para um exemplo de ponta a ponta, veja Analisar avaliações de clientes usando Funções de IA.