Use o Código Genie para desenvolvimento de pipelines

O Genie Code em modo Agente é o parceiro de engenharia de dados de IA para programadores no Lakeflow Pipelines Editor. Explora dados, gera e executa código de pipeline para Lakeflow Spark Declarative Pipelines (SDP) e corrige erros a partir de um único prompt.

O que é o Código Genie para desenvolvimento de pipelines?

O Genie Code em modo Agente é um parceiro autónomo que pode automatizar fluxos de trabalho completos de engenharia de dados em vários passos no SDP e no Lakeflow Pipelines Editor.

Comparado com o modo chat Genie Code, o modo Agente tem capacidades alargadas: planear uma solução, recuperar ativos relevantes, executar código, usar saídas de pipeline para melhorar resultados, corrigir erros automaticamente e muito mais.

O Genie Code em modo agente pode planear e gerar pipelines inteiros de ponta a ponta desde o início, ou acelerar o trabalho num pipeline existente. O agente trabalha consigo para aprovar os seus planos e confirmar os próximos passos antes de avançar. Com a sua aprovação, o Genie Code pode usar ferramentas para realizar tarefas como pesquisa em tabelas, editar um ficheiro-fonte SQL ou Python, executar atualizações de pipeline e ler conjuntos de dados de pipeline.

O acesso e as ações do Genie Code são regidos pelas permissões do utilizador. Ele só pode acessar dados aos quais você tem acesso e executar operações para as quais você tem permissões.

Requerimentos

Para usar o Genie Code para engenharia de dados, o seu espaço de trabalho precisa do seguinte:

• Funcionalidades de IA potenciadas por parceiros ativadas tanto para a conta como para o espaço de trabalho. Consulte Funcionalidades de IA potenciadas por parceiros.
• O seu espaço de trabalho deve estar numa região suportada. O Código Genie é um Serviço Designado que utiliza Geos para gerir a residência de dados. Consulte a disponibilidade geográfica das funcionalidades do Código Genie.

Use o Código Genie para desenvolvimento de pipelines

Para utilizar as capacidades agenticas do Genie Code para o desenvolvimento de pipelines:

1. No editor do Lakeflow Pipelines, abra o painel lateral do Genie Code clicando no Genie Code no canto superior direito da sua área de trabalho.

2. No canto inferior direito, selecione Agente. Isto ativa o modo Agente do Genie Code, permitindo-lhe usar as capacidades de engenharia de dados agentes do Genie Code.

3. Introduza um prompt para o Código Génio. Por exemplo, podes fazer perguntas sobre o teu fluxo de trabalho, como "descreve este fluxo de trabalho". Também pode pedir para adicionar novos conjuntos de dados, por exemplo, "criar silver_sales_data num novo ficheiro que leia bronze_sales_data e limpe os dados e adicione expectativas úteis de qualidade."

   Observação

   O Código Genie respeita as permissões do Catálogo Unity do utilizador, por isso só pode aceder aos dados e à fonte do pipeline a que tens acesso.

4. À medida que o Código Génio gera a sua resposta, muitas vezes faz uma pausa para obter a sua entrada:

   • Para tarefas mais complexas, o Código Genie pode criar um plano passo a passo e colocar questões de esclarecimento. Responda às suas perguntas esclarecedoras para o ajudar a aprimorar o seu plano.

   • Quando o Genie Code precisa de executar código ou atualizar um pipeline, pede a sua aprovação antes de avançar. Permitir ou Recusar sua solicitação. Também pode selecionar Permitir neste tópico (referindo-se ao tópico de conversa do Código Gênio) ou Permitir Sempre.

     Importante

     O Genie Code em modo Agente pode gerar e executar código no seu pipeline. Embora tenha guarda-corpos para evitar ações perigosas, ainda há risco. Deves usá-lo apenas com dados de confiança e deves rever o código antes de o executar.

   • À medida que o Código Genie continua a funcionar, poderá ser solicitado a selecionar Continuar ou Rejeitar. Reveja o trabalho existente, em seguida, selecione Continuar para permitir que continue para os próximos passos ou Rejeitar para indicar que deve tentar outra coisa.

   • Para parar o Código Genie enquanto está a funcionar, clique no .

O Genie Code pode criar novos ficheiros, gerar texto, consultas e código, executar ficheiros ou pipelines e aceder aos conjuntos de dados de saída para interpretar os resultados.

Recursos do modo de agente

No modo Agente, o Genie Code pode ajudar na maioria das tarefas de desenvolvimento de pipelines. As capacidades-chave incluem:

• Descoberta de dados: O Genie Code pode pesquisar tabelas no espaço de trabalho para o ajudar a encontrar os dados necessários para uma tarefa.
• Edições de código de pipeline: O Genie Code pode criar e editar vários ficheiros ao mesmo tempo. Mantém-te informado sobre quais os ficheiros que está a alterar e mostra-te o diferencial de código em cada ficheiro, para que possas rever as alterações individualmente ou em conjunto no final.
• Execução do pipeline: O Genie Code pode executar ficheiros individuais, realizar um dry-run, executar o pipeline, ou fazer uma atualização total. Quando o Código Génio quer avançar, pede a sua confirmação antes de o fazer.
• Compreender e melhorar o comportamento do pipeline: O Genie Code pode inspecionar conjuntos de dados e saídas do pipeline para o ajudar a compreender o que um pipeline está a fazer de ponta a ponta e porquê. Por exemplo, pode resumir transformações, traçar como os dados fluem para as tabelas a jusante e destacar alterações inesperadas no número de linhas ou nos esquemas. Quando surge potenciais problemas de qualidade dos dados, o Genie Code pode ajudá-lo a raciocinar sobre a sua causa e sugerir onde e como resolvê-los no processo.

Estas capacidades suportam casos de uso comuns tais como:

• Criar um novo pipeline: O Genie Code pode ajudar em todas as etapas da criação de um novo pipeline de arquitetura medallion, desde a ingestão de dados, à padronização e limpeza dos dados, até à transformação e análise dos dados.
• Explique um pipeline: O Genie Code pode analisar e explicar um pipeline existente para o ajudar a acelerar rapidamente.
• Corrigir problemas: Quando tens erros, o Genie Code pode ajudar a diagnosticar e corrigir os problemas, iterando por vários ficheiros até que o problema seja resolvido.

Migrar de outros frameworks ETL para Lakeflow Spark Declarative Pipelines

O Genie Code pode migrar um projeto de transformação de dados existente para um pipeline do Lakeflow Spark Declarative Pipelines (SDP). Aponta-o para o projeto carregado, e ele planeia e executa a migração de ponta a ponta. Esta capacidade de migração faz parte do Lakebridge e está também disponível através do transpiler Lakebridge Switch .

Migrar um projeto

1. Carrega o projeto para o Databricks. Utilize um dos seguintes procedimentos:

   • Catálogo: abra um Volume e depois carregue para este Volume.
   • Espaço de trabalho: abre um diretório e depois clica >Importar.

2. Crie um pipeline SDP vazio. Vai a Jobs & Pipelines e cria um pipeline ETL.

3. Pede-lhe ao Genie Code para o migrar. Abra o Código Genie e apresente o caminho para o seu projeto carregado, por exemplo:

   Sugestão

   Migre o projeto para /Volumes/my_catalog/my_schema/my_volume/my_project

Como funciona a migração

Depois de iniciar a migração, o Genie Code gera um plano e depois executa-o:

1. Leia a fonte. Lê o projeto fonte para compreender os seus modelos, transformações e dependências.
2. Recolhe dados. Faz uma pausa para pedir os dados necessários, como, por exemplo, se deve gerar código-fonte do pipeline em SQL ou Python.
3. Pesquise e gere uma representação intermédia (RI). Analisa o projeto e constrói uma representação intermédia que capta a lógica do pipeline independentemente da ferramenta fonte.
4. Converte, valida e repara. Converte o IR em fonte SDP, valida o resultado e itera num ciclo de reparação até que o pipeline esteja correto.

Examples

Tente as seguintes instruções para começar:

• Construa e execute um pipeline de arquitetura medallion para detecção de fraude usando as transações da tabela e os dados dos clientes em my_catalog.my_schema.
• Explica cada passo deste processo.
• "Corrige a falha neste pipeline."

Recursos adicionais

• Saiba mais sobre as funcionalidades assistivas de IA do Databricks
• Obtenha dicas para melhorar as respostas do Código Genie
• Utilize o Genie Code para a ciência de dados, na descoberta e exploração de dados
• Use o Código Genie para criação de dashboards
• Explore o Editor de Pipelines Lakeflow