Repositório de Recursos do Databricks

O Databricks Feature Store é um registro central para os recursos usados em seus modelos de IA e ML. Ao registrar tabelas de recursos e modelos no Unity Catalog, você obtém governança integrada, linhagem, junções em um ponto no tempo e compartilhamento e descoberta de recursos entre workspaces.

Com o Databricks, todo o fluxo de trabalho de treinamento do modelo ocorre em uma única plataforma, incluindo:

  • Pipelines de dados que ingerem dados brutos, criam tabelas de recursos, treinam modelos e executam inferência em lote.
  • Pontos de extremidade de disponibilização de modelos e recursos que estão disponíveis com um único clique e fornecem milissegundos de latência.
  • Monitoramento de modelos e dados.

Quando você utiliza recursos do Databricks Feature Store para treinar modelos, o modelo rastreia automaticamente a linhagem até os recursos que foram usados no treinamento. Em tempo de inferência, o modelo pesquisa automaticamente os valores de características mais recentes. O Databricks Feature Store também fornece computação sob demanda de funcionalidades para aplicativos em tempo real, gerenciando todas as tarefas de computação de funcionalidades. Isso elimina o viés de treinamento/serviço, garantindo que os cálculos de características usados na inferência sejam os mesmos usados durante o treinamento do modelo. Ele também simplifica significativamente o código do lado do cliente, pois todas as pesquisas de recursos e a computação são tratadas pelo Repositório de Recursos do Databricks.

Observação

Esta página descreve o Databricks Feature Store para workspaces habilitados para o Unity Catalog. Se o workspace não estiver habilitado para o Unity Catalog, consulte Workspace Feature Store (preterido).

Visão geral conceitual

Para obter uma visão geral de como o Databricks Feature Store funciona e um glossário de termos, consulte a visão geral e o glossário do Databricks Feature Store.

Desenvolver funcionalidades

Característica Description
Tabelas de recursos no Catálogo do Unity Crie e trabalhe com tabelas de funcionalidades.

Descobrir e compartilhar recursos

Característica Description
Explorar recursos no Catálogo do Unity Explore e gerencie tabelas de recursos usando o Gerenciador de Catálogos e a interface do usuário de recursos.
Usar marcações com tabelas de recursos e recursos no Unity Catalog Use pares de chave-valor simples para categorizar e gerenciar suas tabelas de recursos e recursos.

Usar funcionalidades em fluxos de trabalho de treinamento

Característica Description
Treinar modelos com tabelas de recursos Use recursos para treinar modelos.
Uniões de recursos de ponto no tempo Use a precisão pontual para criar um conjunto de dados de treinamento que reflita os valores das características a partir do momento em que uma observação de rótulo foi registrada.
API Python de Engenharia de Atributos Referência da API do Python

Funcionalidades de servidor

Característica Description
Repositórios de recursos do Databricks Online Forneça dados de características para aplicativos online e modelos de machine learning em tempo real. Alimentado pelo Databricks Lakebase.
Servidor de modelos com busca automática de recursos Pesquise os valores de características automaticamente de uma loja online.
Pontos de extremidade do Feature Serving Forneça recursos para modelos e aplicativos fora do Databricks.
Computação de características sob demanda Calcular valores de características no momento da inferência.

Governança e linhagem de recursos

Característica Description
Governança e linhagem de recursos Use o Catálogo do Unity para controlar o acesso a tabelas de recursos e exibir a linhagem de uma tabela de recursos, modelo ou função.

Tutorials

Tutorial Description
Exemplo de blocos de anotações para começar Notebook básico Mostra como criar uma tabela de recursos, usá-la para treinar um modelo e executar a pontuação em lote usando a pesquisa automática de recursos. Também mostra a interface do usuário da Engenharia de Recursos para pesquisar recursos e exibir a linhagem.
Exemplo de notebook de táxi. Mostra o processo de criar recursos, atualizá-los e usá-los para treinamento de modelo e inferência em lote.
Exemplo: implantar e consultar um ponto de extremidade de serviço de recursos Tutorial e exemplo de notebook mostrando como implantar e consultar um ponto de extremidade de serviço do recurso.
Exemplo: usar recursos com aplicativos RAG estruturados Tutorial mostrando como usar tabelas online do Databricks e pontos de extremidade de serviço de recursos para aplicações RAG (Geração Aumentada de Recuperação).

Requisitos

Para usar o Databricks Feature Store, seu espaço de trabalho deve estar habilitado para o Unity Catalog. Se o workspace não estiver habilitado para o Unity Catalog, consulte Workspace Feature Store (preterido).

Tipos de dados com suporte

O Repositório de Recursos do Databricks e o Repositório de Recursos de Workspace herdado dão suporte aos seguintes tipos de dados do PySpark:

  • IntegerType
  • FloatType
  • BooleanType
  • StringType
  • DoubleType
  • LongType
  • TimestampType
  • DateType
  • ShortType
  • ArrayType
  • BinaryType [1]
  • DecimalType [1]
  • MapType [1]
  • StructType [2]

[1] há suporte para BinaryType, DecimalTypee MapType em todas as versões da Engenharia de Recursos no Catálogo do Unity e no Repositório de Recursos do Workspace v0.3.5 ou superior. [2] StructType é suportado no Feature Engineering v0.6.0 ou em versões mais recentes.

Os tipos de dados listados acima dão suporte a tipos de recursos comuns em aplicativos de machine learning. Por exemplo:

  • Você pode armazenar vetores, tensores e inserções densos como ArrayType.
  • Você pode armazenar vetores, tensores e inserções esparsos como MapType.
  • Você pode armazenar texto como StringType.

Quando publicados em repositórios online, os recursos ArrayType e MapType são armazenados no formato JSON.

A interface do Armazém de Funcionalidades exibe metadados sobre os tipos de dados de funcionalidades.

Exemplo de tipos dados complexos

Mais informações

Para saber mais sobre as melhores práticas, baixe o Guia abrangente dos repositórios de recursos.

  • Last updated on