Cada padrão de transporte de dados. Uma plataforma.

ETL e ELT

Extração-transformação-carga clássica, ou carga primeiro com transformação dentro do data warehouse.

Conectores representativos Veja todos os 400+ conectores

Principais recursos

• É executado de forma agendada, de minutos a diariamente, para o clássico extract-transform-load em lote ou o ELT que carrega primeiro.
• Extrai tabelas estruturadas e objetos de API e pode adicionar as colunas de metadados dataddo_hash e de carimbo de data/hora de extração para upserts limpos e histórico.
• Suporta os modos de gravação append, replace e upsert, para que você controle exatamente como os registros chegam ao destino.
• Permite selecionar apenas as colunas necessárias ou aplicar hash às sensíveis, mantendo as PII fora do destino.
• Pode executar uma ressincronização completa dos dados a qualquer momento, ampliando a janela de datas para recuperar registros históricos.

Change Data Capture (CDC)

Replicação em tempo real e de baixa latência que rastreia as mudanças em nível de linha à medida que acontecem.

Conectores representativos Veja todos os 400+ conectores

Principais recursos

• Replica as mudanças quase em tempo real com CDC baseado em log, lendo as mudanças confirmadas diretamente do log de transações do banco de dados.
• Captura inserções, atualizações e exclusões - o único padrão que reflete as exclusões - com carga muito baixa sobre a fonte.
• Grava com os modos append, replace ou upsert e pode adicionar as colunas de metadados dataddo_hash e de carimbo de data/hora de extração.
• Suporta uma ressincronização inicial completa que pode ser dividida em várias execuções agendadas para tabelas muito grandes.

Streaming de dados

Pipelines contínuos e orientados a eventos para cargas de trabalho sensíveis ao tempo e prontas para IA.

Conectores representativos Veja todos os 400+ conectores

Principais recursos

• Ingere dados continuamente de fontes de eventos como topics do Kafka e webhooks de entrada, em vez de em uma programação fixa.
• É executado pelos mesmos fluxos governados que os dados em lote, de modo que esquema, acesso e linhagem são gerenciados de forma idêntica.
• Deposita o stream diretamente em data warehouses, repositórios de contexto de IA ou aplicativos posteriores para cargas de trabalho sensíveis ao tempo.
• Suporta os modos de gravação append e upsert e pode ressincronizar o conjunto de dados completo sempre que necessário.

Reverse ETL

Ative seus dados: envie registros curados e governados dos seus agentes de IA ou do data warehouse de volta para CRMs, sistemas operacionais e os aplicativos de ponta onde suas equipes agem sobre eles.

Conectores representativos Veja todos os 400+ conectores

Principais recursos

• Envia dados curados do seu data warehouse ou fonte de volta para aplicativos de negócio como CRMs, plataformas de anúncios e sistemas operacionais.
• Mapeia as colunas de origem para os campos de destino e suporta os modos de gravação append, replace e upsert.
• Baseia os upserts em dataddo_hash, de modo que os registros existentes são atualizados no lugar em vez de duplicados.
• É executado de forma agendada para manter atualizados pontuações, segmentos e atributos gerados por IA, e pode ressincronizar o conjunto de dados completo sob demanda.

Entrega de arquivos em lote

Entrega estruturada de conjuntos de dados via arquivos para S3, SFTP ou qualquer destino de armazenamento.

Conectores representativos Veja todos os 400+ conectores

Principais recursos

• Entrega e lê arquivos estruturados em CSV, JSON, XML ou Parquet, sem compactação ou compactados com GZIP.
• Segue automaticamente nomes de arquivo com carimbo de data usando marcadores de data dinâmicos, com uma programação de minutos a diária.
• Molda ou mascara os dados antes da entrega com uma etapa de transformação editável e compatível com jq, útil para remover ou transformar PII.
• Usa o modo de gravação replace para espelhar um arquivo no lugar ou append para construir histórico, e suporta uma ressincronização completa.

Cópia zero com Apache Arrow

Compartilhamento de dados em memória de alto desempenho sem sobrecarga de serialização, criado especificamente para pipelines de IA e análise.

Conectores representativos Veja todos os 400+ conectores

Principais recursos

• Compartilha dados em memória usando o formato colunar do Apache Arrow, evitando a sobrecarga de serialização da transferência linha a linha.
• Criado especificamente para pipelines de IA e análise em que grandes conjuntos de dados se movem entre etapas de processamento na velocidade da memória.
• Lê diretamente no Python, pandas ou notebooks para engenharia de features de ML e experimentação.