Nexos Data
← Voltar para o blog

Data Warehouse

Melhores Práticas com Amazon Redshift: arquitetura, organização e armazenamento

· Equipe Nexos

Melhores Práticas com Amazon Redshift: arquitetura, organização e armazenamento

Implementar Amazon Redshift de forma eficiente requer muito mais do que simplesmente provisionar um cluster. A diferença entre um data warehouse performático e um que gera frustrações está nos detalhes de arquitetura, organização de dados e estratégias de armazenamento. Este guia apresenta práticas comprovadas para maximizar ROI em ambientes Provisioned e Serverless.

Arquitetura Fundamental: Provisioned vs Serverless

Redshift Provisioned: Arquitetura para Performance Máxima

Em ambientes Provisioned, o controle granular permite otimizações específicas:

Sizing de Cluster Adequado

  • Node Types: ra3.xlplus para workloads intensivos de CPU, ra3.4xlarge para grandes volumes
  • Scaling Strategy: Comece com 2 nós, escale horizontalmente conforme necessário
  • Multi-AZ deployment: Para ambientes críticos, distribua nós em AZs diferentes
-- Exemplo de configuração otimizada
{
  "ClusterType": "multi-node",
  "NodeType": "ra3.xlplus",
  "NumberOfNodes": 3,
  "MasterUsername": "admin",
  "VpcSecurityGroupIds": ["sg-analytics-cluster"],
  "SubnetGroupName": "redshift-private-subnet",
  "PubliclyAccessible": false,
  "Encrypted": true
}

Redshift Serverless: Arquitetura para Flexibilidade

Em Serverless, o foco está na configuração de workgroups e namespaces:

  • Workgroup configuration: Defina limites de RPU apropriados
  • Base capacity: Configure capacidade base para performance consistente
  • Auto-scaling limits: Estabeleça limites para controle de custos

Estratégias de Organização de Dados

Design de Schema: Star vs Snowflake

Schema Star (Recomendado para Redshift)

-- Estrutura Star Schema otimizada
CREATE SCHEMA analytics;

-- Tabela Fato
CREATE TABLE analytics.fato_vendas (
  data_id INTEGER REFERENCES dim_data(data_id),
  produto_id INTEGER REFERENCES dim_produto(produto_id),
  cliente_id INTEGER REFERENCES dim_cliente(cliente_id),
  loja_id INTEGER REFERENCES dim_loja(loja_id),
  quantidade INTEGER,
  valor_total DECIMAL(12,2),
  valor_desconto DECIMAL(12,2)
)
DISTSTYLE KEY
DISTKEY(produto_id)
SORTKEY(data_id);

-- Dimensões desnormalizadas
CREATE TABLE analytics.dim_produto (
  produto_id INTEGER PRIMARY KEY,
  nome_produto VARCHAR(200),
  categoria VARCHAR(100),
  subcategoria VARCHAR(100),
  marca VARCHAR(100),
  preco_padrao DECIMAL(10,2)
)
DISTSTYLE ALL;

Estratégias de Particionamento

Particionamento por Data (Mais Comum)

-- Tabela particionada por ano/mês
CREATE TABLE vendas_2024_01 (
  LIKE vendas_template
)
DISTSTYLE KEY
DISTKEY(cliente_id)
SORTKEY(data_venda);

-- Constraint para partition pruning
ALTER TABLE vendas_2024_01
ADD CONSTRAINT check_date_2024_01
CHECK (data_venda >= '2024-01-01' AND data_venda < '2024-02-01');

Particionamento por Region/Unidade de Negócio

CREATE TABLE vendas_sudeste (
  LIKE vendas_template
)
DISTSTYLE KEY
DISTKEY(produto_id)
SORTKEY(data_venda);

ALTER TABLE vendas_sudeste
ADD CONSTRAINT check_regiao_sudeste
CHECK (regiao IN ('SP', 'RJ', 'MG', 'ES'));

Otimização de Armazenamento

Sort Keys: A Chave para Performance

Compound Sort Keys (Padrão)

-- Otimizado para queries por data e cliente
CREATE TABLE transacoes (
  data_transacao DATE,
  cliente_id INTEGER,
  produto_id INTEGER,
  valor DECIMAL(10,2)
)
DISTSTYLE KEY
DISTKEY(cliente_id)
COMPOUND SORTKEY(data_transacao, cliente_id);

Interleaved Sort Keys

-- Para queries com filtros diversos
CREATE TABLE logs_aplicacao (
  timestamp TIMESTAMP,
  user_id INTEGER,
  session_id VARCHAR(100),
  action_type VARCHAR(50),
  response_time INTEGER
)
DISTSTYLE EVEN
INTERLEAVED SORTKEY(timestamp, user_id, action_type);

Compressão de Dados

-- Analyze compression para otimização automática
ANALYZE COMPRESSION tabela_vendas;

-- Aplicar compressão recomendada
CREATE TABLE vendas_otimizada (
  produto_id INTEGER ENCODE delta32k,
  data_venda DATE ENCODE delta32k,
  valor DECIMAL(10,2) ENCODE delta32k,
  descricao VARCHAR(500) ENCODE lzo
);

Melhores Práticas para ETL/ELT

Estratégia COPY Otimizada

-- COPY com paralelização máxima
COPY tabela_staging
FROM 's3://bucket/data/year=2024/month=01/'
IAM_ROLE 'arn:aws:iam::account:role/RedshiftRole'
FORMAT AS PARQUET
PARALLEL ON;

Upsert Pattern Eficiente

-- Pattern otimizado para upserts
BEGIN TRANSACTION;

-- Staging table
CREATE TEMP TABLE staging_vendas (LIKE vendas);

COPY staging_vendas FROM 's3://bucket/new-data/'
IAM_ROLE 'arn:aws:iam::account:role/RedshiftRole';

-- Delete existing records
DELETE FROM vendas
WHERE (produto_id, data_venda) IN
  (SELECT produto_id, data_venda FROM staging_vendas);

-- Insert new/updated records
INSERT INTO vendas SELECT * FROM staging_vendas;

DROP TABLE staging_vendas;
COMMIT;

Governança e Segurança

Row Level Security (RLS)

-- Criar policy de acesso por região
CREATE RLS POLICY vendas_por_regiao ON vendas
FOR ALL TO role_analista_sudeste
USING (regiao IN ('SP', 'RJ', 'MG', 'ES'));

ALTER TABLE vendas ENABLE ROW LEVEL SECURITY;

Controle de Acesso Granular

-- Schema específico por equipe
CREATE SCHEMA marketing AUTHORIZATION marketing_team;
CREATE SCHEMA financeiro AUTHORIZATION finance_team;

-- Grants específicos
GRANT USAGE ON SCHEMA marketing TO marketing_team;
GRANT SELECT ON ALL TABLES IN SCHEMA marketing TO marketing_team;

Monitoramento e Manutenção

Queries de Monitoramento Essenciais

-- Top queries por tempo de execução
SELECT
  query,
  userid,
  starttime,
  endtime,
  DATEDIFF('seconds', starttime, endtime) as duration,
  SUBSTRING(querytxt, 1, 100) as query_text
FROM stv_recents
WHERE starttime >= CURRENT_DATE - 1
ORDER BY duration DESC
LIMIT 20;

-- Análise de table scans
SELECT
  schemaname,
  tablename,
  size,
  tbl_rows,
  unsorted
FROM svv_table_info
WHERE schemaname = 'analytics'
ORDER BY size DESC;

Manutenção Automatizada

-- Vacuum automático (Redshift gerencia automaticamente em versões recentes)
-- Manual para casos específicos:
VACUUM REINDEX tabela_heavily_updated;

-- Analyze statistics
ANALYZE tabela_vendas;

Otimizações Específicas por Workload

Workloads OLAP (Analytical)

  • Prefira DISTSTYLE KEY para tabelas grandes
  • Use columnar compression agressiva
  • Implemente aggregate tables para queries frequentes
  • Configure result caching para dashboards

Workloads Near Real-time

  • Use streaming ingestion com Kinesis
  • Configure materialized views para agregações
  • Implemente particionamento micro-batch
  • Monitore lag de dados continuamente

Checklist de Implementação

Fase 1: Setup Inicial

  • ✅ Definir arquitetura (Provisioned/Serverless)
  • ✅ Configurar networking e security groups
  • ✅ Implementar encryption at rest e in transit
  • ✅ Configurar backup e disaster recovery

Fase 2: Data Modeling

  • ✅ Desenhar star schema otimizado
  • ✅ Definir distribution e sort keys
  • ✅ Implementar estratégias de particionamento
  • ✅ Configurar compressão adequada

Fase 3: ETL/ELT

  • ✅ Implementar pipelines de ingestão
  • ✅ Configurar staging areas
  • ✅ Automatizar data quality checks
  • ✅ Implementar error handling

Fase 4: Operação

  • ✅ Configurar monitoramento e alertas
  • ✅ Implementar maintenance windows
  • ✅ Estabelecer processes de backup
  • ✅ Treinar equipes operacionais

O sucesso com Redshift está nos detalhes de implementação. Cada decisão arquitetural impacta performance, custos e manutenibilidade. Invista tempo no planejamento inicial para colher benefícios duradouros em sua plataforma de analytics.

Quer um resultado parecido?

Conte o seu cenário e vamos entender como podemos ajudar.

Agende um Diagnóstico

Fique por dentro das novidades.

Receba conteúdos exclusivos da Nexos Data sobre tecnologia, dados e transformação digital diretamente no seu email.

Você pode cancelar a inscrição a qualquer momento.