Data Warehouse
Melhores Práticas com Amazon Redshift: arquitetura, organização e armazenamento
· Equipe Nexos
Implementar Amazon Redshift de forma eficiente requer muito mais do que simplesmente provisionar um cluster. A diferença entre um data warehouse performático e um que gera frustrações está nos detalhes de arquitetura, organização de dados e estratégias de armazenamento. Este guia apresenta práticas comprovadas para maximizar ROI em ambientes Provisioned e Serverless.
Arquitetura Fundamental: Provisioned vs Serverless
Redshift Provisioned: Arquitetura para Performance Máxima
Em ambientes Provisioned, o controle granular permite otimizações específicas:
Sizing de Cluster Adequado
- Node Types: ra3.xlplus para workloads intensivos de CPU, ra3.4xlarge para grandes volumes
- Scaling Strategy: Comece com 2 nós, escale horizontalmente conforme necessário
- Multi-AZ deployment: Para ambientes críticos, distribua nós em AZs diferentes
-- Exemplo de configuração otimizada
{
"ClusterType": "multi-node",
"NodeType": "ra3.xlplus",
"NumberOfNodes": 3,
"MasterUsername": "admin",
"VpcSecurityGroupIds": ["sg-analytics-cluster"],
"SubnetGroupName": "redshift-private-subnet",
"PubliclyAccessible": false,
"Encrypted": true
}
Redshift Serverless: Arquitetura para Flexibilidade
Em Serverless, o foco está na configuração de workgroups e namespaces:
- Workgroup configuration: Defina limites de RPU apropriados
- Base capacity: Configure capacidade base para performance consistente
- Auto-scaling limits: Estabeleça limites para controle de custos
Estratégias de Organização de Dados
Design de Schema: Star vs Snowflake
Schema Star (Recomendado para Redshift)
-- Estrutura Star Schema otimizada
CREATE SCHEMA analytics;
-- Tabela Fato
CREATE TABLE analytics.fato_vendas (
data_id INTEGER REFERENCES dim_data(data_id),
produto_id INTEGER REFERENCES dim_produto(produto_id),
cliente_id INTEGER REFERENCES dim_cliente(cliente_id),
loja_id INTEGER REFERENCES dim_loja(loja_id),
quantidade INTEGER,
valor_total DECIMAL(12,2),
valor_desconto DECIMAL(12,2)
)
DISTSTYLE KEY
DISTKEY(produto_id)
SORTKEY(data_id);
-- Dimensões desnormalizadas
CREATE TABLE analytics.dim_produto (
produto_id INTEGER PRIMARY KEY,
nome_produto VARCHAR(200),
categoria VARCHAR(100),
subcategoria VARCHAR(100),
marca VARCHAR(100),
preco_padrao DECIMAL(10,2)
)
DISTSTYLE ALL;
Estratégias de Particionamento
Particionamento por Data (Mais Comum)
-- Tabela particionada por ano/mês
CREATE TABLE vendas_2024_01 (
LIKE vendas_template
)
DISTSTYLE KEY
DISTKEY(cliente_id)
SORTKEY(data_venda);
-- Constraint para partition pruning
ALTER TABLE vendas_2024_01
ADD CONSTRAINT check_date_2024_01
CHECK (data_venda >= '2024-01-01' AND data_venda < '2024-02-01');
Particionamento por Region/Unidade de Negócio
CREATE TABLE vendas_sudeste (
LIKE vendas_template
)
DISTSTYLE KEY
DISTKEY(produto_id)
SORTKEY(data_venda);
ALTER TABLE vendas_sudeste
ADD CONSTRAINT check_regiao_sudeste
CHECK (regiao IN ('SP', 'RJ', 'MG', 'ES'));
Otimização de Armazenamento
Sort Keys: A Chave para Performance
Compound Sort Keys (Padrão)
-- Otimizado para queries por data e cliente
CREATE TABLE transacoes (
data_transacao DATE,
cliente_id INTEGER,
produto_id INTEGER,
valor DECIMAL(10,2)
)
DISTSTYLE KEY
DISTKEY(cliente_id)
COMPOUND SORTKEY(data_transacao, cliente_id);
Interleaved Sort Keys
-- Para queries com filtros diversos
CREATE TABLE logs_aplicacao (
timestamp TIMESTAMP,
user_id INTEGER,
session_id VARCHAR(100),
action_type VARCHAR(50),
response_time INTEGER
)
DISTSTYLE EVEN
INTERLEAVED SORTKEY(timestamp, user_id, action_type);
Compressão de Dados
-- Analyze compression para otimização automática
ANALYZE COMPRESSION tabela_vendas;
-- Aplicar compressão recomendada
CREATE TABLE vendas_otimizada (
produto_id INTEGER ENCODE delta32k,
data_venda DATE ENCODE delta32k,
valor DECIMAL(10,2) ENCODE delta32k,
descricao VARCHAR(500) ENCODE lzo
);
Melhores Práticas para ETL/ELT
Estratégia COPY Otimizada
-- COPY com paralelização máxima
COPY tabela_staging
FROM 's3://bucket/data/year=2024/month=01/'
IAM_ROLE 'arn:aws:iam::account:role/RedshiftRole'
FORMAT AS PARQUET
PARALLEL ON;
Upsert Pattern Eficiente
-- Pattern otimizado para upserts
BEGIN TRANSACTION;
-- Staging table
CREATE TEMP TABLE staging_vendas (LIKE vendas);
COPY staging_vendas FROM 's3://bucket/new-data/'
IAM_ROLE 'arn:aws:iam::account:role/RedshiftRole';
-- Delete existing records
DELETE FROM vendas
WHERE (produto_id, data_venda) IN
(SELECT produto_id, data_venda FROM staging_vendas);
-- Insert new/updated records
INSERT INTO vendas SELECT * FROM staging_vendas;
DROP TABLE staging_vendas;
COMMIT;
Governança e Segurança
Row Level Security (RLS)
-- Criar policy de acesso por região
CREATE RLS POLICY vendas_por_regiao ON vendas
FOR ALL TO role_analista_sudeste
USING (regiao IN ('SP', 'RJ', 'MG', 'ES'));
ALTER TABLE vendas ENABLE ROW LEVEL SECURITY;
Controle de Acesso Granular
-- Schema específico por equipe
CREATE SCHEMA marketing AUTHORIZATION marketing_team;
CREATE SCHEMA financeiro AUTHORIZATION finance_team;
-- Grants específicos
GRANT USAGE ON SCHEMA marketing TO marketing_team;
GRANT SELECT ON ALL TABLES IN SCHEMA marketing TO marketing_team;
Monitoramento e Manutenção
Queries de Monitoramento Essenciais
-- Top queries por tempo de execução
SELECT
query,
userid,
starttime,
endtime,
DATEDIFF('seconds', starttime, endtime) as duration,
SUBSTRING(querytxt, 1, 100) as query_text
FROM stv_recents
WHERE starttime >= CURRENT_DATE - 1
ORDER BY duration DESC
LIMIT 20;
-- Análise de table scans
SELECT
schemaname,
tablename,
size,
tbl_rows,
unsorted
FROM svv_table_info
WHERE schemaname = 'analytics'
ORDER BY size DESC;
Manutenção Automatizada
-- Vacuum automático (Redshift gerencia automaticamente em versões recentes)
-- Manual para casos específicos:
VACUUM REINDEX tabela_heavily_updated;
-- Analyze statistics
ANALYZE tabela_vendas;
Otimizações Específicas por Workload
Workloads OLAP (Analytical)
- Prefira DISTSTYLE KEY para tabelas grandes
- Use columnar compression agressiva
- Implemente aggregate tables para queries frequentes
- Configure result caching para dashboards
Workloads Near Real-time
- Use streaming ingestion com Kinesis
- Configure materialized views para agregações
- Implemente particionamento micro-batch
- Monitore lag de dados continuamente
Checklist de Implementação
Fase 1: Setup Inicial
- ✅ Definir arquitetura (Provisioned/Serverless)
- ✅ Configurar networking e security groups
- ✅ Implementar encryption at rest e in transit
- ✅ Configurar backup e disaster recovery
Fase 2: Data Modeling
- ✅ Desenhar star schema otimizado
- ✅ Definir distribution e sort keys
- ✅ Implementar estratégias de particionamento
- ✅ Configurar compressão adequada
Fase 3: ETL/ELT
- ✅ Implementar pipelines de ingestão
- ✅ Configurar staging areas
- ✅ Automatizar data quality checks
- ✅ Implementar error handling
Fase 4: Operação
- ✅ Configurar monitoramento e alertas
- ✅ Implementar maintenance windows
- ✅ Estabelecer processes de backup
- ✅ Treinar equipes operacionais
O sucesso com Redshift está nos detalhes de implementação. Cada decisão arquitetural impacta performance, custos e manutenibilidade. Invista tempo no planejamento inicial para colher benefícios duradouros em sua plataforma de analytics.
Quer um resultado parecido?
Conte o seu cenário e vamos entender como podemos ajudar.
Agende um Diagnóstico