Governança, Qualidade, Catálogo e Metadados de Dados
Um tribunal está projetando um Data Lakehouse para consolidar dados de múltiplos sistemas legados. A arquitetura prevê três camadas: Bronze (dados brutos), Silver (dados limpos e conformados) e Gold (dados agregados para consumo). O arquiteto de dados precisa definir estratégias de modelagem, particionamento e governança considerando os requisitos a seguir.
• Volume: 500 GB/dia de novos dados (processos, documentos, audiências)
• Consultas: Analistas consultam principalmente por UF, ano e tipo de processo
• Retenção: Bronze (2 anos), Silver (5 anos), Gold (10 anos)
• SLA: Consultas analíticas devem retornar em < 3 segundos
• Compliance: LGPD exige anonimização de dados pessoais na camada Gold
A tabela dimensional de processos na camada Gold está sendo projetada conforme o esquema abaixo:
CREATE TABLE Dim_Processo (
processo_id INT PRIMARY KEY,
numero_processo VARCHAR(25),
tipo_processo VARCHAR(50),
uf CHAR(2),
vara VARCHAR(100),
data_distribuicao DATE,
valor_causa DECIMAL(15,2),
cpf_autor VARCHAR(11),
nome_autor VARCHAR(200),
situacao VARCHAR(30)
);
Pede-se:
a) Para cada uma das três camadas (Bronze, Silver e Gold), indique, justificando sua escolha, a estratégia de particionamento adequada: partição por data, partição por UF, partição composta ou sem particionamento.
b) Na camada Gold, identifique duas colunas que violam a LGPD e explicite a técnica de anonimização apropriada para cada uma delas.
c) A tabela Dim_Processo armazena dados de vara que se repetem para milhares de processos.
c.1) Em um modelo normalizado (3FN), como armazenar dados repetidos de "tipo_processo"?
c.2) Por que Data Warehouses tipicamente não normalizam essa situação?
d) Para cada um dos casos de uso a seguir, indique o tipo de banco de dados mais adequado (relacional, colunar, documentos, grafos, chave-valor).
i. PDFs de petições com metadados JSON
ii. Agregações em bilhões de registros
iii. Relacionamentos advogados-clientes-processos
iv. Cache de sessões de usuários
Assine o SQD para participar da discussão, acompanhar dúvidas e aproveitar comentários de outros alunos.
Liberar acesso ao SQD Já tem acesso? Entrar