Publicação de Edipo Silva

Dica de SQL: SUM() sem GROUP BY, funciona? SIM, funciona e eu te explico… segue o fio… ❓Você sabia que, ao usar funções de janela (window functions) em SQL, não é necessário utilizar a cláusula GROUP BY? Vamos explorar por quê! Funções de janela são poderosas para realizar cálculos sobre um conjunto de linhas relacionadas sem agrupar essas linhas em uma única linha de resultado. Elas incluem funções como ROW_NUMBER(), RANK(), DENSE_RANK(), LAG(), LEAD() e até funções agregadas tradicionais como SUM(), AVG(), e COUNT(). Já falamos sobre isso em outro post! ❓Por que NÃO Usamos GROUP BY com Funções de Janela? Ao usar uma função de janela, a cláusula OVER() define como os dados devem ser particionados e ordenados. Isso permite calcular resultados acumulados ou agregados para cada linha do conjunto de resultados original, mantendo todas as linhas intactas. Na imagem do post podemos ver um exemplo prático! 📢Explicação 1. PARTITION BY: Agrupa os dados por start_station_name, similar ao GROUP BY, mas sem reduzir o número de linhas no conjunto de resultados. 2. ORDER BY: Ordena as linhas dentro de cada partição pelo start_time. 3. SUM(tripduration) OVER (…): Calcula a soma acumulada da duração das viagens dentro de cada grupo, ordenado pelo horário de início. Ou seja, o SUM() é aplicado apenas aos dados retornados no OVER(…). Isso porque o PARTITION BY equivale ao GROUP BY. Neste exemplo, a soma acumulada (cumulative_tripduration) é adicionada a cada linha sem colapsar as linhas como faria a cláusula GROUP BY. Diferença Fundamental • GROUP BY: Agrupa as linhas e retorna uma única linha por grupo, reduzindo o número de linhas no conjunto de resultados. • Funções de Janela(Window Functions): Mantêm todas as linhas originais e adicionam uma nova coluna com o resultado da função de janela para cada linha. ❓Quando Usar Cada Um? 🎯 Use GROUP BY: Quando você precisa de um resumo agregando os dados em menos linhas. 🎯 Use Funções de Janela: Quando você precisa calcular resultados que mantenham todas as linhas originais e adicionem cálculos acumulados, classificações ou outras métricas. As funções de janela são ferramentas valiosas que oferecem flexibilidade e poder para análises complexas de dados. Experimente incorporá-las nas suas consultas SQL e veja como elas podem simplificar e expandir suas capacidades analíticas! Post inspirado por um questionamento levantado pelo Rafael Xavier #SQL #DataScience #Analytics #WindowFunctions #BigData #DataAnalysis #SQLTips

SQL ERROR! Essa mensagem atormenta quase diariamente os profissionais e estudantes de SQL. Esse artigo vale super a pena dar uma conferida, salvar e compartilhar! Certeza que vão te agradecer. Vamos abordar os ERROS SQL mais frequentes e suas respectivas SOLUÇÕES , como por exemplo: - Valores Duplicados(Duplicate Values) - Valores Nulos(Null Values) - Tipos de Dados Diferentes(Data Type Mismatch) - Diferença Entre Maiúsculas e Minúsculas(Case Sensitivity) - Uso Errado de Joins - Nomes Inconsistentes - Nome de Coluna Ambíguo(Ambiguous Column) - Uso Errado de Funções - Uso Errado de Aspas - Uso Errado do GROUP BY Boa Leitura e Bons Estudos! Esse post/artigo foi inspirado num post do Lovee Kumar #SQL #SQLERROR #dataengineering #Bigdata #Analytics #dados #SQLTips #DicasSQL

SQL Performance Tuning: Utilização de Índices em SQL 📢Fala, galera! Continuando nossa série sobre tuning de consultas SQL, hoje vamos falar sobre a importância dos índices. Índices são essenciais para melhorar o desempenho das suas consultas. Vamos ver como usá-los de forma eficiente. ❓O que são Índices? Índices são estruturas que ajudam a acelerar a busca de dados em tabelas. Pense neles como índices de um livro, que permitem encontrar informações rapidamente. 💎 Dicas para Utilizar Índices 1. Crie Índices nas Colunas Certas Colunas usadas em filtros (WHERE), joins (JOIN) e ordenações (ORDER BY) são boas candidatas para índices. 2. Evite Índices em Colunas com Poucos Valores Únicos Índices em colunas com muitos valores repetidos, como colunas booleanas, geralmente não trazem benefícios. 3. Use Índices Compostos com Sabedoria Índices compostos (com várias colunas) são úteis quando você frequentemente filtra por essas colunas em conjunto. 4. Cuidado com Índices em Tabelas Pequenas Em tabelas pequenas, o ganho de desempenho pode ser mínimo e não justificar o uso de índices. 5. Mantenha os Índices Atualizados Recrie ou reorganize índices regularmente para garantir que eles estejam otimizados. 🎯 Exemplo Prático Vamos imaginar 💭 uma tabela chamada vendas com as colunas id, data_venda, e valor. Na primeira imagem a gente consegue ver o plano de execução de uma consulta feita na tabela vendas sem índice. Após criar um índice na coluna data_venda, e rodar o EXPLAIN() na mesma consulta, mas agora com a tabela devidamente indexada, podemos ver o resultado na segunda imagem. Comparação dos Resultados • Sem Índice: A consulta usou uma varredura sequencial (Seq Scan), examinando todas as linhas da tabela, resultando em um tempo de execução mais alto. • Com Índice: A consulta usou um índice (Index Scan), localizando rapidamente a linha desejada, resultando em um tempo de execução significativamente menor. 🌟Conclusão Índices são ferramentas poderosas, mas devem ser usados com cuidado. Escolher as colunas certas e manter os índices atualizados são passos cruciais para melhorar o desempenho das suas consultas SQL. Criar índices nas colunas certas pode melhorar drasticamente o desempenho das suas consultas SQL. No exemplo que usamos, a consulta com índice foi muito mais rápida do que a consulta sem índice, ilustrando a importância dos índices em otimizações de desempenho. 👀 Fique ligado para mais dicas e técnicas de tuning de consultas SQL nos próximos posts! #SQL #DataScience #DataEngineering #TuningSQL #DatabasePerformance #SQLPerformance #LinkedInLearning

SQL Performance Tuning: dicas de otimização de consultas SQL Fala, pessoal! Hoje vamos começar uma série de posts sobre tuning de consultas SQL, assim como já fiz com SPARK. Otimizar consultas é essencial para garantir que nossos sistemas rodem de forma rápida e eficiente. Vamos ver algumas dicas e técnicas ao longo dessa série para dar aquele boost nas suas consultas. O que é Tuning de Consultas SQL? Tuning de consultas SQL é o processo de ajustar consultas para melhorar o desempenho. Isso é vital quando lidamos com grandes volumes de dados e precisamos de respostas rápidas. Abaixo segue algumas dicas 1. Use Índices com Sabedoria Índices aceleram a recuperação de dados, mas crie-os nas colunas mais usadas em filtros e joins. 2. Selecione Somente o Necessário Evite SELECT *. Busque apenas as colunas que você realmente precisa. 3. Otimização de Joins Use o tipo correto de join e certifique-se de que as colunas nos joins estejam indexadas. 4. Subconsultas e CTEs Subconsultas e CTEs podem melhorar a leitura e o desempenho de consultas complexas. Use com cuidado. 5. Filtragem Eficiente Use WHERE e HAVING para limitar os dados processados. Certifique-se de que os filtros sejam eficientes. 6. Análise de Planos de Execução Estude os planos de execução para identificar gargalos e otimizar suas consultas. 7. Particionamento de Tabelas Divida grandes tabelas em partes menores para melhorar o desempenho. 8. Cache de Consultas Use o cache para reduzir o tempo de execução de consultas repetidas, se suportado pelo seu SGBD. 9. Manutenção Regular Mantenha seu banco de dados otimizado com atualizações de estatísticas e reconstrução de índices. Enfim, tuning de consultas SQL é uma habilidade essencial. Aplicando essas dicas, suas consultas vão rodar muito mais rápido. Nos próximos posts, vamos detalhar cada uma dessas técnicas com exemplos práticos. Fique ligado! Siga meu perfil para não perder nenhum post e compartilhe suas dicas nos comentários! #SQL #DataScience #DataEngineering #TuningSQL #DatabasePerformance #SQLPerformance #LinkedInLearning

LATERAL JOIN - mais uma dica SQL Uma função não nativa SQL que é bastante útil, mas muitas vezes subutilizada, é a LATERAL JOIN (ou APPLY no SQL Server). Essa função permite aplicar uma subconsulta a cada linha de uma consulta externa, oferecendo uma flexibilidade considerável para cenários complexos de manipulação de dados. O que é o LATERAL JOIN? O LATERAL JOIN é uma cláusula que permite que a subconsulta referencie colunas da consulta externa. Isso é extremamente útil quando você precisa aplicar uma subconsulta que depende de valores de cada linha da consulta externa. Quando usar o LATERAL JOIN? 1. Filtragem Complexa: Quando você precisa aplicar filtros que dependem de valores da linha externa. 2. Agregações Condicionais: Quando você precisa calcular agregações ou executar funções baseadas em cada linha da consulta externa. 3. Desnormalização: Quando você precisa unir dados de várias linhas de uma tabela em colunas de uma única linha da tabela externa. Benefícios • Flexibilidade: Permite subconsultas que dependem de cada linha da consulta externa. • Simplicidade: Pode simplificar consultas complexas, eliminando a necessidade de várias subconsultas ou joins. • Desempenho: Pode melhorar o desempenho em certos cenários, evitando joins complexos e grandes tabelas intermediárias. O LATERAL JOIN é uma ferramenta poderosa e versátil que pode melhorar significativamente a eficiência e clareza de suas consultas SQL. Experimente em seus próximos projetos e veja como pode simplificar suas consultas! Exemplo Prático Vamos supor que você tem uma tabela de clientes e uma tabela de pedidos. Você quer listar cada cliente junto com seu pedido mais recente. Na imagem você pode ver como fazer isso usando LATERAL JOIN. Entendendo o Resultado • Para João (cliente_id 1), o pedido mais recente é o de 2024-07-05 com total de 150. • Para Maria (cliente_id 2), o pedido mais recente é o de 2024-07-10 com total de 250. • Para Pedro (cliente_id 3), o pedido mais recente é o de 2024-07-03 com total de 300. Observações Na imagem 2 podemos comparar a consulta com e sem o LATERAL JOIN, entretanto devemos observar os seguintes pontos: • Legibilidade: O LATERAL JOIN pode ser mais intuitivo e legível quando você precisa realizar operações complexas com subconsultas. • Compatibilidade: Nem todos os SGBDs suportam LATERAL JOIN, então a subconsulta correlacionada pode ser uma alternativa viável. • Desempenho: Dependendo do SGBD e da complexidade da consulta, o desempenho pode variar. Em alguns casos, o LATERAL JOIN pode ser mais eficiente, enquanto em outros, a subconsulta correlacionada pode ser preferível. Ambas as abordagens produzem o mesmo resultado, mas a escolha entre elas pode depender das suas necessidades específicas e do SGBD que você está usando. Espero que essa dica seja útil pra você! #SQL #DataScience #DataEngineering #LATERALJOIN #SQLTips #LinkedInLearning

ROLLUP - Mais uma função SQL que você precisa conhecer Você sabia que o SQL possui uma função poderosa chamada ROLLUP? Se não, este post é para você! Vamos explorar como o ROLLUP pode simplificar suas análises de dados, proporcionando resumos e totais de forma eficiente. O que é o ROLLUP? O ROLLUP é uma extensão do comando GROUP BY que permite gerar subtotais e totais agregados ao longo de uma hierarquia de colunas. Em vez de escrever múltiplas consultas para obter diferentes níveis de agregação, você pode usar o ROLLUP para fazer tudo em uma única consulta. Como Funciona? Vamos considerar uma tabela de vendas com as seguintes colunas: ano, mês e total_vendas. Usando o ROLLUP, podemos obter totais por ano, por ano e mês, e um total geral, como na imagem 1. Entendendo o Resultado • Linhas Completas: Totais mensais para cada ano. • Linhas Parcialmente Nulas: Totais anuais (soma dos meses). • Linha Totalmente Nula: Total geral (soma de todos os anos e meses). Benefícios do ROLLUP • Simplicidade: Uma única consulta pode substituir várias consultas com diferentes níveis de agregação. • Eficiência: Menos código, menos complexidade e melhor desempenho em consultas de resumo. • Clareza: Resultados claros e organizados que mostram hierarquias de dados. Quando Usar? O ROLLUP é ideal para relatórios financeiros, análises de vendas, inventários e qualquer situação onde você precise de diferentes níveis de agregação e totais. Um outro exemplo prático… Imagine um relatório de vendas que precisa mostrar totais por região, por cidade e um total geral. Podemos ver na imagem 2. O resultado fornecerá totais por cidade, por região e um total geral, tudo em uma única consulta. Enfim, o ROLLUP é uma ferramenta valiosa para analistas de dados e desenvolvedores SQL, proporcionando uma maneira fácil e eficiente de gerar resumos e totais. Se você ainda não experimentou o ROLLUP, dê uma chance e veja como ele pode simplificar suas consultas e melhorar seus relatórios. Para mais dicas e truques de SQL, siga meu perfil e fique por dentro das novidades! #SQL #DataScience #DataEngineering #ROLLUP #SQLTips #LinkedInLearning

CTEs Recursivos no SQL! Você já ouviu falar dos CTEs(Common Table Expressions) Recursivos? Se não, prepare-se para aprender uma técnica poderosa que pode transformar sua forma de trabalhar com dados no SQL! O que é um CTE Recursivo? Um CTE recursivo é como uma função que se chama repetidamente até atingir um certo objetivo. É uma ferramenta incrível para lidar com problemas complexos de maneira simples e eficiente. Como Funciona? 1. Caso Base: Tudo começa com uma consulta inicial que define os dados de partida. 2. Recursão: A CTE chama a si mesma e processa dados com base no resultado anterior. 3. Parada: Continua chamando a si mesma até que uma condição de parada seja atingida (como uma cláusula WHERE). Vamos ver um exemplo prático? Suponha que queremos gerar uma sequência de números de 1 a 10. Usando uma CTE recursiva, ficaria como na imagem 1. Passo a Passo 1. Caso Base: Iniciamos com o número 1. 2. Recursão: Pegamos o número atual, adicionamos 1 e continuamos enquanto o número for menor que 10. 3. Condição de Parada: Paramos quando o número atinge 10. A consulta gera uma tabela com números de 1 a 10 como na imagem 2 Recapitulando • CTE: Uma subconsulta temporária que pode ser referenciada na consulta principal. • Recursão: A CTE se chama repetidamente, adicionando 1 cada vez. • Condição de Parada: Impede que a recursão continue para sempre. Compreendeu? CTEs Recursivos são como loops que se repetem até atingir a condição definida para parar. São extremamente úteis para gerar sequências ou explorar hierarquias, entre outras aplicações. #SQL #DataScience #DataEngineering #CTE #Recursão #LinkedInLearninga

CTE vs Tabela Temporária: Qual é mais rápida? Quer saber a diferença entre CTEs e tabelas temporárias e quando usar cada uma? Vamos tentar simplificar com exemplos e analogias! CTEs (Expressões de Tabela Comum) Pense nas CTEs como anotações rápidas em um papel para organizar suas ideias. Elas deixam suas consultas complexas mais claras e organizadas. Por que usar CTEs? • Elas dividem consultas grandes em pedaços menores e mais fáceis de entender. • São ótimas para organizar a lógica das suas consultas. Mas tem um porém: As CTEs não armazenam resultados. Cada vez que você usa uma CTE, ela é recalculada. É como escrever uma receita de bolo toda vez que você for fazer o bolo. Por exemplo, vamos supor que você quer encontrar os funcionários que ganham acima da média. Na imagem 1, temos a CTE AvgSalary que calcula a média dos salários, e a consulta principal usa esse valor para filtrar os funcionários. Tabelas Temporárias Agora, pense nas tabelas temporárias como um bloco de notas onde você anota resultados importantes para usar depois. Elas armazenam dados temporariamente no banco de dados, então você não precisa recalcular tudo toda hora. Por que usar tabelas temporárias? • Elas armazenam dados fisicamente, tornando as leituras e junções muito mais rápidas. • Você pode criar índices nelas para melhorar ainda mais o desempenho. Por exemplo, vamos armazenar os funcionários e seus salários em uma tabela temporária e depois calcular quem ganha acima da média, conforme imagem 2. Criamos uma tabela temporária TempSalaries para armazenar os dados dos salários e usamos essa tabela para calcular e filtrar os resultados. Resumindo: • CTEs: Ótimas para organizar e simplificar consultas sem armazenar resultados intermediários. Ideal para deixar o código mais legível e manter a lógica clara. • Tabelas Temporárias: Melhor para otimização de desempenho, especialmente com grandes volumes de dados. Armazenam dados temporariamente e permitem a criação de índices, o que acelera as consultas. Enfim, gosto muito das CTEs pela legibilidade que trazem às consultas, mas não dá para ignorar o desempenho das tabelas temporárias quando se trata de grandes volumes de dados. E você, qual usa mais? Deixe seu comentário! #DataEngineering #SQL #CTE #TemporaryTables #DatabaseOptimization #BigData

Subquery vs CTE: Essa é uma batalha bem conhecida no mundo do SQL. Tanto as subqueries quanto as CTEs (Common Table Expressions) dividem a lógica em módulos menores pra rodar consultas complexas. Elas ajudam a criar visões intermediárias, onde você pode construir o encadeamento das consultas. Eu, particularmente, já trabalhei muito com subquries antes de conhecer CTE, mas hoje posso afirmar que prefiro as CTEs por alguns motivos: 📌 Legibilidade: As CTEs geralmente deixam a consulta mais clara e fácil de entender. 📌 Referências múltiplas: Uma CTE pode ser usada várias vezes na mesma consulta, enquanto a subquery fica limitada ao seu escopo. 📌 Consultas recursivas: Se você precisar de recursão (tipo dados hierárquicos, como organogramas), tem que usar CTE, porque subqueries não suportam isso. Outro ponto importante é o desempenho, que pode variar dependendo do banco de dados e da consulta. Uma dica importante é você testar as duas abordagens pra ver qual é mais rápida e a que melhor atende seu contexto. Hoje em dia, os motores de SQL modernos otimizam tanto subqueries quanto CTEs, mas casos específicos podem ter diferenças. Uma outra dica é você sempre testar rodando um EXPLAIN na consulta antes de executá-la. Na imagem podemos ver um exemplo simples de como isso funciona usando as tabelas de funcionários e vendas, onde queremos listar os funcionários que fizeram mais de 10k em vendas totais. Enfim, usar CTEs pode tornar suas consultas SQL mais legíveis e fáceis de manter, especialmente quando você tem subconsultas complexas ou que precisam ser reutilizadas. E você, o que prefere: subqueries ou CTEs? Já usou alguma delas nos seus projetos?Compartilhe sua opinião, deixa aí nos comentários! #DataEngineering #SQL #CTE #Subqueries #BigData #DatabaseManagement

LEAD() e LAG(): Você já viu a utilidade dessas funções SQL? Como engenheiro de dados e até antes mesmo quando ainda trabalhava com engenharia de software, uma vez ou outra encontrava cenários onde preciso comparar valores de diferentes linhas em uma tabela. Duas funções de janela(window functions) poderosas que usava e ainda uso para isso são LEAD() e LAG(). Vamos ver como elas funcionam e um exemplo prático de como usá-las. Imagine que estamos analisando uma tabela de vendas diárias e queremos comparar as vendas de cada dia com o dia anterior e o dia seguinte. A tabela daily_sales tem a seguinte estrutura, demostrada na imagem 1. Abaixo vamos entender como funcionam LEAD() e LAG(): • LAG(column, offset): Retorna o valor da linha anterior, com um deslocamento especificado. Por padrão, o deslocamento é 1. • LEAD(column, offset): Retorna o valor da linha seguinte, com um deslocamento especificado. Por padrão, o deslocamento é 1. Então podemos usar LEAD() e LAG() para adicionar colunas que mostram as vendas do dia anterior e do dia seguinte. Conforme código da imagem 2. Explicação do Código: 1. LAG(sales_amount, 1) OVER (ORDER BY sales_date) AS previous_day_sales: A função LAG() retorna o valor da coluna sales_amount da linha anterior, ordenada por sales_date. 2. LEAD(sales_amount, 1) OVER (ORDER BY sales_date) AS next_day_sales: A função LEAD() retorna o valor da coluna sales_amount da linha seguinte, ordenada por sales_date. Com essas funções, podemos facilmente ver as vendas do dia anterior e do dia seguinte para cada data, facilitando comparações e análises de tendências. Enfim, as funções LEAD() e LAG() são ferramentas essenciais para comparações de linha a linha em SQL, permitindo análises mais detalhadas e insights valiosos a partir dos dados. Se você ainda não as usou, experimente integrá-las em suas consultas para ver como podem simplificar suas análises. Se tiverem dúvidas ou quiserem discutir mais sobre funções de janela, deixem um comentário! #DataEngineering #SQL #WindowFunctions #LEAD #LAG #DataAnalysis