Armazenamento de dados

O que é armazenamento de dados?

Data warehousing é o armazenamento eletrônico de uma grande quantidade de informações por uma empresa ou organização. O armazenamento de dados é um componente vital da inteligência de negócios que emprega técnicas analíticas em dados de negócios.

O conceito de data warehouse foi introduzido em 1988 pelos pesquisadores da IBM, Barry Devlin e Paul Murphy. A necessidade de armazenar dados evoluiu à medida que os sistemas de computador se tornaram mais complexos e lidaram com quantidades crescentes de dados. Um livro importante sobre armazenamento de dados é “Building the Data Warehouse”, de WH Inmon, que foi publicado pela primeira vez em 1990 e foi reimpresso várias vezes desde então.

Como funciona o armazenamento de dados

O armazenamento de dados é usado para fornecer maior percepção do desempenho de uma empresa, comparando dados consolidados de várias fontes heterogêneas. Um data warehouse é projetado para executar consultas e análises em dados históricos derivados de fontes transacionais.

Uma vez que os dados tenham sido incorporados ao warehouse, eles não mudam e não podem ser alterados, pois um data warehouse executa análises em eventos que já ocorreram, concentrando-se nas alterações nos dados ao longo do tempo. Os dados armazenados devem ser armazenados de maneira segura, confiável, fácil de recuperar e gerenciar.

Existem certas etapas que são executadas para criar um data warehouse. A primeira etapa é a extração de dados, que envolve a coleta de grandes quantidades de dados de vários pontos de origem. Depois que os dados foram compilados, eles passam pela limpeza de dados, o processo de vasculhar os dados em busca de erros e corrigir ou excluir quaisquer erros encontrados.

Os dados limpos são então convertidos de um formato de banco de dados para um formato de warehouse. Uma vez armazenados no warehouse, os dados passam por classificação, consolidação, resumo, etc. para que sejam mais coordenados e fáceis de usar. Com o tempo, mais dados são adicionados ao warehouse à medida que várias fontes de dados são atualizadas.

Considerações especiais: Data Mining

As empresas podem armazenar dados para uso em exploração e mineração de dados, procurando padrões de informações que os ajudem a melhorar seus processos de negócios. Um bom sistema de armazenamento de dados também pode tornar mais fácil para diferentes departamentos de uma empresa acessarem os dados uns dos outros.

Por exemplo, um data warehouse pode permitir que uma empresa avalie facilmente os dados da equipe de vendas e ajude a tomar decisões sobre como melhorar as vendas ou otimizar o departamento. A empresa pode optar por focar nos hábitos de consumo de seus clientes para posicionar melhor seus produtos e aumentar as vendas.

Com o armazenamento de dados, a empresa pode reunir dados históricos dos gastos de seus clientes nos últimos – digamos, 20 anos – e executar análises sobre esses dados. As informações resultantes podem fornecer uma visão sobre as preferências de seus consumidores; a hora do dia, mês ou ano com vendas maiores; ou o cliente que mais gastou no ano.

O armazenamento e o gerenciamento eficazes de dados também possibilitam os processos, como o início das reservas de viagens e o uso de caixas eletrônicos.

O processo de mineração de dados se divide em cinco etapas:

1. As organizações coletam dados e os carregam em seus data warehouses.
2. Em seguida, eles armazenam e gerenciam os dados, seja em servidores internos ou na nuvem.
3. Analistas de negócios, equipes de gerenciamento e profissionais de tecnologia da informação acessam os dados e determinam como desejam organizá-los.
4. O software aplicativo então classifica os dados com base nos resultados do usuário
5. O usuário final finalmente apresenta os dados em um formato fácil de compartilhar, como um gráfico ou tabela.

Data Warehousing vs. Banco de dados

Um data warehouse não é necessariamente o mesmo conceito de um banco de dados padrão. Um banco de dados é um sistema transacional configurado para monitorar e atualizar dados em tempo real para ter apenas os dados mais recentes disponíveis. Um data warehouse é programado para agregar dados estruturados ao longo de um período de tempo. Por exemplo, um banco de dados pode ter apenas o endereço mais recente de um cliente, enquanto um data warehouse pode ter todos os endereços em que o cliente morou nos últimos 10 anos.