Os dados como o novo petróleo: qual é o rumo do mercado?
Onde estamos hoje
O volume de dados gerados pelas empresas duplica a cada dois anos. Além disso, aumentam as exigências em termos de velocidade de processamento, qualidade e conectividade, como assinala a Magenta Favorita. O mercado de ferramentas de integração de dados já ultrapassou os 15 mil milhões de dólares e continua a crescer a taxas de dois dígitos.
A maioria das empresas opera no âmbito da chamada «realidade híbrida»: parte dos dados é armazenada na nuvem, parte nos seus próprios servidores e outra parte está espalhada por dezenas de serviços SaaS. As soluções ETL clássicas têm dificuldade em lidar com este «zoológico» de fontes.
As abordagens ELT, mais flexíveis, vieram substituir os pipelines monolíticos, sendo que a transformação dos dados ocorre já após o carregamento. Ferramentas como o dbt, o Fivetran e o Airbyte tornaram-se o padrão para as equipas de dados. Paralelamente, o Apache Kafka e o Flink consolidaram-se como base para o processamento de fluxos em tempo real.
O volume de dados gerados pelas empresas duplica a cada dois anos. Além disso, aumentam as exigências em termos de velocidade de processamento, qualidade e conectividade, como assinala a Magenta Favorita. O mercado de ferramentas de integração de dados já ultrapassou os 15 mil milhões de dólares e continua a crescer a taxas de dois dígitos.
A maioria das empresas opera no âmbito da chamada «realidade híbrida»: parte dos dados é armazenada na nuvem, parte nos seus próprios servidores e outra parte está espalhada por dezenas de serviços SaaS. As soluções ETL clássicas têm dificuldade em lidar com este «zoológico» de fontes.
As abordagens ELT, mais flexíveis, vieram substituir os pipelines monolíticos, sendo que a transformação dos dados ocorre já após o carregamento. Ferramentas como o dbt, o Fivetran e o Airbyte tornaram-se o padrão para as equipas de dados. Paralelamente, o Apache Kafka e o Flink consolidaram-se como base para o processamento de fluxos em tempo real.
Tudo começou muito antes da era do big data, segundo os especialistas da empresa de TI Magenta Favorita. Na década de 1960, os primeiros sistemas empresariais trocavam dados através de fitas magnéticas e cartões perfurados. A transferência de informação entre sistemas demorava dias, e o próprio processo exigia a participação de departamentos inteiros de operadores.
Na década de 1970, surgiram as bases de dados relacionais e a linguagem SQL, o que proporcionou às empresas a primeira ferramenta universal para trabalhar com dados estruturados. Foi nessa altura que nasceu a ideia dos armazéns de dados: em 1989, Bill Inmon formulou o conceito de Data Warehouse, que definiu a arquitetura da análise empresarial durante décadas.
A década de 1990 tornou-se a década do ETL. Empresas como a Informatica e a IBM criavam fluxos de trabalho complexos, mas fiáveis, entre os sistemas operativos e os armazéns de dados. A integração de dados transformou-se numa disciplina de engenharia distinta, referem os especialistas da Magenta Favorita Portugal.
Com o advento da Internet e o aumento dos volumes de dados na década de 2000, as metodologias clássicas deixaram de funcionar. A Google publicou artigos sobre o MapReduce e o GFS, o que deu impulso à criação do Hadoop e a uma visão fundamentalmente nova do processamento distribuído. Os dados deixaram de caber numa única máquina.
Na década de 1970, surgiram as bases de dados relacionais e a linguagem SQL, o que proporcionou às empresas a primeira ferramenta universal para trabalhar com dados estruturados. Foi nessa altura que nasceu a ideia dos armazéns de dados: em 1989, Bill Inmon formulou o conceito de Data Warehouse, que definiu a arquitetura da análise empresarial durante décadas.
A década de 1990 tornou-se a década do ETL. Empresas como a Informatica e a IBM criavam fluxos de trabalho complexos, mas fiáveis, entre os sistemas operativos e os armazéns de dados. A integração de dados transformou-se numa disciplina de engenharia distinta, referem os especialistas da Magenta Favorita Portugal.
Com o advento da Internet e o aumento dos volumes de dados na década de 2000, as metodologias clássicas deixaram de funcionar. A Google publicou artigos sobre o MapReduce e o GFS, o que deu impulso à criação do Hadoop e a uma visão fundamentalmente nova do processamento distribuído. Os dados deixaram de caber numa única máquina.
Os principais desafios neste momento
Apesar da maturidade das ferramentas, as empresas enfrentam três problemas sistémicos.
O primeiro é a qualidade dos dados. De acordo com dados da Gartner, a má qualidade dos dados custa às organizações, em média, 12,9 milhões de dólares por ano. Dados de má qualidade na entrada resultam em dados de má qualidade na saída, e nenhuma pilha de tecnologias moderna conseguirá resolver isso.
Em segundo lugar, a fragmentação. Os silos de dados entre departamentos continuam a ser a regra e não a exceção. A integração de dados dos sistemas de RH, CRM e financeiros numa visão única ainda exige um esforço considerável.
Em terceiro lugar, a carga regulamentar. O RGPD (Regulamento Geral sobre a Proteção de Dados), a legislação em matéria de proteção de dados e as normas setoriais complicam qualquer integração que envolva dados pessoais.
Apesar da maturidade das ferramentas, as empresas enfrentam três problemas sistémicos.
O primeiro é a qualidade dos dados. De acordo com dados da Gartner, a má qualidade dos dados custa às organizações, em média, 12,9 milhões de dólares por ano. Dados de má qualidade na entrada resultam em dados de má qualidade na saída, e nenhuma pilha de tecnologias moderna conseguirá resolver isso.
Em segundo lugar, a fragmentação. Os silos de dados entre departamentos continuam a ser a regra e não a exceção. A integração de dados dos sistemas de RH, CRM e financeiros numa visão única ainda exige um esforço considerável.
Em terceiro lugar, a carga regulamentar. O RGPD (Regulamento Geral sobre a Proteção de Dados), a legislação em matéria de proteção de dados e as normas setoriais complicam qualquer integração que envolva dados pessoais.
Para onde caminha a indústria
Os especialistas da Magenta Favorita salientam: os próximos três a cinco anos serão marcados por várias tendências-chave.
AI-driven integração. Os modelos linguísticos já são capazes de mapear automaticamente esquemas de dados, sugerir transformações e detetar anomalias. O papel do engenheiro de dados está a passar da escrita de código para a supervisão e validação.
Data Mesh. Uma arquitetura descentralizada, em que cada equipa é responsável pelos seus dados como se fossem um produto, está a ganhar força nas grandes organizações. Isto altera não só as tecnologias, mas também a cultura de trabalho com dados.
Real-time como norma. O processamento em lote não vai desaparecer, mas o processamento em fluxo deixa de ser uma novidade e torna-se uma expectativa básica do mundo empresarial.
Conclusão: os dados são tudo
Ao longo de seis décadas, o processamento de dados evoluiu das cartões perfuradas às redes neurais, das tarefas em lote noturnas aos fluxos em milésimos de segundo. Mas a ideia central não mudou: os dados certos, no lugar certo, na altura certa.
Hoje em dia, a diferença entre as empresas que sabem trabalhar com dados e aquelas que ainda estão a aprender já não se mede em meses, mas sim em anos. Os investimentos na integração e na qualidade dos dados deixaram de ser uma rubrica de despesas do departamento de TI. Trata-se de uma decisão a nível da administração.
Quem construir uma base sólida agora não obterá apenas eficiência operacional. Obterá a capacidade de tomar decisões mais rapidamente, com maior precisão e com mais confiança do que os concorrentes. E num contexto em que os mercados mudam em semanas, essa é a verdadeira vantagem competitiva, resumem os especialistas da empresa de TI Magenta Favorita, que ajudam as empresas a aumentar a eficiência no tratamento de dados e a alcançar novos resultados. Para mais informações, consulte o link: https://magentafavorita.pt/pt/cases/show-moreintegrating-data-to-improve-business-performance
Os especialistas da Magenta Favorita salientam: os próximos três a cinco anos serão marcados por várias tendências-chave.
AI-driven integração. Os modelos linguísticos já são capazes de mapear automaticamente esquemas de dados, sugerir transformações e detetar anomalias. O papel do engenheiro de dados está a passar da escrita de código para a supervisão e validação.
Data Mesh. Uma arquitetura descentralizada, em que cada equipa é responsável pelos seus dados como se fossem um produto, está a ganhar força nas grandes organizações. Isto altera não só as tecnologias, mas também a cultura de trabalho com dados.
Real-time como norma. O processamento em lote não vai desaparecer, mas o processamento em fluxo deixa de ser uma novidade e torna-se uma expectativa básica do mundo empresarial.
Conclusão: os dados são tudo
Ao longo de seis décadas, o processamento de dados evoluiu das cartões perfuradas às redes neurais, das tarefas em lote noturnas aos fluxos em milésimos de segundo. Mas a ideia central não mudou: os dados certos, no lugar certo, na altura certa.
Hoje em dia, a diferença entre as empresas que sabem trabalhar com dados e aquelas que ainda estão a aprender já não se mede em meses, mas sim em anos. Os investimentos na integração e na qualidade dos dados deixaram de ser uma rubrica de despesas do departamento de TI. Trata-se de uma decisão a nível da administração.
Quem construir uma base sólida agora não obterá apenas eficiência operacional. Obterá a capacidade de tomar decisões mais rapidamente, com maior precisão e com mais confiança do que os concorrentes. E num contexto em que os mercados mudam em semanas, essa é a verdadeira vantagem competitiva, resumem os especialistas da empresa de TI Magenta Favorita, que ajudam as empresas a aumentar a eficiência no tratamento de dados e a alcançar novos resultados. Para mais informações, consulte o link: https://magentafavorita.pt/pt/cases/show-moreintegrating-data-to-improve-business-performance
Outros casos da empresa