Language
home » moda & varejo »

Ponto de Vista

Tamanho do texto  A A A
Compartilhar

O real papel do engenheiro de dados

A mineração está diferente nos dias de hoje. E o engenheiro de dados sabe bem disso. Afinal, é nessa ciência que atualmente está aplicada a nova atividade ‘mineradora’. E essa engenharia contemporânea é a responsável por tratar da transformação dos dados brutos de uma empresa.

É aí que começa a primeira ‘extração’ no processamento de dados, que abarca a série de atividades para dar uma utilidade prática à imensa quantidade de informação disponível. E a dinâmica segue um ritual extremamente relevante com os processos de coleta, armazenamento e distribuição dos dados, que estão sob a mira da engenharia de dados.

E quem é o profissional que faz isso? Quais as principais responsabilidades e desafios do (a) engenheiro (a) de dados? É ele o grande articulador por reunir, organizar e disponibilizar de maneira simples e acessível todos os dados da empresa. 

O engenheiro de dados tem propriedade para ir além das linguagens (Java, Scala e Python e outras). Ele tem domínio amplo da lógica e do quão complexo é o ecossistema de conceitos que povoa esta técnica, incluindo inclui big data e computação em nuvem. São com base nesses conhecimentos que o profissional de dados concebe, constrói e realiza uma série de testes de arquiteturas de sistemas de processamento de dados. É ele também o responsável por orientar soluções de aquisição de dados e de combinação de fontes de dados.

Com essa gama definida, é o engenheiro quem elabora o chamado pipeline de dados. É importante a criação desse processo pelo qual a informação passa, incluindo a entrada no sistema, o processamento e o armazenamento, facilitando assim as consultas a serem realizadas por quem precisa desse levantamento. Outro embasamento relevante é que o engenheiro de dados tenha também conhecimentos sobre análise preditiva e prescritiva, para auxiliar end to end todas as etapas do trabalho.

A qualificação da tomada de decisão a partir dos dados também faz parte do escopo de avaliação da engenharia de dados. Há ainda uma composição com a ciência de dados, que atua de forma equivalente com a engenharia de dados. Embora sejam áreas complementares, o trabalho do cientista entra após o processo gerido pelo engenheiro, que desenvolve toda uma infraestrutura para coletar, organizar e armazenar os dados. Já o cientista de dados, chega para aplicar suas capacidades para tratá-los. Cabe a ele ‘minerar’ os dados e extrair os melhores e mais valiosos insights para seus clientes ou para a empresa em que trabalha.

Isso posto, cabe lembrar que todo esse ritual segue a segurança já definida pela Lei Geral de Proteção de Dados (LGPD), que protege tanto o consumidor como todos os envolvidos nesse ecossistema. A LGPD disponibiliza amplos benefícios, porque limita os seus riscos, cria um ambiente seguro, confiança e transparência, além de gerar resultados positivos para todos. 

Os desafios para o engenheiro de dados são imensos, no entanto, seguir alguns princípios dão o caminho certo para conquistar credibilidade e retorno. Destaco aqui quatro deles. 

Boa interlocução. É essencial ser um bom interlocutor e conseguir entender os desafios de cada área da empresa. Não bastando somente entender de ‘bits e bytes’. 

Alta capacidade de aglutinar os dados. Ter a capacidade de selecionar, organizar e reunir, da forma mais eficaz possível, os dados relevantes para as mais diversas áreas de uma organização.

Ser um ‘trust advisor’ sobre as melhores e mais eficazes ferramentas tecnológicas de mercado.

E, por último e não menos importante, conseguir realizar a extração do valor dos dados por intermédio de ‘insights’ que façam a diferença na tomada de decisões da empresa. Resumidamente, esses fatores, quando bem definidos e postos em prática, elevam o valor do profissional da mais nova mineração, já que os dados estão por toda a parte.

Por: Esdras Cândido é vice-presidente de Produtos e Serviços da Orys, consultoria especializada em inteligência de dados

O Portal Textília.net não autoriza a reprodução total ou parcial de qualquer conteúdo aqui publicado, sem prévia e expressa autorização. Infrações sujeitas a sanções.

Por: Esdras Cândido

Data de publicação: 01/04/2022

Galeria de fotos desta matéria

Conteúdo relacionado


Quais são as dores tecnológicas das cooperativas de crédito?
Ao mesmo tempo que o mercado financeiro avança digitalmente com as fintechs, entendo que muitas instituições da área, em especial as cooperativas de crédito, ainda sofrem dores específicas relativas às suas áreas de TI (Tecnologia da Informação). Entre elas estão questões como: governança, principalmente por se tratarem de cooperativas e diversos associados com acesso aos dados; localização, pois muitas cooperativas estão em regiões mais remotas; e a necessidade de garantir por completo a segurança das operações e do compartilhamento de dados.  2022-08-31

Indústria digitalizada é mais competitiva
A pandemia trouxe para o mundo um senso de urgência nos processos de digitalização em todos os setores, especialmente no da indústria. Tudo o que representava um passo a ser dado no futuro, apenas mera intenção, acabou se tornando premente.  2022-08-31

O salto da comunicação visual impulsionado pela evolução tecnológica
O setor de comunicação visual está passando por uma transição importantíssima. A tecnologia, que há algum tempo atrás era relegada para um segundo plano, vem sendo cada vez mais priorizada. Os clientes já entendem que para aumentar as oportunidades precisam sair do trivial.  2022-08-31

O papel da liderança no modelo de trabalho phigital
Não é fácil, mas não é impossível liderar, motivar e desenvolver pessoas trabalhando em home office ou no novo modelo híbrido. Com a pandemia, as empresas tiveram que se reinventar e se adaptar ao cenário da gestão à distância. Os desafios impostos provocaram uma mudança de paradigmas e obrigaram muitos a administrar as tarefas pessoais ao mesmo tempo que lidavam com os compromissos profissionais. Sem falar na preocupação de contrair uma doença desconhecida e suas consequências.  2022-08-31

Empresas que abraçam a diversidade voam mais alto e chegam mais longe
De alguns anos para cá, muito se tem falado sobre diversidade e inclusão nas organizações. Hoje, possuir um time diverso é, além de um dever social, também é estratégico para a vantagem competitiva do negócio. Sabemos que o cenário atual é cada vez mais múltiplo quando falamos sobre gênero, orientação sexual, etnia, deficiências, faixas etárias e outros, e as corporações precisam adotar estratégias cada vez mais ousadas para conseguir acompanhar este movimento, representando a pluralidade do país dentro no seu quadro de colaboradores.  2022-08-01

A tendência do ESG, as PMEs e a cultura organizacional
Em 2021, o interesse pelo ESG atingiu índices importantes no Brasil. De acordo com um levantamento do Google Trends, entre fevereiro de 2021 e 2022, as buscas sobre o tema cresceram 150% em comparação aos 12 meses anteriores. Inclusive, o Brasil foi o país da América Latina onde houve a maior concentração de pesquisas sobre o assunto e um dos 25 países do mundo que mais buscou a temática.  2022-08-01

Estratégias para elevar a experiência do seu cliente no mundo phygita
Os avanços tecnológicos vêm transformando os hábitos de consumo e também o grau de exigência dos consumidores, o que estimula empresas a reverem constantemente suas estratégias de marketing e relacionamento. Na era do phygital, integração do mundo físico ao digital na experiência do consumidor, o desafio se tornou ainda maior.  2022-08-01

A nova onda do outsourcing
Diariamente somos inundados por diversas ondas e novidades no mundo corporativo, essa enxurrada de informação e notícias tem uma razão muito simples, a evolução exponencial dos negócios em diversos processos e setores está constantemente batendo a nossa porta com oportunidades.  2022-08-01

Investir em integridade gera vantagem competitiva em diferentes setores
Muito além de expandir a troca comercial, estreitar relações com fornecedores e o setor público, mecanismos de integridade têm como objetivo prevenir, identificar e combater fraudes, irregularidades e outros atos ilícitos. "Diante de uma sociedade atenta aos ambientes regulatórios mais estreitos, zelar pela integridade tornou-se uma rotina", comenta o especialista em Compliance, Wagner Giovanini.  2022-07-04

Startups precisam vender mais para se manterem ativas
As startups precisam vender mais. E se o atual cenário global aponta para a desvalorização das empresas de tecnologia listadas em bolsa, estamos no momento preciso para que estas coloquem em prática uma série de ações que podem levá-las a virar este jogo. Abandonar alguns “vícios” e alinhar estratégias são algumas atitudes.  2022-07-04

5 vantagens que estão levando polos de modas para o marketplace
Nunca se vendeu tanta moda pela internet, e essa é uma tendência que veio para ficar. De acordo com o relatório "E-Commerce do Brasil" de 2021, o setor de moda cresceu cerca de 40% no marketplace, e isso foi consequência direta da pandemia de covid-19. No entanto, mesmo com as lojas físicas já em funcionamento, as vendas online continuam a registrar aumento.  2022-07-04

Como manter e engajar os consumidores frutos de datas especiais do comércio
As datas especiais para as vendas como Dia dos Pais, Black Friday, Natal, entre outras, impulsionam as compras por um curto período. Por isso, é importante se antecipar e utilizar essas ocasiões como uma grande oportunidade de aquisição de novos clientes e novas vendas, preparando estratégias de retenção e engajamento visando manter esses consumidores ativos e próximos à marca.  2022-07-04

Self-checkout: o poder na mão dos clientes no varejo
Aprender uma nova receita, pesquisar tudo antes de decidir qual novo celular comprar, montar a própria playlist. Se há um conceito que tem ganhado destaque em nossas vidas nos últimos anos, essa ideia certamente é a lógica do "Faça você mesmo" (Do It Yourself ou DIY, em inglês). O fato é que, entre as muitas mudanças trazidas pela Revolução Digital, o acesso à tecnologia tem permitido que o poder esteja cada vez em nossas mãos. E isso também inclui o momento do pagamento.  2022-06-01

Emissão de notas fiscais devem fazer parte de empresas de todos os segmentos
A emissão de notas fiscais é um processo necessário na rotina de empresas de qualquer área de atuação, mantendo um funcionamento pleno e regularizado do estabelecimento para que não haja problemas fiscais no futuro. De acordo com Fábio Ieger, CEO da iCertus, startup de Curitiba (PR) que oferece uma série de serviços voltados para a gestão de micro e pequenas indústrias, com destaque na área de crédito, emitir notas fiscais é importante por diversos motivos.  2022-06-01

Brasil pode crescer e inovar com IoT, mesmo com os desafios da conjuntura
Para mim, é sempre uma grande satisfação relembrar o período no qual participei como advisor no Conselho Consultivo que elaborou o projeto-estudo “Internet das coisas: um plano de ação para o Brasil”, iniciado em 2016 pelo MCTI e BNDES. Não me recordo de nenhum trabalho tão bem-feito e com tantas mãos atuantes: centenas de experts do Brasil e dezenas internacionais, centros de pesquisas, universidades, representantes de classe técnica e patronal de nossa sociedade, parlamentares, entre outros. O resultado culminou no Plano Nacional de Internet das Coisas (PNIoT), Decreto nº 9.854, de 25 de junho de 2019, com a finalidade de implementar e desenvolver a Internet das Coisas no Brasil.  2022-06-01

Metaverso e o futuro do Customer Experience
Muito temos ouvido falar sobre metaverso e as possibilidades inovadoras que ele traz em experiências e em interação entre pessoas, assim como entre pessoas e marcas. Empresas estão adquirindo espaços virtuais e até já pensam em produtos que podem ser comercializados para utilização dentro ou fora do mundo cibernético. Se existe uma relação entre consumidores e empresas, é necessário se pensar em atendimento ao cliente.  2022-06-01

Redução de 35% do IPI estimula consumo e competitividade da indústria
O aumento do desconto de 25% para 35% no Imposto sobre Produtos Industrializados (IPI), conforme decreto publicado no Diário Oficial da União desta sexta-feira (29/04) é correto. O corte de alíquota estimula o consumo e a competitividade da indústria. É oportuno e terá impactos positivos para a sociedade, ao contribuir para a recuperação econômica, barateando o que é produzido e conferindo mais poder de compra à população.  2022-05-02

É possível humanizar os assistentes virtuais
Os chatbots estão cada vez mais presentes nas empresas de atendimento ao cliente, trazendo mais autonomia para o consumidor final, além de proporcionar uma comunicação mais imediata, com alta disponibilidade, possibilitando reduções de custo e ampliando ainda mais a capacidade de resposta entre cliente e consumidor de uma forma ágil.  2022-05-02

Como a transformação digital pode contribuir dentro da sua empresa?
Essa expressão já deve ter passado inúmeras vezes na sua timeline e suscitado a seguinte dúvida: como posso melhorar a transformação digital na minha empresa? E vou além, sua empresa já adentrou o processo fundamental de digitalização para se manter viva e ativa para os próximos anos?  2022-05-02

Geração Z: o desafio de iniciar a carreira na pós-pandemia
Cerca de 1,5 bilhão de pessoas em todo o mundo. Este é o número de jovens da chamada Geração Z, que são os nascidos entre 1995 e 2010. No Brasil, a estimativa é que este número chegue a 23 milhões de pessoas. Parte desse universo está entrando no mercado de trabalho em um novo cenário, quando contatos profissionais são realizados basicamente por e-mail, mensagens e redes sociais. Como se destacar a partir de tais limitações?  2022-05-02