NEC lança software gratuito FireDucks para acelerar a análise de dados no Python
Ferramenta possibilita uma preparação dos dados até 16 vezes mais rápida, reduzindo tempo e custo necessários para efetuar a tarefa
Salvador, 01/12/2023 – A NEC Corporation lançou, recentemente, uma nova livraria para análises de dados, chamada de FireDucks. A principal característica dessa nova livraria é a sua velocidade de processamento quando comparada por exemplo à livraria mais utilizada nesse mundo, o “pandas”. Capaz de realizar a preparação de dados necessária para a análise de dados até 16 vezes mais rápido do que as livrarias/softwares existentes, esta ferramenta reduz significativamente o tempo gasto no processo de análise de dados e reduz os custos computacionais. A versão beta do FireDucks já está disponível gratuitamente online.
Nos últimos anos, tornou-se mais fácil do que nunca coletar grandes volumes de dados, incluindo informações de vendas obtidas por meio dos terminais para pagamento com cartão (POS), e-commerce, comércio eletrônico e dados de transações financeiras. Para extrair resultados analíticos valiosos desses dados, há uma crescente necessidade de que os cientistas de dados façam suas análises usando inteligência artificial (IA) e aprendizado de máquina (ML).
No entanto, para se preparar para a análise de dados, conjuntos de dados grandes precisam ser pré-processados. Estima-se que os cientistas de dados gastem aproximadamente 45% do seu tempo preparando dados, e isso se tornou um grande problema. Além disso, o aumento no volume de dados e a evolução da IA e do ML levaram a um aumento na complexidade computacional. Como resultado, custos computacionais mais elevados (por exemplo, custos de nuvem) e o consequente aumento no consumo de energia e emissões de CO2 também se tornaram problemáticos.
Diante disso, a NEC se propôs a desenvolver o FireDucks, um programa de software desenhado para acelerar o processo de manipulação de dados, e totalmente compatível com a livraria “pandas”, não sendo necessário o refactoring do código. Para desenvolver este software a NEC utilizou a tecnologia de programação de alto desempenho e o conhecimento em aceleração que cultivou em mais de trinta anos de experiência no desenvolvimento de supercomputadores.
Ao disponibilizar a versão beta do FireDucks gratuitamente para o público em geral, a NEC espera contribuir para a redução das horas de trabalho dos cientistas de análise de dados na de resolução de questões ambientais por meio da conservação de energia e redução das emissões de CO2.
Recursos
• Desempenho acelerado
Para utilizar o FireDucks, basta trocar a livraria “pandas” em nosso código python pelo FireDucks. Dessa forma o mesmo código de manipulação de dados será acelerado em até 16 vezes e, em média, cerca de cinco vezes. Isso reduz em aproximadamente 30% o tempo total que os cientistas de dados passam trabalhando.
A utilização paralela de todos os núcleos e a redução da computação são as principais razões para esse nível de aceleração. O FireDucks utiliza cada núcleo de uma CPU multinúcleo para processar eficientemente grandes conjuntos de dados em paralelo.
Além disso, em vez de executar processos na mesma ordem e faixa especificados no programa, os conjuntos de dados necessários para produzir os resultados são identificados antecipadamente no processo geral, o que significa que o processamento só precisa ser realizado para esses conjuntos de dados. Isso, por sua vez, torna possível acelerar o processamento.
• Alta compatibilidade
Conforme mencionado, uma outra característica deste software é sua alta compatibilidade com “pandas”, não sendo necessário mudança alguma no código a não ser a troca da livraria “pandas” pelo FireDucks. Embora algumas bibliotecas sejam capazes de atingir velocidades de processamento mais rápidas que “pandas”, elas exigem várias etapas, incluindo a necessidade de reescrever o programa. Por outro lado, o FireDucks pode ser facilmente aplicado, pois apenas uma linha do programa precisa ser reescrita para realizar a análise e a codificação da mesma forma que se usaria os pandas.
Resultados Reais
Os seguintes resultados foram obtidos quando o FireDucks foi usado em operações reais pela Toyota Technical Development Corporation (TTDC).
• Redução de 60% no tempo gasto na análise de dados usando um framework de IA interno (Spicy MINT)
• Diminuição de 76% no tempo de operação do PC de análise
Uma entrevista na qual os funcionários da TTDC que usaram o FireDucks falaram com membros da equipe de desenvolvimento para fornecer feedback sobre o software recém-desenvolvido pode ser vista no neste site.
Planos Futuros
Ao disponibilizar a versão beta do FireDucks gratuitamente e permitir que os cientistas de dados o utilizem na prática, a NEC trabalhará para melhorar sua funcionalidade, verificando sua eficácia, com o objetivo de comercializá-lo até o ano fiscal de 2024.
