Fujitsu Laboratories of Europa ha logrado aplicar el paralelismo de modelos para distribuir los requerimientos de memoria en redes neuronales profundas de una forma transparente, automatizada y fácilmente gestionada

El uso de redes neuronales porfundas (DNNs o Deep Neural Networks), esenciales para numerosas aplicaciones de Inteligencia Artificial, requiere masivos recursos computacionales, imponiendo severas demandas de infraestructuras de computación.

Para solventar esta necesidad, la solución desarrollada por Fujitsu Laboratories of Europa aplica el paralelismo de modelos para distribuir los requerimientos de memoria en DNNs de una forma transparente, automatizada y fácilmente gestionada. Como resultado, la capacidad de las infraestructuras actuales para hacer frente a las aplicaciones de IA de gran escala se mejora considerablemente sin necesidad de nuevas inversiones.

El Dr. Tsuneo Nakata, CEO de Fujitsu Laboratories of Europe, señala que "en los últimos años hemos visto un aumento masivo de avances tecnológicos que utilizan aceleradores de hardware para soportar la enorme escala de cálculos necesarios para construir Deep Neural Networks (DNNs) destinadas a aplicaciones de IA, aunque el aumento continuo en los costos computacionales de las DNNs es un desafío importante, particularmente cuando el tamaño del modelo de DNNs aumenta hasta el punto de superar la capacidad de memoria del acelerador”.

“Ante esa necesidad de redes neuronales más amplias y profundas, junto a una más detallada clasificación de las categorías, para hacer frente a los retos de la IA, hemos resuelto que distribuyendo los requerimientos de memoria DNN con nuestra tecnología, es posible ampliar el tamaño de las redes neuronales y su despliegue en múltiples máquinas, lo que permite el desarrollo de modelos DNNs más precisos y a gran escala”.

En concreto, la solución realiza un innovador proceso de distribución de la memoria, transformando las capas de redes neuronales diseñadas arbitrariamente en redes equivalentes, en las que algunas o todas sus capas son reemplazadas por un número de subcapas más pequeñas.

Estas subcapas son funcionalmente equivalentes a las originales aunque, desde el punto de vista de la computación, son mucho más eficientes para ejecutar. Es importante destacar que dado que las capas originales y nuevas provienen del mismo perfil, el proceso de formación del DNN ahora transformado y distribuido converge con la DNN original sin coste adicional.

Fujitsu Laboratories of Europa ha evaluado exhaustivamente la nueva tecnología, obteniendo más del 90% de eficiencia en la distribución de la memoria al transformar las capas completamente conectadas de AlexNet en varias NVIDIA GPUs; y ya ha aplicado el nuevo mecanismo a Caffe, el marco de referencia open source de aprendizaje profundo ampliamente utilizado por las comunidades de I+D de todo el mundo.

Además, como se trata de una tecnología independiente de hardware, puede explotar la potencia computacional de unidades de procesamiento convencionales, así como los aceleradores de hardware actuales y emergentes, incluyendo, por ejemplo, NVIDIA GPUs, Intel Xeon Phi, FPGAs, ASICs u otros procesadores específicamente diseñados para deep learning.

Entre los ejemplos de aplicaciones que pueden sacar partido de esta solución están las de medicina y salud, procesamiento de lenguaje natural, análisis y clasificación de imágenes de satélite y, en general, ámbitos en los que los modelos de aprendizaje profundo a gran escala son requeridos para modelar y aprender la gran complejidad del lenguaje humano, datos basados en gráficos de gran escala incluyendo dispositivos IoT, transacciones financieras, servicios de redes sociales, etc.

Fujitsu Laboratories of Europe es el centro de excelencia para la investigación avanzada de Fujitsu que trabaja en deep y machine learning, como parte de las soluciones y servicios digitales que se están desarrollando bajo la iniciativa de la compañía japonesa, centrada en las personas y denominada Zinrai.

Entra sus actividades están la colaboración y co-creacion con sus clientes y e instituciones de investigación de la región de EMEIA, entre las que están el Hospital Clínico San Carlos de Madrid con la solución HIKARI AI, la Universidad de Sevilla con el análisis de datos para aplicaciones turísticas y el Centro de Innovación 5G en el Reino Unido. www.fujitsu.com/fts/about y en www.fujitsu.com/fts/about