¿Qué enorme impacto tendrá el nuevo chip de red neuronal en el campo tecnológico y en el mundo entero?

1. Diferencias con los ordenadores tradicionales En 1946, el científico húngaro-estadounidense von Neumann propuso el principio del programa almacenado, tratando el programa en sí como datos. Durante más de medio siglo transcurrido desde entonces, se han logrado grandes avances en el desarrollo de las computadoras, pero el diseño de memorias de información y procesadores en la "Arquitectura Von Neumann" todavía se utiliza hoy en día, y el canal de transmisión de información que conecta la memoria y el procesador todavía pasa por el bus para lograrlo. A medida que aumenta enormemente la cantidad de datos procesados, la limitada velocidad de transmisión de datos del autobús se denomina "cuello de botella de Von Neumann", especialmente con el auge de Internet móvil, las redes sociales, el Internet de las cosas, la computación en la nube, la secuenciación de alto rendimiento, etc. , lo que hace que el "cuello de botella de Von Neumann" sea cada vez más prominente, y las limitaciones de la falta de capacidades de autocorrección de la computadora también se han convertido en obstáculos para el desarrollo.

Los defectos estructurales también conllevan limitaciones funcionales. Por ejemplo, desde el punto de vista de la eficiencia, el consumo de energía de las operaciones informáticas es relativamente alto; aunque la cantidad de información procesada por el cerebro humano no es menor que la de una computadora, el consumo de energía es obviamente mucho menor. Por esta razón, aprender más capas de redes neuronales para que las computadoras puedan simular mejor las funciones del cerebro humano se ha convertido en un foco de investigación desde finales del siglo pasado.

En estos estudios, el núcleo de la investigación es la diferencia estructural esencial entre la "arquitectura de von Neumann" y la "arquitectura del cerebro humano": en comparación con las computadoras, el almacenamiento y procesamiento de información del cerebro humano se realiza a través de ella. Se realiza mediante la unidad básica de sinapsis, por lo que no existe un límite obvio. Es la plasticidad de los billones de sinapsis en el cerebro humano: los cambios neuronales (variabilidad, modificabilidad, etc.) causados ​​por diversos factores y condiciones después de un cierto período de tiempo, lo que hace que la memoria y la función de aprendizaje del cerebro humano se realicen.

Tres características que tiene el cerebro pero no los ordenadores: Bajo consumo de energía (el consumo de energía del cerebro humano es de sólo unos 20 vatios, mientras que los superordenadores que se utilizan actualmente para intentar simular el cerebro humano consumen varios megavatios) de energía); tolerancia a fallos (un transistor roto puede destruir un microprocesador, pero las neuronas del cerebro mueren todo el tiempo y no es necesario programarlo (el cerebro también procesa mientras interactúa con el mundo exterior) Aprender y cambiar en lugar de hacerlo); siguiendo la ruta fija y la operación de rama del algoritmo preestablecido)

Se puede decir que esta descripción es el ideal supremo de las computadoras "eléctricas".

Nota: Las primeras computadoras también se implementaron con circuitos analógicos y luego se desarrollaron hasta llegar a la CPU digital actual con solo 0 y 1.

Todas las computadoras actuales utilizan la llamada arquitectura von Neumann, que transfiere datos de un lado a otro en una secuencia lineal de cálculos entre una unidad central de procesamiento y un chip de memoria. Esto funciona muy bien cuando se trabaja con números y ejecuta procedimientos escritos con precisión, pero no tan bien cuando se trabaja con imágenes o sonidos y se comprende su significado.

Una cosa es reveladora: en 2012, Google demostró que su software de inteligencia artificial podía aprender a identificar gatos en vídeos sin que le dijeran qué era un gato con 16.000 procesadores.

Para seguir mejorando el rendimiento de estos procesadores, los fabricantes deben equiparlos con más y más rápidos transistores, cachés de memoria de silicio y rutas de datos, pero el calor generado por todos estos componentes limita la velocidad del chip. especialmente en dispositivos móviles con potencia limitada. Esto podría obstaculizar el desarrollo de dispositivos que procesen eficazmente imágenes, sonidos y otra información sensorial para tareas como el reconocimiento facial, la robótica o los equipos de transporte.

Los chips neuromórficos intentan imitar en silicio la forma en que el cerebro humano procesa la información de manera masivamente paralela: miles de millones de neuronas y billones de sinapsis responden a estímulos sensoriales como estímulos visuales y sonoros.

En respuesta a imágenes, sonidos, etc., estas neuronas también cambiarán la forma en que están conectadas entre sí. A este proceso lo llamamos aprendizaje. Los chips neuromórficos incorporan patrones de "redes neuronales" inspiradas en el cerebro humano, por lo que pueden hacer lo mismo.

Jeff Hawkins, un destacado pensador de la inteligencia artificial, dijo que usar software especializado para intentar simular el cerebro humano en procesadores tradicionales (lo que hizo Google en el experimento del gato) es un buen ejemplo. La base de inteligencia es demasiado ineficiente.

Hawkins creó Palm Pilot y luego cofundó Numenta, una empresa que fabrica software inspirado en el cerebro humano. "No se puede construir simplemente en software", dijo sobre la inteligencia artificial, "hay que construirla en silicio".

Con los cálculos informáticos existentes, los programas se ejecutan línea por línea, mientras que son neuronales. Las computadoras de la red son diferentes.

Los programas de inteligencia artificial actuales básicamente escriben todo tipo de conocimiento, grande y pequeño, en declaraciones una por una, y luego las introducen en el sistema. Cuando ingresa una pregunta en el programa inteligente, buscará en su propia base de datos y seleccionará la solución mejor o más cercana. En 2011, la famosa computadora inteligente Watson de IBM utilizó esta tecnología para derrotar al defensor humano más fuerte en un programa de preguntas de la televisión estadounidense.

(Las computadoras de red neuronal) utilizan este tipo de señalización asíncrona (llamada así porque no hay un reloj central para sincronizarla) para procesar datos más rápido que la señalización síncrona, por lo que no se pierde tiempo esperando a que el reloj envíe. una señal encendida. La señalización asíncrona también consume menos energía, satisfaciendo así la primera característica de la computadora ideal del Dr. Meyer. Si un procesador fallaba, el sistema tomaría otra ruta para evitarlo, satisfaciendo así la segunda característica de la computadora ideal del Dr. Meyer. Precisamente porque la programación para señalización asíncrona no es fácil, la mayoría de los ingenieros informáticos la ignoran. Sin embargo, es perfecto como forma de imitar el cerebro. En términos de consumo de energía:

En términos de hardware, en los últimos años se ha realizado principalmente mediante la simulación de grandes redes neuronales, como el sistema de aprendizaje profundo de Google, Google Brain, Adam de Microsoft, etc. Pero estas redes requieren grandes grupos de computadoras tradicionales. Por ejemplo, Google Brain utiliza 1.000 ordenadores con procesadores de 16 núcleos cada uno. Aunque esta arquitectura muestra capacidades considerables, sigue consumiendo enormes cantidades de energía. IBM lo está imitando en el chip. 4.096 núcleos, 1 millón de "neuronas" y 256 millones de "sinapsis" están integrados en un centímetro cuadrado de sólo unos pocos centímetros de diámetro (1/16 del tamaño del prototipo de 2011), y el consumo de energía es inferior a 70 milivatios. .

El equipo de investigación de IBM realizó una vez una demostración utilizando el conjunto de datos de la torre NeoVision2 de DARPA. Es capaz de identificar personas, bicicletas, autobuses, camiones, etc. en tiempo real con una precisión del 80% en vídeos de intersecciones capturados en la Torre Hoover de la Universidad de Stanford a una velocidad normal de 30 fotogramas por segundo. En comparación, una computadora portátil programada para completar la misma tarea es 100 veces más lenta y consume 10.000 veces la energía de un chip IBM.

Ref: Un circuito integrado de millones de neuronas con una red e interfaz de comunicación escalables. Paul A. Merolla et al. Science 345, 668 (2014): 10.1126/science.1254642.

Debido a que se requiere una base de datos con una gran cantidad de datos para el entrenamiento y una potencia informática extremadamente poderosa para la predicción, algunos aprendizajes profundos existentes, como Google Brain de Andrew Ng, Siri de Apple, etc., deben estar conectados a la nube. servidor.

2. Controversia:

Aunque el aprendizaje profundo se ha aplicado a la investigación científica de vanguardia y a la vida diaria, Google lo ha implementado en la función de búsqueda principal. Pero otros laboratorios de inteligencia artificial conocidos no han respondido unánimemente a la tecnología de aprendizaje profundo.

Por ejemplo, Oren Etzioni, director general del Centro Allen de Inteligencia Artificial, no se ha planteado incorporar el aprendizaje profundo a los sistemas de inteligencia artificial que se desarrollan actualmente. La investigación actual del instituto se centra en el conocimiento científico a nivel de la escuela primaria, con la esperanza de desarrollar un programa inteligente que pueda realizar fácilmente varios exámenes con solo leer los libros de texto escolares. Oren Etzioni tomó los aviones como ejemplo. Dijo que los diseños de aviones más exitosos no provienen de la estructura de un ruiseñor, por lo que la analogía de los nervios cerebrales no puede garantizar la realización de la inteligencia artificial, por lo que no están considerando tomar prestada tecnología de aprendizaje profundo. desarrollar este sistema.

Pero en el corto plazo, la situación puede no ser tan optimista.

En primer lugar, la programación de chips sigue siendo un gran problema. La programación del chip debe considerar qué neuronas se seleccionan para conectarse y el grado de interacción entre neuronas. Por ejemplo, para identificar el automóvil en el video de arriba, los programadores primero deben realizar los ajustes necesarios en una versión simulada del chip y luego pasarlos al chip real. Este tipo de chip necesita subvertir el pensamiento de programación tradicional. Aunque IBM lanzó un conjunto de herramientas el año pasado, la programación sigue siendo muy difícil. El equipo de IBM está compilando bibliotecas de desarrollo para facilitar el proceso. (Por supuesto, si miramos la historia de los lenguajes de programación desde el ensamblador, esto puede no ser un problema).

En segundo lugar, a los ojos de algunos profesionales, las capacidades de este El chip aún debe ser probado.

Además, la verdadera computación cognitiva debería poder aprender de la experiencia, encontrar conexiones, proponer hipótesis, memorizar y aprender basándose en los resultados. En la demostración de IBM, todo el aprendizaje (entrenamiento) se realiza fuera de línea en una computadora von Neumann. . Sin embargo, la mayor parte del aprendizaje automático se lleva a cabo actualmente fuera de línea, porque el aprendizaje a menudo requiere ajustes en el algoritmo y el hardware de IBM no tiene la flexibilidad para ajustarse y no es bueno para hacerlo.

3. Principio de funcionamiento e implementación del circuito de neuronas artificiales

Red neuronal artificial

Red neuronal artificial (ANN), denominada red neuronal (ANN) Neural La red (abreviada como NN) es un modelo matemático o modelo computacional que imita la estructura y función de las redes neuronales biológicas.

La red neuronal es un modelo informático que consta de una gran cantidad de nodos (o "neuronas" o "unidades") y conexiones interconectadas. Cada nodo representa una función de salida específica, llamada función de activación. Cada conexión entre dos nodos representa un valor ponderado para la señal que pasa a través de la conexión, llamado peso, que equivale a la memoria de una red neuronal artificial. La salida de la red varía según el método de conexión de la red, los valores de peso y la función de activación. La red en sí suele ser una aproximación de un determinado algoritmo o función en la naturaleza, o puede ser una expresión de una estrategia lógica. Ref: Wikipedia: Red Neural Artificial

Principio del Circuito

La secreción de neurotransmisores es a su vez una respuesta a la estimulación del potencial de acción. Sin embargo, una neurona deja de disparar potenciales de acción después de recibir una de estas señales de neurotransmisores. Por supuesto, poco a poco se van sumando hasta alcanzar un valor límite. Después de que las neuronas reciben una cierta cantidad de señales y exceden un límite (esencialmente un proceso analógico), disparan un potencial de acción y se reinician. Las neuronas artificiales de Spikey hacen lo mismo, acumulando carga en un capacitor cada vez que se disparan hasta alcanzar un límite, momento en el cual el capacitor se descarga. La estructura y el análisis del circuito específico se actualizarán si existe la posibilidad.

Los métodos actuales de implementación de hardware incluyen electrónica digital (IBM, Qualcomm), electrónica analógica, híbrida digital-analógica (académica), GPU, etc., así como diversas neuronas que no se basan en procesos semiconductores de silicio. Investigación sobre dispositivos.

4. Historia

La ingeniería neuromórfica fue propuesta por el antepasado Carver Mead

Carver Mead es ingeniero en el Instituto Tecnológico de California y es reconocido como neurocientífico. . El padre de los ordenadores morfológicos (y, por supuesto, acuñó el término "neuromorfología")

La idea de los chips neuromórficos se remonta a décadas atrás. Carver Mead, profesor jubilado de Caltech y leyenda del diseño de circuitos integrados, propuso el nombre por primera vez en un artículo publicado en 1990.

Este artículo describe cómo los chips analógicos pueden imitar la actividad eléctrica de las neuronas y las sinapsis del cerebro. La salida del llamado chip analógico cambia, al igual que el fenómeno que ocurre en el mundo real. Esto es diferente de la naturaleza binaria de encendido y apagado de los chips digitales.

Más tarde, esto (la investigación del cerebro) se convirtió en el trabajo de mi vida. Sentí que podía hacer una contribución, así que intenté dejar la industria informática y centrarme en la investigación del cerebro. Primero, fui al Instituto de Inteligencia Artificial del MIT y pensé: también quiero diseñar y construir máquinas inteligentes, pero mi idea es estudiar primero cómo funciona el cerebro. Y dijeron, bueno, no es necesario hacer esto, solo necesitamos programación de computadora. Y dije, no, primero deberías estudiar el cerebro. Dijeron, bueno, estás equivocado. Y dije, no, estás equivocado. Al final no fui admitido. Pero realmente estaba un poco decepcionado, siendo joven en ese momento, pero lo intenté de nuevo. Unos años más tarde regresé a Berkeley, California, y esta vez intenté estudiar biología. Comencé un programa de doctorado en biofísica. Estoy estudiando el cerebro y quiero estudiar teoría. Y dijeron: no, no se puede estudiar la teoría del cerebro, no es posible, no se obtendrá financiación para la investigación y, como estudiante de posgrado, no es posible sin financiación. Ay dios mío.

Chisme: El profesor dijo que la dirección de la red neuronal se vuelve popular cada 20 años. Antes de eso, hubo un largo período de silencio, incluso se consideraba un truco de charlatanes debido a la imperfección de la misma. la teoría, y fue difícil solicitar fondos de investigación. Es necesario cambiar el nombre del tema para tener éxito. (Este es un rumor de un hermano menor. Olvídelo después de leerlo. Más tarde, al examinar información relevante, descubrí que esta historia puede estar relacionada con el trabajo revolucionario de Geoffrey E. Hinton que propuso el concepto de aprendizaje profundo en 2006. lo que cambió la situación anterior)

5. Respecto al trabajo de IBM esta vez:

Acerca de SyNAPSE

El proyecto de investigación de la Agencia de Proyectos de Investigación Avanzada del Departamento de Defensa de EE. UU. de dos grandes grupos Composición: Equipo IBM y Equipo HRL.

Synapse significa sinapsis en inglés, y SyNAPSE es la abreviatura de Systems of Neuromorphic Adaptive Plastic Scalable Electronics.

Computación cognitiva: chips neurosinápticos

IBM produce los primeros chips funcionales modelados en el cerebro humano

Otro proyecto SyNAPSE está liderado por el Laboratorio IBM Almaden (ubicado en Dharmendra Mudhar de San José) estaba a cargo. Trabajando con cuatro universidades estadounidenses (Universidad de Columbia, Universidad de Cornell, Universidad de California, Merced y la Universidad de Wisconsin-Madison), el Dr. Mudeha y su equipo construyeron un prototipo de computadora neuromórfica con 256 neuronas "activadas integralmente", llamadas así porque estas neuronas acumulan (es decir, integran) sus entradas hasta que alcanzan un umbral y luego envían una señal antes de restablecerse. Son similares a las neuronas de Spikey en este sentido, pero los detalles electrónicos son diferentes porque registran señales de entrada desde un almacenamiento digital en lugar de muchos condensadores.

Ref: Un circuito integrado de millones de neuronas con una red e interfaz de comunicación escalables. Paul A. Merolla et al. Science 345, 668 (2014): 10.1126/science.1254642.