Red de conocimiento informático - Computadora portátil - La inteligencia artificial IA está cambiando toda la naturaleza de la informática

La inteligencia artificial IA está cambiando toda la naturaleza de la informática

El aprendizaje automático, especialmente el aprendizaje profundo, está obligando a reevaluar cómo se diseñan los chips y los sistemas, lo que cambiará la dirección de la industria en las próximas décadas.

Desde chips hasta software y sistemas, el campo de la informática experimentará cambios dramáticos en los próximos años debido a la popularidad del aprendizaje automático. Todavía podríamos referirnos a estas computadoras como "máquinas de Turing universales", como lo hemos hecho durante ochenta años o más. Pero en la práctica serán diferentes de cómo se han construido y utilizado hasta ahora.

Será de interés para cualquiera que se interese por trabajar con computadoras y para cualquier persona interesada en todas las formas de aprendizaje automático.

En febrero de este año, Yann LeCun, jefe de investigación de inteligencia artificial de Facebook, pronunció un discurso en la Conferencia Internacional de Circuitos de Estado Sólido en San Francisco, una de las conferencias sobre chips de computadora más antiguas del mundo. . En el ISSCC, LeCun dejó clara la importancia de la tecnología informática para la investigación de la inteligencia artificial. "Las capacidades de hardware y las herramientas de software inspiran y limitan los tipos de ideas que los investigadores de IA imaginan y se permitirán llevar a cabo", dijo LeCun. "Las herramientas a nuestra disposición influyen en nuestras ideas más de lo que admitimos".

No es difícil ver lo que está pasando. A partir de 2006, el aprendizaje profundo despegó no sólo por las grandes cantidades de datos y las nuevas técnicas de aprendizaje automático, como el "abandono", sino también por una potencia informática cada vez más potente. En particular, el uso cada vez mayor de unidades de procesamiento gráfico o "GPU" de Nvidia ha llevado a una mayor paralelización de los cálculos. Esto hace posible entrenar redes más grandes que nunca. La premisa del "procesamiento distribuido paralelo" propuesta en los años 80, en el que los nodos de una red artificial se entrenan al mismo tiempo, finalmente se hizo realidad.

Algunos creen que ahora se espera que el aprendizaje automático se haga cargo de gran parte de la actividad informática mundial. Durante la ISSCC en febrero, LeCun habló con ZDNet sobre el cambio en la dirección de la informática. "Si pasas cinco años, los próximos diez años, y ves en qué dedican su tiempo las computadoras, en su mayor parte, creo que harán algo como aprendizaje profundo, en términos de la cantidad de computación, " Dijo LeCun. . También señaló que es posible que el aprendizaje profundo no capture la mayoría de las ventas de computadoras a través de los ingresos, pero "en términos de cómo gastamos nuestros milivatios por segundo o nuestras operaciones, se gastarán en redes neuronales". p>El aprendizaje profundo está creciendo exponencialmente

A medida que el aprendizaje profundo se convierte en el foco de la informática, está ampliando los límites de lo que pueden hacer las computadoras actuales, hasta cierto punto la "tarea de inferencia" de las redes neuronales que hacen predicciones, pero esto es especialmente cierto para el entrenamiento de redes neuronales, una función computacional intensiva.

Nota: según OpenAI, los requisitos computacionales de las redes de aprendizaje profundo se han duplicado cada 3,5 meses. como GPT-2 de OpenAI requieren que se entrenen en paralelo más de mil millones de parámetros, o pesos de red, como dijo a ZDNet en mayo un gerente de producto de PyTorch, la popular biblioteca de capacitación en aprendizaje automático de Facebook: “Los modelos son cada vez mejores. Cuanto más grandes son, son realmente grandes y muy costosos de entrenar. ” Los modelos más grandes de hoy a menudo no pueden almacenarse completamente en los circuitos de memoria que vienen con las GPU.

Además: Google dice que el crecimiento “exponencial” de la inteligencia artificial está cambiando la naturaleza de la informática.

El ciclo computacional La demanda es cada vez más rápida Según los datos proporcionados por OpenAI, el venerable sistema de reconocimiento de imágenes AlexNet creado en 2012 consumió el equivalente a 10 millones de operaciones de punto flotante por segundo en tiempo total de entrenamiento. por día, pero AlphaZero, una red neuronal construida por DeepMind de Google en 2016, venció al campeón mundial de ajedrez y consumió más de mil días de petaflops por segundo. El aumento de los ciclos informáticos entre AlexNet y AlphaZero ha duplicado el consumo informático cada 3,5 meses. Estos son datos recopilados hasta ahora en 2016, y el ritmo de la crisis de los chips de computadora sin duda aumentará.

El mundo ni siquiera usa petaflops y los mejores chips se utilizan para el entrenamiento de aprendizaje profundo, como el Tesla de Nvidia. V100, corre a 112 petaflops.

Así que hay que ejecutar ocho de esos 1.000 días; de lo contrario, se agrupará a mucha gente en un sistema que consume cada vez más energía.

Para empeorar las cosas, el ritmo de mejoras de los chips ha tocado fondo en los últimos años. Como señalaron en un artículo a principios de este año el profesor de UC Berkeley, David Patterson, y el presidente de British Airways, John Hennessy, la Ley de Moore establece que la potencia del chip se duplica cada doce a dieciocho meses. La regla general es que el gas se ha agotado. Intel lo ha negado durante mucho tiempo, pero los datos están del lado de Patterson y Hennessy. Como mencionan en el informe, el rendimiento de los chips ahora solo crece un 3% anual.

Ambos autores coinciden en que esto significa que el diseño de los chips y, como todos sabemos, su arquitectura deben cambiar radicalmente para conseguir un mayor rendimiento de transistores que no aportan ninguna ventaja de rendimiento. (Patterson ayudó a Google a crear el chip "Unidad de procesamiento tensor", por lo que comprende bien cómo el hardware afecta el aprendizaje automático y viceversa).

A medida que las mejoras en los procesadores se han estancado, pero el aprendizaje automático cuando la demanda se duplica cada pocos meses, hay que pagar un precio. Afortunadamente, si se ve de la manera correcta, el aprendizaje automático en sí mismo puede ser de gran ayuda para el diseño de chips. Porque el aprendizaje automático requiere muy poco soporte de código heredado (no es necesario ejecutar Excel, Word u Oracle DB) y, como dicen, para los diseñadores de chips, el aprendizaje automático es una oportunidad nueva debido a la naturaleza altamente repetitiva de sus aspectos más básicos. cálculos.

Construyendo una nueva máquina

Las redes neuronales convolucionales y las redes de memoria a corto plazo están en el corazón del aprendizaje profundo, los dos pilares principales de máquinas aún más modernas como los Transformers de Google. En las redes, la mayoría de los cálculos son cálculos de álgebra lineal, llamados matemáticas tensoriales. Lo más común es convertir algunos datos de entrada en un vector, luego multiplicar ese vector por las columnas de la matriz de pesos de la red neuronal y sumar los productos de todas estas multiplicaciones. Estos cálculos, conocidos como multiplicación-suma, se representan en computadoras utilizando lo que se llama un circuito de "multiplicación-acumulación" o "MAC". Por lo tanto, simplemente mejorar la MAC y crear más MAC en el chip para aumentar la paralelización puede mejorar inmediatamente el aprendizaje automático.

Nvidia, que domina el entrenamiento de IA, e Intel, cuyas CPU dominan la inferencia del aprendizaje automático, están tratando de adaptar sus productos para aprovechar esas funciones de álgebra lineal atómica. Nvidia agrega "Tensor Cores" a sus GPU Tesla para optimizar la multiplicación de matrices. Intel ha gastado 30 mil millones de dólares en la adquisición de empresas que trabajan en aprendizaje automático, incluidas Mobileye, Movidius y Nervana Systems, la última de las cuales debería conducir al "procesador de red neuronal Nervana" en algún momento, aunque con retrasos.

Hasta ahora, estas iniciativas, como LeCun de Facebook, no han satisfecho las necesidades del aprendizaje automático. Durante una charla con ZDNet en febrero, LeCun argumentó que "lo que necesitamos es un competidor para, en este momento, el proveedor dominante, Nvidia". También señaló que esto no se debe a que Nvidia no fabrique buenos chips. Esto se debe a que hicieron suposiciones y sería bueno tener un conjunto diferente de hardware que pudiera usarse para hacer cosas complementarias en las que las GPUS actuales son buenas.

Además: ¿Por qué los informes de IA son tan malos?

Una de las suposiciones erróneas, dijo, es la suposición de que entrenar una red neuronal será un problema de "conjuntos ordenados" de operaciones. La red neuronal funciona. Los elementos del gráfico computacional se transmiten al procesador como punteros. LeCun dijo que el chip tiene que hacer muchas sumas de multiplicación, pero las expectativas sobre cómo se presentan esas sumas de multiplicación al procesador son diferentes a las de un chip TPU. Cliff Young, un ingeniero de software de Google que fue uno de los contribuyentes, fue más directo cuando pronunció un discurso de apertura en un evento sobre chips en Silicon Valley en octubre pasado, diciendo: "Durante mucho tiempo, nos negamos y dijimos que Intel y Nvidia eran. "Muy bueno en la construcción de sistemas de alto rendimiento", "Superamos este umbral hace cinco años".

El auge de las startups

En este vacío legal, los nuevos chips provienen de la inteligencia artificial. gigantes como Google y una serie de nuevas empresas respaldadas por capital de riesgo.

Además del TPU de Google, ahora en su tercera versión, Microsoft también tiene un procesador programable, un "FPGA" llamado Project Brainwave, que los clientes pueden alquilar a través de su servicio en la nube Azure. Amazon dijo que lanzará su propio chip personalizado a finales de este año, llamado "Inferentia". Cuando LeCun habló con ZDNet en febrero, mencionó que Facebook tiene influencia.

Señaló que para empresas como Google y Facebook, que tienen muchos productos, tiene sentido trabajar en su propio motor, y hay actividad interna en este ámbito.

Las startups incluyen Graphcore, una startup de cinco años con sede en Bristol, una ciudad portuaria a una hora y media al suroeste de Londres, Cornami, Effinix y Flex Logix, todas descritas por ZDNet y Los Altos de Silicon Valley; -based S Systems permanece en modo sigiloso.

Una cosa que muchas de estas nuevas empresas tienen en común es aumentar considerablemente la cantidad de área del chip de computadora dedicada a la multiplicación de matrices, conocidas como unidades MAC, para aprovechar al máximo el paralelismo de cada cambio de reloj. . Graphcore es la más avanzada de todas las nuevas empresas y es la primera en enviar chips de producción a los clientes. Una de las cosas más llamativas de su primer chip fue la enorme cantidad de memoria. Colossus recibe el nombre de chip en honor a la primera computadora digital del mundo y es enorme, mide 806 milímetros cuadrados. El director de tecnología, Simon Knowles, lo llama "el chip procesador más complejo jamás creado".

Colossus está compuesto por 1.024 núcleos independientes llamados "unidades de procesamiento inteligentes", cada uno de los cuales puede procesar de forma independiente matemáticas matriciales. Como todos sabemos, cada IPU tiene su propia memoria dedicada, 256 kilobytes de memoria SRAM rápida. Hay 304 megabytes de memoria total, que es la memoria más utilizada en el chip.

Nadie sabe cómo tener tanta memoria en un chip cambiará los tipos de redes neuronales que se pueden construir. Posiblemente al acceder a más y más memoria, a velocidades de acceso muy bajas, más redes neuronales se centrarán en reutilizar los valores almacenados en la memoria de formas nuevas e interesantes.

Problemas de software

Al igual que con todos estos esfuerzos de chips, el problema, por supuesto, es que no tienen el software que Nvidia ha creado durante años gracias a la tecnología de programación "CUDA" de la empresa. . La respuesta de Graphcore y otros sería doble. Una es que varios marcos de programación para el aprendizaje automático, como TensorFlow y Pytorch, proporcionan una forma de evitar los detalles del chip en sí y centrarse en la estructura del programa. Todos los chips que llegan al mercado soportan estos frameworks, que sus creadores consideran competitivos con Nvidia.

El segundo punto es que Graphcore y otros están construyendo su propia tecnología de programación. Pudieron demostrar que su software patentado podría transformar el marco y distribuir de manera inteligente cálculos paralelos a las numerosas unidades MAC y unidades vectoriales del chip. Ese es el argumento que Graphcore presenta para su software "Poplar". Poplar divide el gráfico computacional de la red neuronal en "codelets" y asigna cada codelet a un núcleo diferente de Colossus para optimizar el procesamiento paralelo.

En las últimas dos décadas, los big data y la computación paralela rápida se han convertido en la norma, impulsando el aprendizaje automático y generando un aprendizaje profundo. La próxima ola de hardware y software informático puede consistir en cantidades masivas de memoria y redes neuronales construidas dinámicamente para aprovechar arquitecturas de chips altamente paralelas. El futuro parece interesante.

Este artículo está traducido de: La IA está cambiando toda la naturaleza de la computación (el aprendizaje automático, especialmente el aprendizaje profundo, está obligando a una reevaluación de cómo se diseñan los chips y los sistemas que cambiará la dirección de la industria durante las próximas décadas.)

上篇: Código fuente Aspc1. Las siguientes afirmaciones sobre el cuadro de diálogo de nuevo estilo son incorrectas: DA. Puede optar por crear un estilo personalizado b. Puede optar por redefinir etiquetas HTML c. Puede optar por utilizar selectores de CSS d. No se pueden invocar elementos de estilo personalizados en HTML. 2.HTML es la abreviatura de Lenguaje de marcado de hipertexto. El hipertexto permite que las páginas web salten, que es una forma de organizar la información que permite a los visitantes elegir una ruta de lectura para que no necesiten leer AA en secuencia. Correcto b.Error 3. Cuando solo necesitamos agregar el contenido del elemento de la biblioteca a la página y no necesitamos asociarlo con la biblioteca, qué tecla se puede mantener presionada al arrastrar el elemento de la biblioteca a la página web: AA. CtrlB. AltC. ShiftD. AltMayús4. Haciendo clic en el lado izquierdo del grupo de paneles. Cada panel se puede ocultar y mostrar haciendo clic en el botón triangular en la esquina superior izquierda de cada panel. AUTOMÓVIL CLUB BRITÁNICO. Correcto b.Error 5. Los siguientes tipos de recursos se proporcionan en el panel de gestión de recursos: ABCDA. Imagen b. Color c. Enlace D. Flash6. ¿Cuál de las siguientes tecnologías HTML dinámicas puede ser compatible con el navegador Navigator? AA. Fuentes descargables b. Multimedia c. Enlace de datos d. Ninguno de los anteriores es compatible 7. Esto es lo que necesita saber sobre Windo sin cromo. Error de cuadro de diálogo de configuración extendida para w: DA. Podemos configurar el nombre de la barra de estado de la ventana emergente. b. Podemos establecer el ancho y el alto de la ventana emergente. c. Puede aparecer una ventana en cualquier posición de ventana del navegador. d. Las ventanas emergentes no pueden mostrar archivos HTML. 8.Las siguientes afirmaciones sobre cómo agregar y eliminar recursos de favoritos son correctas. Eliminar recursos de favoritos. Se elimina físicamente. b. Cambiar el nombre de los recursos en favoritos es un cambio de nombre físico. c. Los nombres de recursos en el modo de lista de recursos del sitio web son todos nombres de archivos físicos reales. No se permite la modificación de d. Todas las afirmaciones anteriores son incorrectas. 9. La siguiente afirmación sobre cómo agregar un navegador de vista previa secundaria es incorrecta: CA. Para definir un navegador secundario, primero se deben instalar los demás navegadores que se definirán en el sistema. b. Al definir un navegador de vista previa secundario, debe explorar los archivos de programa del navegador de vista previa secundario seleccionado. c. Puede agregar un tercer navegador de vista previa. d. Cuando el primer navegador de vista previa no está disponible, el sistema selecciona automáticamente el segundo navegador 10. Mediante la aplicación de capas se puede conseguir el siguiente ejemplo: ABCDA. Crear animaciones en páginas web. b. Realizar varios efectos de navegación dinámica. c. Generar ricos botones dinámicos. d.Juegos interactivos11. Los siguientes elementos se aplican mediante javascript. Lo que se puede lograr es: ABCDA. Navegación interactiva b. Búsqueda de datos simple c. Validación de formularios d. Efectos especiales de la página web 12. Se puede utilizar lo siguiente para editar el programa back-end del sitio web: ABCDA. perlb.aspc.cd.java13. Las siguientes son las diversas interfaces de programas de aplicación proporcionadas por Dreamweaver: ABCDA.java. Interfaz de aplicación de script b. Interfaz de entrada y salida de archivos c. Interfaz de grabación de imágenes D. Interfaz de integración de Fireworks 14. En Dreamveaver MX, al configurar las propiedades de la página, la declaración incorrecta sobre la opción de imagen de seguimiento en el cuadro de configuración de propiedades de la página es: c. Solo es válida cuando se obtiene una vista previa de la página web, 15. "En Dreamweaver MX, no se puede seleccionar la siguiente interfaz de trabajo: D. Estilo de página principal, 16. En Dreamweaver MX, la siguiente afirmación sobre buscar y reemplazar palabras es incorrecta: D. Buscar y reemplazar no se puede encontrar en el código fuente HTML 17.\ "En Dreamweaver MX, la siguiente afirmación sobre la definición de un sitio es incorrecta: C. \"En la ventana de configuración del sitio, puede configurar la ruta para guardar los sitios web locales, pero no puede configurar la ruta para guardar las imágenes\"18. \"En Dreamweaver MX, la siguiente afirmación sobre la definición de un sitio es incorrecta: C. \"En la ventana de configuración del sitio, puede configurar la ruta para guardar del sitio web local, pero no puede configurar la ruta para guardar la imagen\"19 . 下篇: cf actividades de vacaciones de verano 2014