¿Cuántas operaciones realiza el Snapdragon 888 por segundo?
Los teléfonos inteligentes han promovido la popularización de la IA, y funciones como el embellecimiento de la IA, la vista nocturna de la IA y el asistente de voz de la IA también han hecho que muchos consumidores sientan la diversión de la IA, según el artículo anterior de Lei Feng.com "Save the". fotógrafos discapacitados, digan adiós" ¡La elección es difícil! La IA móvil también tiene muchas formas novedosas de jugar”.
La animación muestra principalmente el efecto y la calidad de la imagen está comprimida.
Con la rápida mejora de los motores de IA de los teléfonos móviles, la experiencia de IA de las plataformas móviles emblemáticas también ha alcanzado nuevos alturas.
Tomemos como ejemplo la plataforma móvil insignia Qualcomm Snapdragon 8 series. El rendimiento de IA del Snapdragon 865 lanzado el año pasado alcanzó los 15 billones de operaciones por segundo (15 TOPS), que es el doble que el del Snapdragon 855. , hasta 5 veces superior al Snapdragon 845. El último Snapdragon 888 lanzado este mes tiene un rendimiento de IA de hasta 26 TOPS y su rendimiento por vatio es tres veces mayor que el del Snapdragon 865.
¿Los teléfonos móviles necesitan un rendimiento de IA de hasta 26 TOPS? ¿Qué nuevos trucos puede hacer una potencia informática de IA tan alta?
La respuesta de Ziad Asghar, vicepresidente de gestión de productos de Qualcomm Technologies, es: “La mejora significativa en el rendimiento de la IA proviene principalmente de las necesidades de los clientes. Esperan ver la IA aplicada en nuevas áreas. como vídeo, juegos, seguridad, etc. ”
26 TOPS de rendimiento superior de IA permiten recrear vídeos 4K
Un mayor rendimiento de IA llevará naturalmente la experiencia fotográfica a un nivel superior. especialmente porque Snapdragon 888 se actualiza de ISP dual a ISP triple, Qualcomm Spectra 580 ISP lleva la calidad de imagen de los teléfonos inteligentes a un nuevo nivel.
Por ejemplo, en condiciones de poca luz ambiental, la velocidad de Spectra 580 combinada con el motor Qualcomm AI de sexta generación integrado en Snapdragon 888 puede capturar fotografías con detalles sorprendentes con una iluminación de solo 0,1 Lux. En el pasado, en escenas casi oscuras, incluso si encuentra una fuente de luz disponible y mantiene su teléfono estable, los resultados de la toma pueden no ser ideales. Con el triple ISP y la IA de alto rendimiento del Snapdragon 888, puede tomar fotografías claras y brillantes. .
En comparación con la toma de fotografías en entornos extremos, el algoritmo 3A de enfoque automático, exposición automática y balance de blancos automático basado en la escena se utiliza con más frecuencia en la vida diaria. También es el último algoritmo 3A de décima generación de Qualcomm, que integra IA por primera vez y puede lograr un enfoque y exposición automáticos más rápidos y precisos basados en el análisis de características.
No existe un algoritmo 3A de enfoque con fusión AI
Snapdragon 888 fusiona el algoritmo AI 3A para un enfoque rápido
Lo que es más conveniente es que ArcSoft está basado en Spectra 580 y No. La "cámara de apuntar y disparar" lanzada por el motor de IA de Qualcomm de sexta generación puede rastrear automáticamente a las personas y hacer zoom automáticamente para brindar una verdadera experiencia de "cámara de apuntar y disparar".
“Cámara de apuntar y disparar” de ArcSoft
Un componente muy clave del motor de IA de Qualcomm de sexta generación que hace que la fotografía con teléfonos móviles sea tan inteligente es el procesador Hexagon 780. Hexagon 780 continúa la arquitectura heterogénea de los aceleradores escalares, tensoriales y vectoriales de Qualcomm AI Engine y, al mismo tiempo, se ha actualizado para que la distancia física entre los aceleradores casi desaparezca.
No sólo eso, Qualcomm también permite que los tres aceleradores tengan una gran memoria compartida, para que los datos se puedan compartir y mover de forma más rápida y eficiente. Como resultado, en algunos casos de uso, la puntualidad de la interacción de datos mejora hasta mil veces.
La menor distancia física entre los aceleradores y la gran memoria compartida son muy beneficiosos tanto para mejorar el rendimiento de la IA como para reducir el consumo de energía. Esto se debe a que en la informática de IA, el manejo de datos consume mucha más energía que el cálculo. Los teléfonos móviles que funcionan con baterías tienen una necesidad más urgente de lograr el máximo rendimiento con el mínimo consumo de energía.
El rendimiento del acelerador escalar de Hexagon 780 es un 50% mayor que el de la generación anterior, y el acelerador tensor es dos veces más rápido que la generación anterior. Como parte del motor de IA de sexta generación, el rendimiento de IA de la última GPU Adreno 660 también se ha mejorado en un 43%. Además, las operaciones de punto flotante se pueden acelerar mediante un nuevo conjunto de instrucciones, como el producto escalar de precisión mixta de 4 entradas y la multiplicación de matrices onduladas.
Al final, el rendimiento del motor Qualcomm AI de sexta generación mejoró significativamente a 26 TOPS, y el rendimiento por vatio fue tres veces mayor que el de la generación anterior. Esto significa que el motor Qualcomm AI de sexta generación combina un alto rendimiento y un bajo consumo de energía.
El motor de IA de Qualcomm de sexta generación con 26 TOPS no solo puede mejorar la experiencia de fotografía con IA, sino que también puede crear vídeos en 4K. Ya sea que estés eliminando una tarea del video original, recreando un fondo o insertando nuevos personajes en la escena del video, todo parece natural.
La cooperación entre Qualcomm y Tetras.AI permite la eliminación del fondo en tiempo real en cada cuadro a una velocidad de 30 fps, con una resolución de hasta 4K.
Con la ayuda de la aplicación Super Movie, ya sea que quieras competir con un campeón de esgrima o caminar por una pasarela, también puedes obtener una vista previa antes de comenzar la actuación y grabar.
El concentrador de sensores hace que el teléfono sea más inteligente
El rendimiento de IA de 26 TOPS puede facilitar la recreación de vídeos 4K y hacer que los juegos sean más fluidos. Pero no todas las funciones de IA requieren un rendimiento superior de IA. Las funciones de IA que siempre están disponibles, como los asistentes de voz, no tienen altos requisitos de rendimiento, pero tienen requisitos estrictos de consumo de energía.
El año pasado, el Snapdragon 865 integró un concentrador de sensores por primera vez. Este año, el concentrador de sensores del Snapdragon 888 se actualizó a la segunda generación. El rendimiento del procesador de IA dedicado de bajo consumo integrado en el concentrador de sensores de segunda generación de Qualcomm se ha mejorado cinco veces, pero el consumo de energía es inferior a 1 mA. El rendimiento de IA adicional del concentrador de sensores puede compartir la carga de trabajo del procesador Hexagon 780 80, cumpliendo con varios requisitos de rendimiento de IA y teniendo en cuenta el bajo consumo de energía.
Un buen ejemplo es el uso del concentrador de sensores de segunda generación de Qualcomm para reducir la carga en el algoritmo de detección "Ok, Google" 38 en el procesador Hexagon.
El concentrador de sensores de segunda generación de Qualcomm sigue siendo la clave para hacer que los teléfonos móviles sean más inteligentes, porque el concentrador de sensores de nueva generación puede recopilar datos en tiempo real de todas las partes del teléfono, incluidos sensores como micrófonos y funciones de conexión. y crear aplicaciones conscientes de la situación.
Hay dos ejemplos: la cooperación de Qualcomm con Audio Analytic permite que los teléfonos móviles reconozcan las escenas acústicas circundantes y ajusten el volumen del tono de llamada según el entorno, de modo que pasar de una cafetería ruidosa a una sala de conferencias tranquila sea más fácil. sin problemas volverán a surgir situaciones embarazosas.
Otro ejemplo es la cooperación de Qualcomm con Mobilize Solutions para permitir que los teléfonos móviles recomienden filtros de redes sociales adecuados para escenas especiales según su ubicación.
El centro de sensores tiene más potencial: rastrear la ubicación del estacionamiento a través de un teléfono móvil en un estacionamiento sin señal, o detectar la condición de la piel a través del sensor de infrarrojos del teléfono móvil para obtener recomendaciones de productos adecuados para el cuidado de la piel. todas buenas exploraciones. El centro de sensores de segunda generación de Qualcomm también puede combinar nuevas fuentes de datos como 5G, Wi-Fi y Bluetooth para crear aplicaciones más inteligentes.
Esto requiere un software más flexible y fácil de usar.
Ha llegado la gran era de la innovación en IA para teléfonos móviles
Qualcomm es la primera empresa en llevar al mercado el SDK de IA del lado del terminal. El SDK de procesamiento de redes neuronales de Qualcomm se ha utilizado en más. Más de 500 millones de dispositivos Android en todo el mundo brindan soporte para funciones de IA en el terminal. El SDK de procesamiento de redes neuronales de Qualcomm de sexta generación no solo admite más modelos, sino que también admite casos de uso de IA para portátiles equipados con la plataforma Snapdragon.
Por supuesto, para permitir que los desarrolladores accedan fácilmente al motor de inteligencia artificial de Qualcomm, Qualcomm ha cooperado con Google en el último marco TensorFlow Micro, que está optimizado para el procesador Hexagon y el concentrador de sensores de Qualcomm para dar rienda suelta a La sexta generación a través del software. Ventajas de hardware de los motores de IA.
Más que eso, Hexagon NN Direct, lanzado anteriormente al mismo tiempo que Snapdragon 865, permite a los desarrolladores acceder directamente a Hexagon desde las aplicaciones. Este enfoque de permitir que las aplicaciones de IA utilicen completamente la aceleración de hardware es ampliamente reconocido.
En la era del Snapdragon 888, esta solución también se actualizó al motor de IA Direct, brindando una capacidad de interfaz de aplicación Direct unificada a toda la plataforma móvil. En otras palabras, el software Qualcomm AI Engine Direct proporciona a los desarrolladores acceso directo al hardware, no solo para el procesador Hexagon 780, sino también para la GPU Qualcomm Adreno y la CPU Kryo.
Al tiempo que reduce la dificultad del desarrollo de la IA, Qualcomm también satisface constantemente las necesidades personalizadas de las aplicaciones de IA. El año pasado, los "Operadores definidos por el usuario" formaron parte del motor Qualcomm AI de quinta generación, lo que permitió a los desarrolladores escribir operadores personalizados en OpenCL o utilizar el kit de desarrollo de software Hexagon y luego conectarlos al SDK de procesamiento de redes neuronales de Qualcomm.
Pero este también es un proceso complejo y redundante para desarrolladores experimentados. Para facilitar la personalización, el procesador Hexagon ahora admite el compilador de código abierto TVM, que se puede escribir con unas pocas líneas de código corto Python. Los operadores personalizados se compilan para Hexagon y se insertan directamente en el marco Direct del motor de IA.
Además de la facilidad de uso y la personalización, la optimización del software también puede aportar mejoras significativas en la optimización de los modelos de IA. Qualcomm anunció los resultados de la mejora del modelo de IA el año pasado. Snapchat utilizó este conjunto de herramientas de mejora del modelo de IA para cuantificar una serie de modelos de lentes de IA y mejorar la precisión y el rendimiento del reconocimiento facial.
Este año, Qualcomm ha agregado más soporte para una mejor cuantificación de la red, así como soporte para redes neuronales recurrentes (RNN) y redes neuronales de memoria a corto plazo (LSTM), lo que ayuda a mantener la precisión mientras maximiza la equilibrio entre consumo de energía y rendimiento.
El hardware de alto rendimiento y el software flexible y fácil de usar están listos. El próximo núcleo de la innovación en IA son, sin duda, los desarrolladores. La actitud de Qualcomm hacia la construcción del ecosistema de IA también es abierta, incluidos los planes para trabajar con la comunidad de código abierto en el compilador TVM y el kit de herramientas de mejora del modelo de IA de código abierto en GitHub.
Este año, Qualcomm también celebró el primer AI Innovation Challenge en China.
Con el desarrollo y prosperidad del ecosistema de IA, ¿qué aplicaciones inesperadas habrá? ¿En qué campos la IA 5G traerá innovación?