¿Qué tal escribir Python en VS?

Existen varios paquetes de aceleración para numpy, como numexpr.

Instalar Intel MKL.

Finalmente, podemos hablar sobre las partes clave de la implementación usando c/c++.

Si no puedes evitar el uso de Python, te recomiendo usar Numba para acelerarlo, preferiblemente aproximadamente a la misma velocidad que la vectorización numpy.