Parece que a la compilación vlc para la plataforma Windows le faltan las bibliotecas avformat, codec, swscal y mad.
Estas cosas deben compilarse en cygwin.
Al compilar dentro de cygwin, algunas bibliotecas no están en ubicaciones estándar, en cuyo caso debe agregar manualmente parámetros para configurar y especificar la ubicación de estas bibliotecas decodificadoras.
Para un proceso de compilación tan avanzado, ¿qué le gustaría que hiciera un novato?
De hecho, si me preguntas, ¿por qué no simplemente usar la versión disponible en Windows y compilarla tú mismo?
¿Qué quieres hacer?