¿Trae Linux en la unidad flash USB?

Depende de usted si desea instalarlo en MP3 o en una máquina virtual.

Utilice una máquina virtual para la instalación y los archivos generados se pueden utilizar directamente en MP3.

Si solo desea utilizar GCC para programar, existe un software en WINDOWS que utiliza GCC como núcleo, llamado DEV-C