Qt fileDialog-gt;selectFile(tr("Image Files(*.jpg*.png)") error:: no hay función coincidente para la llamada
La razón principal es que el tipo de parámetro es incorrecto y no acepta parámetros de tipo QString.
Pruebe la siguiente declaración:
fileDialog-gt; setNameFilter(tr("Image Files(*.jpg *.png)");