скрин что выставлено в МДС не разместите?
настройки HDMI в ресивере — пробовали поиграть с ними?

P.S. Кроме VLC неплохо справляется с такми задачами KMPlayer - с ним не пытались?