Как оказалось, проблема была вот в чем...
Если верить инструкции, которую, как обычно водится, я прочитал в самую последнюю очередь, с 4 версии VB модуль доступа по VRDP перенесен в отдельный плагин (вместе с другими интересными вещами). Так вот по-умолчанию эта вещь не ставиться, ее нужно отдельно качать и ставить уже после установки VB.
А если без плагина поставить галочку в "Включить сервер" (вкладка "удаленный дисплей") и порт прописать, то VB ругаться не будет, но после запуска машины порт слушать не будет, а nmap будет говорить что порт закрыт и netlist будет говорить что порт ничем не слушается.
Не знаю - можно ли считать тему закрытой? Все вроде бы заработало, но как оказалось, как таковой проблема-то самой и не было...
Всем кто помогал - спасибо!