Необходимо выбирать не VirtualBOX Host-Only Adapter, а внутренняя сеть, и присвоить ей имя, например, LAN1.
Получается у сервера во внутреннюю сеть нужно выставить у сетевого интерфейса в настройках ВМ внутренняя сеть и у клиента также. Причем у каждого нужно выбрать одну и ту же внутреннюю сеть, LAN1. Таким образом можно делать, при необходимости, несколько виртуальных сетей.
Это то, что вам нужно ? Или я неправильно вас понял ?