Варианты: установка с нуля alt-образование или simply linux. Они сразу с xfce идут.
Если лень или не любите возиться с переустановками, а систему уже установили, то просто устанавливаете из репозитория xfce4-full. Потом можно удалить все пакеты у которых в имени встречается "mate" если mate не нужен.
Я так делал, никаких глюков нет.
Ну останется в системе немного мусора после этого и может быть осиротевших пакетов.. Можно их тоже почистить, но это уже аккуратно нужно делать...