Они тянут за собой xorg-drv-video (xorg-drv-video requires video drivers for X Window System for PCI, AGP
and PCI-E cards). Я боюсь, что останусь с чёрным экраном после его удаления.
xorg-drv-video - это мета-пакет, установка которого позволяет установить весь набор видеодрайверов. Да, удаление одного или нескольких видеодрайверов потянет за собой и сам мета-пакет xorg-drv-video, но остальные драйвера останутся в системе.
У меня есть нетбук с видео GMA3600, которому из-за проприетарности чипа на Linux не светит ни официальный, ни свободный видеодрайвер. Так что я оставляю в системе только vesa, fbdev и modesetting. Все остальное идет под нож. Так что этот вариант проверен.
ИМХО если хотите систему "где нет ничего лишнего" то ставите стартеркит или регулярку и акуратно накатываете на нее то что Вам нужно.. Там минимум чего придется чистить. И появится понимание что для чего нужно.
Вот разумное предложение. Лучше поставить минимальное и наращивать его как заблагорассудится, чем тратить время на выпиливание ненужного. Впрочем, в этом опыт при желании приходит быстро.