Если Вы устанавливали программу сами, при удалении поможет история установки (на картинке). Однако есть небольшое условие — устанавливаться должна одна программа (со своими зависимостями) за один раз, тогда программа и её зависимости будут сгруппированы в один список и их все по списку можно удалить.
Если установка была давно и в системе много чего менялось надо внимательно читать, что предлагается к удалению. Если вы удаляете какой-то пакет по списку и предлагается удалить ещё несколько пакетов то все пакеты должны быть из списка удаляемых, в противном случае этот пакет надо оставить.
Так можно удалить все установленные компоненты. Но даже в этом случае часто остаются файлы настроек, изменения в /etc и т.д., многие программы любят хламить в системе xml-файлами, которые после удаления остаются.
Если пакеты были установлены с дистрибутивом — то удаление зависимостей от ненужной программы задача непростая, придётся самостоятельно прослеживать перекрёстные зависимости (а их могут быть сотни).
Странно, конечно, но похоже эта задача не автоматизирована. Кашу маслом не испортишь, однако безопасность системы лишними не настроенными сервисами испортить можно запросто.
