А что быстрее будет?
Учитывая что корневой раздел обычно размещают в начале HDD, то быстрее может оказаться файл подкачки.
Разница в скорости чтения с поверхности HDD, как уже выше сказал dango_, в начале и в конце диска может различаться почти в 2 раза, например, в начале диска читаем со скоростью 146 МБ/сек., а в конце скорость падает до 76 МБ/сек.
Но учитывая что HDD раз в 100 медленнее чем DDR3 память, перекладывание редко используемых страниц туда - сюда превращается в ужасно дикие тормоза.
С SSD дисками несколько проще, у них скорость чтения не зависит от расположения данных, да и скорость чтения раза в 4 выше чем у HDD, но есть износ ячеек памяти, что может плохо повлиять на срок использования.
Поэтому, лучше добавить RAM и дополнительно включить zram-swap, а swap-file создать небольшого объёма, например 1ГБ, только для душевного спокойствия.