Сейчас смена порта неактуальна, сканер проходит по всем портам и найдя ssh начинает долбить его запросами. Запросы идут с разных IP, но иногда они повторяются.
Пока спасает только fail2ban с большим временем обнаружения и блокировки, и запрет входа по паролю в sshd, вход только по ключам. Можно ещё прикрутить knock-server.
Да, я несколько отстал от жизни, на пенсии уже 14-й год. Спасибо за подсказку.