Вопрос: как настроить сам сервер для работы с DDNS, и модем.?
Сервер не надо настраивать никак. Хватит, если на нем будет работать ssh-демон. Проверьте, что вы можете зайти на свой сервер из вашей локальной сети (учтите, что root не может войти на сервер по ssh при настройках по умолчанию). Если удалось, то переходите к настройке модема. Нужно пробросить внешний порт на внутренний комп. Как именно это называется и как выглядит в вашем модеме знаете только вы. Но в любом случае где-то есть место, где вводите внешний порт, внутренний хост, и внутренний порт. Например,
2022, 192.168.1.100,22. Тут
2022 -- порт, по которому вы будете обращаться к своему внешнему серверу (т.е. модему) <name>.dyndns.org:2022.
192.168.1.100 -- адрес вашего линукс-сервера в локалке.
22 -- порт, на котором стандартно висит ssh.
Можно, конечно, выбрать 22 внешний порт, но тогда вы получите постоянные сканирования портов и попытку подобрать ваш пароль :). Поэтому лучше наружу открывать какой-нить нестандартный порт.