Сколь виноват DNS определить можете только Вы, например, при помощи tcpdump.
Если не установлен, ставим
# apt-get install tcpdump
Смотрим, что происходит на сервере ssh:
# tcpdump -i eth0 -nn
tcpdump: listening on eth0, link-type EN10MB (Ethernet), capture size 96 bytes
В этом примере в другом терминале подключаюсь сам к себе по ssh, на сервере ssh наблюдаем:
18:26:52.402320 IP 10.0.2.15.1024 > 192.168.1.1.53: 9985+ PTR? 15.2.0.10.in-addr.arpa. (40)
18:26:52.404971 IP 192.168.1.1.53 > 10.0.2.15.1024: 9985 NXDomain* 0/1/0 (90)
- обратный (PTR) DNS-запрос от 10.0.2.15 на сервер DNS 192.168.1.1 порт 53
- следом мгновенный ответ DNS-сервера (запрос в 18:26:52.402320, ответ в 18:26:52.404971)
Если у Вас в этом случае будет пауза -- ответ очевиден.
Если не будет, будете искать другую причину...