Вернулся к теме и докопался до следующего.
Для jre1.8 и предыдущих релизов явы, приложения написанные на java AWT/Swing в Linux "намертво прибиты" к реальному разрешению монитора. И даже где-то в инструкции к яве это написано.
Уж как они его определяют, не знаю. Но не помогает ничего. Адекватный размер получается примерно на мониторе 1280*1024.
Начиная с jdk9 работают различные scale - параметры, однако для AWT довольно грубо - в 2 или 3 и т.д раз. Для приложений javaFX вроде как можно масштабировать более тонко.
Но и тут засада. Мне не удалось запустить моё приложение UTM5 на jvm9 и openjdk9 и выше. Так что специально для UTM5 напрашивается второй старенький монитор.
Пишут что у винды есть системный инструмент, позволяющий задавать dpi для конкретного приложения, - не проверял.
Максимально подробно тема разобрана здесь
https://wiki.archlinux.org/title/HiDPI
