Автор Тема: "Завален" диск или сеть ?  (Прочитано 21963 раз)

Оффлайн berkut_174

  • Мастер
  • ***
  • Сообщений: 7 144
    • Email
"Завален" диск или сеть ?
« : 11.01.2017 22:11:33 »
Всем привет!

Есть LTSP-сервер на 11 клиентов, когда все 11 начинают работать, то на каждом клиенте возникают страшные тормоза. Как определить, в чём проблема: перегруз сети или дисковой подсистемы на сервере ? Чем померить ?

Сеть между клиентами и сервером "построена" на гигабитном свитче, соответственно между свитчом и сервером - 1 Гбит/с, между свитчом и клиентами - 100 Мбит/с.
Сноси Винду, переходи на Линукс ! :)

Оффлайн Skull

  • Глобальный модератор
  • *****
  • Сообщений: 19 908
    • Домашняя страница
    • Email
Re: "Завален" диск или сеть ?
« Ответ #1 : 11.01.2017 23:18:25 »
iotop, для сети есть аналогичное.
Андрей Черепанов (cas@)

Оффлайн Speccyfighter

  • Мастер
  • ***
  • Сообщений: 10 259
Re: "Завален" диск или сеть ?
« Ответ #2 : 12.01.2017 09:34:06 »
В htop можно добавить колонки PBYTES, WBYTES, IO_READ_RATE, IO_WRITE_RATE, IO_RATE.

По сети можно тут посмотреть
$ LANG=C apt-cache search traffic|grep -i net|sort
man sar|less -p 'Report network statistics'

Высокий iowait говорит что подсистема ввода/вывода загружена и процессор значительное время находится в режиме ожидания
$ sar -P ALL x [y]
x - периодичность в секундах
y - количество сообщений + среднее за весь период
 


Оффлайн berkut_174

  • Мастер
  • ***
  • Сообщений: 7 144
    • Email
Re: "Завален" диск или сеть ?
« Ответ #3 : 12.01.2017 17:31:03 »
Спасибо за подсказки.

В htop можно добавить колонки PBYTES, WBYTES, IO_READ_RATE, IO_WRITE_RATE, IO_RATE.
Добавил.
Циферки очень быстро бегают, не ясно - перегруз или нет.
Как узнать где предел дисковой подсистемы ?..

Про сеть нашёл это: https://www.linux.org.ru/forum/desktop/3965177?cid=3965546
Но если он выдаёт в значение байтах - врёт, либо я неправильно считаю. Я ставлю на скачивание файл и запускаю команду, в браузере скачивание идёт на скорости 3-4 Мб/с, а команда выдаёт значение около 6-7 Мб/с.

Про sar не понял как установить и использовать.

Есть ли что-то более наглядное ? Мне эти бегающие цифры совершенно ничего не говорят, увы...
Сноси Винду, переходи на Линукс ! :)

Оффлайн berkut_174

  • Мастер
  • ***
  • Сообщений: 7 144
    • Email
Re: "Завален" диск или сеть ?
« Ответ #4 : 12.01.2017 17:57:57 »
Про sar не понял как установить и использовать.
О, разобрался:
apt-get install sysstat
Теперь такое вижу:
$ sar -n DEV -u 1

19:54:50        CPU     %user     %nice   %system   %iowait    %steal     %idle
19:54:51        all      1,50      0,00      0,50      0,00      0,00     98,00

19:54:50        IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s
19:54:51       enp2s0      0,00      0,00      0,00      0,00      0,00      0,00      0,00
19:54:51           lo      0,00      0,00      0,00      0,00      0,00      0,00      0,00

Теперь осталось понять, на какое значение смотреть...

В первой таблице, полагаю, %iowait, а во второй ?..
Сноси Винду, переходи на Линукс ! :)

Оффлайн Speccyfighter

  • Мастер
  • ***
  • Сообщений: 10 259
Re: "Завален" диск или сеть ?
« Ответ #5 : 12.01.2017 21:01:40 »
Теперь осталось понять, на какое значение смотреть...

В первой таблице, полагаю, %iowait, а во второй ?..

iowait и idle (свободные ресурсы CPU)
rxkB/s - received, всего получено килобайт в секунду
txkB/s - transmitted, всего передано килобайт в секунду
1 байт = 8 бит
1 мегабайт = 1024 килобайта
« Последнее редактирование: 12.01.2017 21:41:45 от Speccyfighter »

Оффлайн berkut_174

  • Мастер
  • ***
  • Сообщений: 7 144
    • Email
Re: "Завален" диск или сеть ?
« Ответ #6 : 13.01.2017 16:36:32 »
Уточню, то есть я смотрю вывод sar и для загрузки дисковой подсистемы, и для загрузки сети, так ?
Сноси Винду, переходи на Линукс ! :)

Оффлайн Speccyfighter

  • Мастер
  • ***
  • Сообщений: 10 259
Re: "Завален" диск или сеть ?
« Ответ #7 : 13.01.2017 21:20:21 »
Мню так:
Я бы и туда и туда смотрел, - пока непонятно во что упирается, в сеть или в процессор.
Для своей домашней сети прикинул бы так:
Гигабитные интерфесы в игнор - упирается в потолок свича в 100 мегабит.
8 бит - байт.
Отбросим копейки на хидеры и мелочёвку, - итого в потолке около 11 мегабайт.
Причём с учётом, полудуплекс или дуплекс:
Цитировать
%ifutil
                     Utilization percentage of the network interface. For half-duplex interfaces, utilization is calculated using the sum of rxkB/s and txkB/s as a percentage of the interface speed. For full-duplex, this is the greater of  rxkB/S or txkB/s.

Было бы здОрово если бы сразу процент утилизации показывало, но почему сразу не отображает процент утилизации, не знаю.

Беспроводной интерфейс работает в полудуплексном режиме
http://www.makeuseof.com/tag/what-is-half-duplex-and-full-duplex-operation-and-how-does-it-affect-your-router/
https://www.ibm.com/support/knowledgecenter/ru/ssw_aix_71/com.ibm.aix.networkcomm/asynch_modems_fullhalf.htm

Проводной можно посмотреть через ethtool.

Оффлайн berkut_174

  • Мастер
  • ***
  • Сообщений: 7 144
    • Email
Re: "Завален" диск или сеть ?
« Ответ #8 : 25.01.2017 10:56:40 »
Продолжу...

См. sar -n DEV -u 1: значения rxkB/s, txkB/s на интерфейсе, который смотрит в сеть с тонкими клиентами, не превышает 23000, обычно менее 10000.

Через top, htop и тот же sar загрузка CPU в среднем не превышает 20-40% на каждое ядро.

В iotop прям сверхбольшой загрузки нет, периодически появляется процесс jdb2, который в столбце IO создаёт кратковременную загрузку не более 40%, обычно не более 20%. DISK READ/WRITE в основном очень маленькие, но бывают скачки именно по записи... странно вроде в LTSP должны больше читать... а значение DISK READ вообще почти не меняется, постоянно 0.

Память в таком состоянии:
$ free -m
             total       used       free     shared    buffers     cached
Mem:          7975       6453       1522          0        227       3834
-/+ buffers/cache:       2391       5584
Swap:        16381         56      16325

Даже выводы не могу сделать... но сеть вроде запас имеет, CPU тоже, памяти также немного есть, по диску неясно.
Сноси Винду, переходи на Линукс ! :)

Оффлайн asy

  • alt linux team
  • ***
  • Сообщений: 8 099
Re: "Завален" диск или сеть ?
« Ответ #9 : 27.01.2017 08:44:32 »
Коммутатор управляемый, или нет ? Если управляемый, стоит ошибки на портах посмотреть ещё. collectd поставить и нужные тесты довключить в любом случае - графики смотреть может оказаться информативнее.

Оффлайн berkut_174

  • Мастер
  • ***
  • Сообщений: 7 144
    • Email
Re: "Завален" диск или сеть ?
« Ответ #10 : 27.01.2017 09:40:44 »
Коммутатор управляемый, или нет ?
Нет, http://www.dlink.ru/u/products/1/1955.html

collectd
Попробую, раньше не использовал.
Сноси Винду, переходи на Линукс ! :)

Оффлайн berkut_174

  • Мастер
  • ***
  • Сообщений: 7 144
    • Email
Re: "Завален" диск или сеть ?
« Ответ #11 : 20.03.2017 07:31:16 »
asy

Не могли бы вы поделиться готовым конфигом для collectd ? Мне бы диск, память, сеть и процессор проверить только.
Сноси Винду, переходи на Линукс ! :)

Оффлайн berkut_174

  • Мастер
  • ***
  • Сообщений: 7 144
    • Email
Re: "Завален" диск или сеть ?
« Ответ #12 : 20.03.2017 08:30:31 »
Ещё такой момент, когда на клиентах тормозит, если подключиться к серверу по SSH, то таких зависаний нет (в плане запуска команд в консоли, задержек нет). Значит ли это, что дисковая подсистема не причём ?
Сноси Винду, переходи на Линукс ! :)

Оффлайн berkut_174

  • Мастер
  • ***
  • Сообщений: 7 144
    • Email
Re: "Завален" диск или сеть ?
« Ответ #13 : 20.03.2017 09:03:39 »
txkB/s - transmitted, всего передано килобайт в секунду
Это значение не подымается выше ~13 000.
При загрузке одного клиента и включении ролика с youtube, это значение сразу прыгает до ~8 000, такие же действия на другом клиенте приводят к увеличению этого значения до ~10 000, третий клиент даёт уже ~13 000. После этого начинаются зависания. По крайней мере мне так показалось. Что это значит ? ethtool на этом интерфейсе показывает "Speed: 1000Mb/s":
Settings for enp2s0:
Supported ports: [ TP ]
Supported link modes:   10baseT/Half 10baseT/Full
                        100baseT/Half 100baseT/Full
                        1000baseT/Full
Supported pause frame use: No
Supports auto-negotiation: Yes
Advertised link modes:  10baseT/Half 10baseT/Full
                        100baseT/Half 100baseT/Full
                        1000baseT/Full
Advertised pause frame use: No
Advertised auto-negotiation: Yes
Speed: 1000Mb/s
Duplex: Full
Port: Twisted Pair
PHYAD: 1
Transceiver: internal
Auto-negotiation: on
MDI-X: off
Supports Wake-on: pumbg
Wake-on: g
Current message level: 0x00000007 (7)
       drv probe link
Link detected: yes
Сноси Винду, переходи на Линукс ! :)

Оффлайн berkut_174

  • Мастер
  • ***
  • Сообщений: 7 144
    • Email
Re: "Завален" диск или сеть ?
« Ответ #14 : 20.03.2017 09:50:46 »
Кажется проблема всё-таки в диске.
Потому что без нагрузки с сервера могу скачивать/отдавать файл на скорости 1000 Мбит/с, как напрямую (сервер-клиент), так и через свитч (сервер-свитч-клиент). Но как только нагружаю клиентов (2-3 клиента), включаю видео в vlc, не могу с сервера вытащить ничего, т.к. предел диска в нагрузке похоже упирается в 13 Мбайт/с, передача идёт на скорости менее 1 Мбайт/с. Из-за этого лаги.
Сноси Винду, переходи на Линукс ! :)