Автор Тема: "Завален" диск или сеть ?  (Прочитано 22063 раз)

Оффлайн asy

  • alt linux team
  • ***
  • Сообщений: 8 099
Re: "Завален" диск или сеть ?
« Ответ #30 : 21.03.2017 11:45:48 »
Вероятно, это ответ:
           CPU0       CPU1       CPU2       CPU3       
 40:   47884433          0          0          0   PCI-MSI-edge      ahci
 41:   30244717          0          0          0   PCI-MSI-edge      eno1
 42:  653342987          0          0          0   PCI-MSI-edge      enp2s0-rx-0
 43:  388131285          0          0          0   PCI-MSI-edge      enp2s0-tx-0
 44:         12          0          0          0   PCI-MSI-edge      enp2s0
Зачем вся обработка железа висит на одном ядре ? Ядра честные, или там где-то гипертрединг ? Причём ещё и сетевая плата неплохая - больше одной очереди. Если все ядра честные, ahci надо на одно ядро повесить, enp2s0-rx на другое, enp2s0-tx - на третье.

В принципе, можно свалить на автомат:
apt-get install irqbalance
chkconfig irqbalance on
service irqbalance start

Но это решение только в том случае, если всё упирается в производительность одного ядра. Если нет, раскидать надо всё равно, но в чём проблема - это придётся искать дальше.

Оффлайн berkut_174

  • Мастер
  • ***
  • Сообщений: 7 145
    • Email
Re: "Завален" диск или сеть ?
« Ответ #31 : 21.03.2017 11:51:50 »
asy

Ядра честные:
# grep 'model name' /proc/cpuinfo
model name : Intel(R) Xeon(R) CPU E31220 @ 3.10GHz
model name : Intel(R) Xeon(R) CPU E31220 @ 3.10GHz
model name : Intel(R) Xeon(R) CPU E31220 @ 3.10GHz
model name : Intel(R) Xeon(R) CPU E31220 @ 3.10GHz

irqbalance установил, запустил, теперь так:
# cat /proc/interrupts
           CPU0       CPU1       CPU2       CPU3       
  0:         22          0          0          0   IO-APIC-edge      timer
  1:          5          0          0          0   IO-APIC-edge      i8042
  3:          2          0          0          0   IO-APIC-edge   
  4:          2          0          0          0   IO-APIC-edge   
  8:         42          0          0          0   IO-APIC-edge      rtc0
  9:          0          0          0          0   IO-APIC-fasteoi   acpi
 10:          3          0          0          0   IO-APIC-edge   
 12:          6          0          0          0   IO-APIC-edge      i8042
 16:         75          0          0          0   IO-APIC-fasteoi   ehci_hcd:usb1
 23:         54          0          0          0   IO-APIC-fasteoi   ehci_hcd:usb2
 40:   47896184          0        373        258   PCI-MSI-edge      ahci
 41:   30250573          0          0        251   PCI-MSI-edge      eno1
 42:  653978424       5508     250739          0   PCI-MSI-edge      enp2s0-rx-0
 43:  388331626          0       3778      97951   PCI-MSI-edge      enp2s0-tx-0
 44:         12          0          0          0   PCI-MSI-edge      enp2s0
NMI:      24620      84467     158295      18859   Non-maskable interrupts
LOC: 1718290603 1429240906  899486120 1719906785   Local timer interrupts
SPU:          0          0          0          0   Spurious interrupts
PMI:      24620      84466     158294      18858   Performance monitoring interrupts
IWI:    2386213    2995867    2582220    2787926   IRQ work interrupts
RTR:          3          0          0          0   APIC ICR read retries
RES:    9832316   53756128   45489029   78159836   Rescheduling interrupts
CAL:       2407       4236       4354       4485   Function call interrupts
TLB:    2647112    1863284    1668819    1916776   TLB shootdowns
TRM:          0          0          0          0   Thermal event interrupts
THR:          0          0          0          0   Threshold APIC interrupts
MCE:          0          0          0          0   Machine check exceptions
MCP:      26492      26492      26492      26492   Machine check polls
ERR:          0
MIS:          0

По ощущениям, практически не изменилось ничего...
Сноси Винду, переходи на Линукс ! :)

Оффлайн ruslandh

  • Поспешай не торопясь !
  • Модератор глобальный
  • *****
  • Сообщений: 32 246
  • Учиться .... Телепатами не рождаются, ими ....
    • Email

Оффлайн berkut_174

  • Мастер
  • ***
  • Сообщений: 7 145
    • Email
Re: "Завален" диск или сеть ?
« Ответ #33 : 21.03.2017 12:58:06 »
У меня есть ещё один LTSP сервер, там используется в качестве системного диска SSD Kingston KC300 60GB.
На 5 машинах одновременно включил то же самое видео, в результате всё норм - ни намёка на зависание.
# cat /proc/interrupts
           CPU0       CPU1       CPU2       CPU3       
  0:         24          0          0          0  IR-IO-APIC-edge      timer
  3:          2          0          0          0  IR-IO-APIC-edge   
  4:          2          0          0          0  IR-IO-APIC-edge   
  7:          1          0          1          0  IR-IO-APIC-edge   
  8:          5          0          1          0  IR-IO-APIC-edge      rtc0
  9:          0          0          0          0  IR-IO-APIC-fasteoi   acpi
 16:         26          0          3          0  IR-IO-APIC-fasteoi   ehci_hcd:usb3
 18:          0          0          0          0  IR-IO-APIC-fasteoi   i801_smbus
 23:         27          2          2          0  IR-IO-APIC-fasteoi   ehci_hcd:usb4
 40:          0          0          0          0  DMAR_MSI-edge      dmar0
 41:          0          0          0          0  IR-PCI-MSI-edge      PCIe PME
 42:          0          0          0          0  IR-PCI-MSI-edge      PCIe PME
 43:          0          0          0          0  IR-PCI-MSI-edge      PCIe PME
 44:          0          0          0          0  IR-PCI-MSI-edge      PCIe PME
 45:  612581297  225469504  172047854  142909164  IR-PCI-MSI-edge      xhci_hcd
 46:   42310895    2825162    1396830     762481  IR-PCI-MSI-edge      ahci
 47:          0          1          0          0  IR-PCI-MSI-edge      eno1
 48:   27739000     961423     570033     427211  IR-PCI-MSI-edge      eno1-TxRx-0
 49:   28174020     998777     575773     425993  IR-PCI-MSI-edge      eno1-TxRx-1
 50:   34710494    1202948     723531     540355  IR-PCI-MSI-edge      eno1-TxRx-2
 51:   24313600     883321     522091     365954  IR-PCI-MSI-edge      eno1-TxRx-3
 52:          0          1          0          0  IR-PCI-MSI-edge      eno2
 53:   22335721     637820     393527     343354  IR-PCI-MSI-edge      eno2-TxRx-0
 54:    7822900     285390     102964      89523  IR-PCI-MSI-edge      eno2-TxRx-1
 55:    7055829     277632      98224      86710  IR-PCI-MSI-edge      eno2-TxRx-2
 56:    6725403     275294      89874      76982  IR-PCI-MSI-edge      eno2-TxRx-3
NMI:      54719      36370      35950      35985   Non-maskable interrupts
LOC:   91918571 4241662075  677718134  569481673   Local timer interrupts
SPU:          0          0          0          0   Spurious interrupts
PMI:      54718      36369      35949      35984   Performance monitoring interrupts
IWI:    2262480    2583251    1915470    1628459   IRQ work interrupts
RTR:          3          0          0          0   APIC ICR read retries
RES:  312041226  103479054  121218128  109953533   Rescheduling interrupts
CAL:   21341078   17120643   15903145   17716801   Function call interrupts
TLB:     484181     277140     292127     278271   TLB shootdowns
TRM:          0          0          0          0   Thermal event interrupts
THR:          0          0          0          0   Threshold APIC interrupts
MCE:          0          0          0          0   Machine check exceptions
MCP:      20166      20166      20166      20166   Machine check polls
ERR:          0
MIS:          0

14:57:28        CPU     %user     %nice   %system   %iowait    %steal     %idle
14:57:29        all      5,26      0,00      4,26      0,50      0,00     89,97

14:57:28        IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s
14:57:29        vnet0      4,00      4,00      0,23      0,22      0,00      0,00      0,00
14:57:29          br0      3,00      3,00      0,12      0,99      0,00      0,00      0,00
14:57:29       virbr0      0,00      0,00      0,00      0,00      0,00      0,00      0,00
14:57:29         eno1   9836,00  19085,00    585,03  27865,83      0,00      0,00      0,00
14:57:29           lo      2,00      2,00      0,45      0,45      0,00      0,00      0,00
14:57:29         eno2      6,00      7,00      0,35      1,20      0,00      0,00      0,00

При этом:
# service irqbalance status
irqbalance is stopped
Сноси Винду, переходи на Линукс ! :)

Оффлайн berkut_174

  • Мастер
  • ***
  • Сообщений: 7 145
    • Email
Re: "Завален" диск или сеть ?
« Ответ #34 : 21.03.2017 13:10:26 »
https://m.habrahabr.ru/company/odnoklassniki/blog/266005/
Время выберу, прочту, надеюсь, сегодня вечерком получится ;-)
Спасибо.
Сноси Винду, переходи на Линукс ! :)

Оффлайн asy

  • alt linux team
  • ***
  • Сообщений: 8 099
Re: "Завален" диск или сеть ?
« Ответ #35 : 21.03.2017 13:19:23 »
irqbalance установил, запустил, теперь так:
Теперь по цифрам сложно, надо бы, хотябы, перегрузиться, чтобы счётчики сбросились. Или смотреть по графикам collectd. То, что irqballance остановлен, это надо смотреть конфигурацию. Может он там с onetouch запускается по-умолчанию. Но и разово раскидать - уже нормально.
По ощущениям, практически не изменилось ничего...
Это хуже...
« Последнее редактирование: 21.03.2017 13:23:38 от asy »

Оффлайн berkut_174

  • Мастер
  • ***
  • Сообщений: 7 145
    • Email
Re: "Завален" диск или сеть ?
« Ответ #36 : 21.03.2017 13:23:49 »
Это хуже...
То есть стало хуже ?..
Так перезагрузить машину или не надо ? Сейчас как раз пока никто на сервере не работает, могу ребутнуть.
Сноси Винду, переходи на Линукс ! :)

Оффлайн berkut_174

  • Мастер
  • ***
  • Сообщений: 7 145
    • Email
Re: "Завален" диск или сеть ?
« Ответ #37 : 21.03.2017 13:25:12 »
irqballance остановлен
На том сервер, где проблемы, irqbalance запустил! Это я вывод с другого сервера привёл, там платформа новее и соответственно сетёвка другая. Привёл для примера, что там то irqbalance выключен и таких зависаний нет, но там четыре очереди так понял, против двух.
Сноси Винду, переходи на Линукс ! :)

Оффлайн asy

  • alt linux team
  • ***
  • Сообщений: 8 099
Re: "Завален" диск или сеть ?
« Ответ #38 : 21.03.2017 13:26:18 »
У меня есть ещё один LTSP сервер, там используется в качестве системного диска SSD Kingston KC300 60GB.
На 5 машинах одновременно включил то же самое видео, в результате всё норм - ни намёка на зависание.
Вероятно, что и HDD. Головками шевелить не успевает. А у него там NCQ включился ? И поддерживается вообще ? Хотя у SATA, по идее, уже у всех должно быть сейчас.

Оффлайн asy

  • alt linux team
  • ***
  • Сообщений: 8 099
Re: "Завален" диск или сеть ?
« Ответ #39 : 21.03.2017 13:30:24 »
но там четыре очереди так понял, против двух.
У карт сетевых ? Да.

И там чипсет позволяет одно прерывание на разных ядрах обрабатывать, судя по картинке. Кстати, это на старых так обычно, наоборот. Там irqballance нужен не был. Хотя, на самом деле, для некоторых устройств рекомендовалось обработку перевешивать на одно ядро, для лучшего использования кэша у процессора. Как раз очередей сетевых карт тоже касалось, хотя я не трогал ничего в таких случаях.

Оффлайн berkut_174

  • Мастер
  • ***
  • Сообщений: 7 145
    • Email
Re: "Завален" диск или сеть ?
« Ответ #40 : 21.03.2017 13:34:24 »
А у него там NCQ включился ?
На проблемном сервере:
# dmesg | grep NCQ
[    1.322248] ata1.00: 156301488 sectors, multi 16: LBA48 NCQ (depth 31/32), AA
[    1.323380] ata3.00: 156301488 sectors, multi 16: LBA48 NCQ (depth 31/32), AA
[    1.323405] ata4.00: 156301488 sectors, multi 16: LBA48 NCQ (depth 31/32), AA
[    1.324321] ata2.00: 156301488 sectors, multi 16: LBA48 NCQ (depth 31/32), AA

На другом сервере:
# dmesg | grep NCQ
[    2.406642] ata5.00: 156301488 sectors, multi 16: LBA48 NCQ (depth 31/32), AA
[    2.406780] ata6.00: 156301488 sectors, multi 16: LBA48 NCQ (depth 31/32), AA
[    2.408056] ata1.00: 117231408 sectors, multi 1: LBA48 NCQ (depth 31/32), AA
[    2.434134] ata4.00: 156301488 sectors, multi 16: LBA48 NCQ (depth 31/32)

Кстати, это на старых так обычно, наоборот
Проблемный сервер старее, там платформа на s1155, а тот, на котором 4 очереди - s1150 и там SSD диск подключен на SATA3. В старом только SATA2.

Можно что-то сделать-то ?..
Сноси Винду, переходи на Линукс ! :)

Оффлайн asy

  • alt linux team
  • ***
  • Сообщений: 8 099
Re: "Завален" диск или сеть ?
« Ответ #41 : 21.03.2017 13:39:29 »
Можно что-то сделать-то ?..
SSD есть на посмотреть ? Может и поможет.

Оффлайн berkut_174

  • Мастер
  • ***
  • Сообщений: 7 145
    • Email
Re: "Завален" диск или сеть ?
« Ответ #42 : 21.03.2017 13:43:14 »
SSD есть на посмотреть ? Может и поможет.
Хм... а кстати есть не распакованный Kingston HyperX Fury 120GB !
Завтра посмотрю.
Спасибо, чего-то сам не додумался до этого... :-)
« Последнее редактирование: 21.03.2017 13:48:46 от berkut_174 »
Сноси Винду, переходи на Линукс ! :)

Оффлайн asy

  • alt linux team
  • ***
  • Сообщений: 8 099
Re: "Завален" диск или сеть ?
« Ответ #43 : 21.03.2017 13:52:00 »
Это хуже...
То есть стало хуже ?..
Нет, хуже не стало. Плохо, что дело в чём-то другом. А могло бы и повезти...

Оффлайн berkut_174

  • Мастер
  • ***
  • Сообщений: 7 145
    • Email
Re: "Завален" диск или сеть ?
« Ответ #44 : 21.03.2017 14:43:41 »
А как эти D-Link по цене вот с этим ?
SNR это конечно хорошо, но нужно узнавать по стоимости, не знаю во сколько таких встанут. Мне не нравится ещё что он большой, т.к. коммутатор будет вешаться просто на стену (шкафа и кронштейна спец. нет), выглядеть это чудо будет интересно. :-)

Мне важно что ещё, будет ли ощутимый прирост в скорости от этих манипуляций - стоит ли игра свеч ?
Сноси Винду, переходи на Линукс ! :)