Драйвера для Alt.

[Aleksey Shimanov]

Закупили сервер и СХД Huawei.
Операционка (Alt) встала без вопросов, все диски видны, включая даже СХДшные LUN'ы через FC контроллер.
Все бы ничего, но скорость работы с СХД в 20 раз меньше чем под виндой.
Подозрение, что однозначно нужно ставить драйвера от производителя.
Вопрос, какие драйвера, точнее для какой ОС нужно использовать с Alt'ом? RedHat/CentOS или что-то другое?

[Skull]

Просите драйвера в исходном коде у Huawei.

[Aleksey Shimanov]

Других вариантов нет? 

[asy]

Просите драйвера в исходном коде у Huawei.

Зачем? При чём тут Huawei?

[asy]

Других вариантов нет? 

Skull в общем-то прав, но ошибся в частностях. ОС не знает ничего про СХД и не должна. Вопрос к драйверу, но драйверу контоллера. Что именно за FC контроллер, и что про него пишут?

И сразу обратите внимание на статистику в /proc/interrupts на предмет того, сколько очередей у контроллера, и разбежались ли они по разным ядрам. Может быть (если очередей много, а повисли они на одно ядро) Вам нужно установить и запустить irqbalance, а, может быть, даже ещё и настроить его руками, если автоматом выйдет не очень.

[Skull]

Других вариантов нет? 

Skull в общем-то прав, но ошибся в частностях. ОС не знает ничего про СХД и не должна. Вопрос к драйверу, но драйверу контоллера. Что именно за FC контроллер, и что про него пишут?

И сразу обратите внимание на статистику в /proc/interrupts на предмет того, сколько очередей у контроллера, и разбежались ли они по разным ядрам. Может быть (если очередей много, а повисли они на одно ядро) Вам нужно установить и запустить irqbalance, а, может быть, даже ещё и настроить его руками, если автоматом выйдет не очень.

Читается, что и сервер тоже от Huawei. Например, Taishan.

[Aleksey Shimanov]

Я думал все будет проще, поэтому не писал характеристики оборудования.
Собственно с них и начнем:
1. Сервер Huawei Fusion Server 2488H V5, Ram 2 Tb, 4xCPU Xeon Gold 6244.
1.1 Local RAID controller Avago MegaRAID 9440-8i
1.2 Fiber Chanell Controller LPe32002 FC Host Bus Adapter (LPe32002-M2)
2. Huawei Dorado 3000 V6.
2.1 Специализированное ПО Huawei UltraPath

На текущий момент меня интересуют оба контроллера.
1.1 работает на одинаковой скорости с виндой, хотя определился как "25:00.0 RAID bus controller [0104]: Broadcom / LSI MegaRAID Tri-Mode SAS3408 [1000:0017] (rev 01)"
1.2 работает в 20 раз (!!!) медленне чем в винде, определился как "63:00.0 Fibre Channel [0c04]: Emulex Corporation LPe35000/LPe36000 Series 32Gb/64Gb Fibre Channel Adapter [10df:f400]". В реалиях стоит LPe32002-M2, 2 порта по 32 Gb, бывший Emulex.
2.1 это аналог MultiIO, но со своими фишками. Если получится прикрутить - будет совсем здорово, но на текущий момент не обязательно.

Основная проблема это 1.2.

Думал что обойдусь малой кровью... :)

И сразу обратите внимание на статистику в /proc/interrupts на предмет того, сколько очередей у контроллера, и разбежались ли они по разным ядрам. Может быть (если очередей много, а повисли они на одно ядро) Вам нужно установить и запустить irqbalance, а, может быть, даже ещё и настроить его руками, если автоматом выйдет не очень.

Насколько я смог интерпретировать - то все расползается по всем 64-м виртуальным ядрам, более-менее равномерно.
Прогнал тест производительности и смотрел на загрузку в htop - 100% загрузка одного ядра не встречается. В среднем 5-10% на 8-10 ядрах.

P.S. Исходники на LPe нашел, но за 20 лет забыл формат make-файла. Надо изучать, не собирается. Хотя может и каких-то библиотек не хватает... Ламер я в линуксе...  Да и программирование подзабыл...   

[asy]

P.S. Исходники на LPe нашел, но за 20 лет забыл формат make-файла. Надо изучать, не собирается. Хотя может и каких-то библиотек не хватает... Ламер я в линуксе...  Да и программирование подзабыл...   

Какой-то драйвер явно уже есть, раз он как-то работает. Может быть тот самый. lspci -k покажет, что используется. В общем читать. Железки бывают разные, нюансы разные.

[Aleksey Shimanov]

Код: [Выделить]

63:00.0 Fibre Channel: Emulex Corporation LPe35000/LPe36000 Series 32Gb/64Gb Fibre Channel Adapter
<------>Subsystem: Emulex Corporation LPe35002-M2-D 2-Port 32Gb Fibre Channel Adapter
<------>Kernel driver in use: lpfc
63:00.1 Fibre Channel: Emulex Corporation LPe35000/LPe36000 Series 32Gb/64Gb Fibre Channel Adapter
<------>Subsystem: Emulex Corporation LPe35002-M2-D 2-Port 32Gb Fibre Channel Adapter
<------>Kernel driver in use: lpfc
Написал в тех. поддержку, посмотрим что скажут. 

[asy]

<------>Subsystem

"Alt"+"Shift"+"-" переключает подсветку табуляции и пробелов в mcedit, если что.

[Aleksey Shimanov]

"Alt"+"Shift"+"-" переключает подсветку табуляции и пробелов в mcedit, если что.

Спасибо, хот-кеи еще только осваиваю у МС. :)

[Aleksey Shimanov]

Первое обращение в службу поддержки меня сильно разочаровало.
В кратце отослали к разработчикам оборудования, типа пусть вводят поддержку нашей ос.
Скомпилировать драйвера из исходников тоже отказались - контроллер виден, работает. Значит все хорошо. А для повышения скорости дайте нам исходники от программы управления контроллером...

Еще поковыряюсь малек, но начал качать CentOS 9 - в качестве резервного варианта.

Пока есть вопрос:

Код: [Выделить]

#rpm -i elxocmcorelibs-11.2.338.0-1.x86_64.rpm
ошибка: Неудовлетворенные зависимости:
        libnl(x86-64) >= 1.1 нужен для elxocmcorelibs-11.2.338.0-1.x86_64
        libnl.so.1()(64bit) нужен для elxocmcorelibs-11.2.338.0-1.x86_64
        glibc(x86-64) >= 2.12 нужен для elxocmcorelibs-11.2.338.0-1.x86_64


Код: [Выделить]

# apt-cache showpkg libnl3
Package: libnl3
Versions:
3.4.0-alt2@1507570084(/var/lib/apt/lists/mirror.yandex.ru_altlinux_p9_branch_x86%5f64_base_pkglist.classic)(/var/lib/rpm/Packages)

Reverse Depends:
  i586-libnl3.32bit,libnl3 3.4.0-alt2
  libnl3-utils,libnl3 3.4.0-alt2
Dependencies:
3.4.0-alt2@1507570084 - libc.so.6(GLIBC_2.14)(64bit) (0 (null)) libc.so.6(GLIBC_2.2.5)(64bit) (0 (null)) libc.so.6(GLIBC_2.3)(64bit) (0 (null)) libc.so.6(GLIBC_2.3.4)(64bit) (0 (null)) libc.so.6(GLIBC_2.4)(64bit) (0 (null)) libc.so.6(GLIBC_2.6)(64bit) (0 (null)) libc.so.6(GLIBC_2.8)(64bit) (0 (null)) libpthread.so.0(GLIBC_2.2.5)(64bit) (0 (null)) rtld(GNU_HASH) (0 (null))
Provides:
3.4.0-alt2@1507570084 - libnl3 libnl-xfrm-3.so.200(libnl_3)(64bit) libnl-xfrm-3.so.200()(64bit) libnl-route-3.so.200(libnl_3_4)(64bit) libnl-route-3.so.200(libnl_3_2_29)(64bit) libnl-route-3.so.200(libnl_3_2_28)(64bit) libnl-route-3.so.200(libnl_3_2_27)(64bit) libnl-route-3.so.200(libnl_3_2_26)(64bit) libnl-route-3.so.200(libnl_3)(64bit) libnl-route-3.so.200()(64bit) libnl-nf-3.so.200(libnl_3)(64bit) libnl-nf-3.so.200()(64bit) libnl-idiag-3.so.200(libnl_3)(64bit) libnl-idiag-3.so.200()(64bit) libnl-genl-3.so.200(libnl_3)(64bit) libnl-genl-3.so.200()(64bit) libnl-3.so.200(libnl_3_2_29)(64bit) libnl-3.so.200(libnl_3_2_28)(64bit) libnl-3.so.200(libnl_3_2_27)(64bit) libnl-3.so.200(libnl_3_2_26)(64bit) libnl-3.so.200(libnl_3)(64bit) libnl-3.so.200()(64bit)
Reverse Provides:
libnl3 3.4.0-alt2@1507570084


Код: [Выделить]

# apt-cache showpkg glibc
Package: glibc
Versions:
6:2.27-alt14:p9+285569.300.3.1@1632188044(/var/lib/apt/lists/mirror.yandex.ru_altlinux_p9_branch_x86%5f64_base_pkglist.classic)(/var/lib/rpm/Packages)

Reverse Depends:
  appliance-base-glibc,glibc
  sysvinit,glibc 6:2.2.1-ipl0.2mdk
  nvidia-cg-toolkit,glibc 2.4
  libdb4.8,glibc 6:2.1.3
  libdb4.7,glibc 6:2.1.3
  libdb1,glibc 2.1.90
  glibc-devel,glibc 6:2.27-alt14:p9+285569.300.3.1
  glibc-core,glibc 6:2.27-alt14
Dependencies:
6:2.27-alt14:p9+285569.300.3.1@1632188044 - glibc-nss (5 6:2.27-alt14:p9+285569.300.3.1) glibc-locales (5 6:2.27-alt14:p9+285569.300.3.1) iconv (5 6:2.27-alt14:p9+285569.300.3.1) glibc-timezones (5 6:2.27-alt14:p9+285569.300.3.1) glibc-utils (5 6:2.27-alt14:p9+285569.300.3.1) glibc-nss (5 6:2.27-alt14:p9+285569.300.3.1) glibc-locales (5 6:2.27-alt14:p9+285569.300.3.1) glibc-timezones (5 6:2.27-alt14:p9+285569.300.3.1) glibc-utils (5 6:2.27-alt14:p9+285569.300.3.1) libc-static (0 (null)) libc-devel (0 (null)) libc-profile (0 (null)) libc-headers (0 (null)) linuxthreads (0 (null)) gencat (0 (null)) ldconfig (0 (null))
Provides:
6:2.27-alt14:p9+285569.300.3.1@1632188044 - glibc
Reverse Provides:
glibc 6:2.27-alt14:p9+285569.300.3.1@1632188044
В моем понимании все находится на месте. Однако ругается на зависимости.
Где косяк?

[Александр Ерещенко]

Пробовали перепаковать пакет через epm repack ?

[asy]

Еще поковыряюсь малек, но начал качать CentOS 9 - в качестве резервного варианта.

Ядро у всех из одного источника. Так что если отличие и будет, то только в версии, из-за возможной разницы версии в разных версиях ядра. Или у производителя для RedHat есть отдельный драйвер? У некоторых контроллеров Intel такое есть кстати, у Intel C602 например, который SAS. И если вдруг в CentOS будет нормально с тем же ядерным драйвером, можно будет вполне найти разницу.

В моем понимании все находится на месте. Однако ругается на зависимости.
Где косяк?

Косяк в том, что в rpm зависимости сделаны по имени пакета, а имена разные. В разных дистрибутивах так бывает иногда. Можно попробовать перепаковать, либо сделать пакет-заглушку с нужным именем. А для теста можно и с --nodeps поставить (или с записью в отдельную базу rpm), а уже разбираться если будет эффект.

[Aleksey Shimanov]

Пробовали перепаковать пакет через epm repack ?

Нет, не пробовал, я же ламер еще в линуксе, поэтмоу и обращаюсь сразу и в тех. поддержку и сюда... :)
Попробую спасибо за наводку.

Ядро у всех из одного источника. Так что если отличие и будет, то только в версии, из-за возможной разницы версии в разных версиях ядра. Или у производителя для RedHat есть отдельный драйвер? У некоторых контроллеров Intel такое есть кстати, у Intel C602 например, который SAS. И если вдруг в CentOS будет нормально с тем же ядерным драйвером, можно будет вполне найти разницу.

У производителей железа есть готовые пакеты под CentOS/RHEL, т.е. не придется плясать танцы с бубном. По крайней мере я на это надеюсь... :))))

А для теста можно и с --nodeps поставить

И это тоже попробую. :)

Спасибо, всем откликнувшимся, продолжу тиранить Alt. :)