Автор Тема: Обсуждение и предложения по реализации базы данных проб оборудования  (Прочитано 71544 раз)

Оффлайн ksa

  • Модератор глобальный
  • *****
  • Сообщений: 9 049
И делается это именно по хэшу ? Тогда тут проблема: состояние sysreport.dmesg не константа. Кроме того, файл может содержать достаточные для идентификации хоста в сети данные, например
Это уже учтено. Данный файл не участвует в формировании хэш суммы. Вообще, в нашем случае хэш вычисляется от относительно небольшого количества файлов. Но именно этот набор файлов и информация в них позволит гарантировать уникальность именно аппаратного обеспечения. Программное обеспечение пока не добавлял, но это сделать гораздо проще, чем аппаратное. В итоге получаем такую возможность. Допустим, что человек имеет машину постоянной конфигурации и у него установлено что-то из давних времен (на 5.1). И он отправляет пробу оборудования на сервер. Затем он делает обновление до новой платформы (не принципиально какой) и отправляет повторно пробу. В этом случае проба будет добавлена в базу, т.к. в ней будет новая информация (а, именно о дистрибутиве, версии ядра и, соответственно, о версиях драйверов, с которыми его железо работает и система, как минимум, загрузилась).
Серийные номера и UUID в sysreport.dmidecode, мне кажется, тоже лишние (UUID там не меняется, если не ошибаюсь).
А вот этот файл участвует, но не в оригинальном виде. Короче говоря, я изобрел велосипед-алгоритм, который из некоторых файлов делает слепок конфигурации машины. И если отправить повторно отчет с этой же машины и с тем же набором оборудования, то сервер выдаст отлуп. Именно из-за продумывания этого самого алгоритма, который, на самом деле, не так уж и заковырист ;-)

Оффлайн ksa

  • Модератор глобальный
  • *****
  • Сообщений: 9 049
Вообще, было бы неплохо получить от кого-нибудь две пробы: одну, с его железа и старой версии дистрибутива (5.1 или что-то на шестой платформе). И ещё одну пробу с того же железа (в той же конфигурации, включая подключенные флешки, картридеры и прочую периферию), но с новой программной платформы. Это бы позволило мне провести анализ полученных данных и на 100% (не зарекайся, как говорится, но к этому надо стремиться) определить, что железо не поменялось, а поменялась только программная составляющая (бишь в базу пойдет только информация о программной части).

Оффлайн ksa

  • Модератор глобальный
  • *****
  • Сообщений: 9 049
Ещё бы не помешали две пробы с машин одинаковой конфигурации (например, покупали куда-то машины с одной конфигурацией), но разных серийных номеров (жесткие диски, сетевые карты, мат. плата, процессор и т.п.). Просто у меня есть две машины с одинаковыми материнскими платами, но городить мою конфигурацию из второй машины не совсем сподручно. Был бы признателен тому, у кого есть такие машины в доступности и есть возможность снять пробы. Программная часть в этом случае не интересует (в смысле не важна), важна аппаратная составляющая, т.к. в данный момент сосредоточен именно на этом.

Оффлайн asy

  • alt linux team
  • ***
  • Сообщений: 8 368
Вообще, было бы неплохо получить от кого-нибудь две пробы: одну, с его железа и старой версии дистрибутива (5.1 или что-то на шестой платформе). И ещё одну пробу с того же железа (в той же конфигурации, включая подключенные флешки, картридеры и прочую периферию), но с новой программной платформы.
В общем-то, наверное, можно LiveCD использовать старый (или флешку).

Оффлайн ksa

  • Модератор глобальный
  • *****
  • Сообщений: 9 049
Вообще, было бы неплохо получить от кого-нибудь две пробы: одну, с его железа и старой версии дистрибутива (5.1 или что-то на шестой платформе). И ещё одну пробу с того же железа (в той же конфигурации, включая подключенные флешки, картридеры и прочую периферию), но с новой программной платформы.
В общем-то, наверное, можно LiveCD использовать старый (или флешку).
Так то оно так, но в любом разе моих данных будет маловато. Надо хотя бы пяток таких пар проб.
PS Грузите апельсины бочками :-)

Оффлайн ksa

  • Модератор глобальный
  • *****
  • Сообщений: 9 049
Текущий выхлоп и не совсем хэш, но многим цифры должны быть знакомы (это посчитаны контрольные суммы crc, но не файлов, а определенным образом подготовленной информации из некоторых файлов архива)
4094308094
/home/sb/probes/05.03.2016-21.40.11.tar.bz2

4094308094
/home/sb/probes/05.03.2016-22.31.28.tar.bz2

1756507137
/home/sb/probes/08.03.2016-15.09.59.tar.bz2

1756507137
/home/sb/probes/08.03.2016-15.10.31.tar.bz2

967494343
/home/sb/probes/08.03.2016-16:22:37.tar.bz2

967494343
/home/sb/probes/08.03.2016-16:25:18.tar.bz2

147851388
/home/sb/probes/08.03.2016-17_05_19.tar.bz2

147851388
/home/sb/probes/08.03.2016-17_08_39.tar.bz2

3286011929
/home/sb/probes/09.03.2016-05.01.51.tar.bz2

3286011929
/home/sb/probes/09.03.2016-05.02.20.tar.bz2

2989731670
/home/sb/probes/Alpha.localdomain-07.03.2016-09_17_14.tar.bz2

2715844748
/home/sb/probes/Alpha.localdomain-07.03.2016-19_14_27.tar.bz2

438675121
/home/sb/probes/Avrora.localdomain-07.03.2016-09_08_57.tar.bz2

438675121
/home/sb/probes/Avrora.localdomain-07.03.2016-12_39_12.tar.bz2

1735564175
/home/sb/probes/kroha.localdomain-07.03.2016-09_37_51.tar.bz2

1735564175
/home/sb/probes/kroha.localdomain-07.03.2016-19_18_13.tar.bz2

3293995025
/home/sb/probes/Rostov.nksp-07.03.2016-09_53_27.tar.bz2

3293995025
/home/sb/probes/Rostov.nksp-07.03.2016-19_37_47.tar.bz2

3293995025
/home/sb/probes/Rostov.nksp-07.03.2016-19_45_49.tar.bz2

1457032994
/home/sb/probes/sysreport-20160306.tar.bz2

1457032994
/home/sb/probes/sysreport-20160308.tar.bz2

3824258842
/home/sb/probes/Vera.localdomain-07.03.2016-15_06_58.tar.bz2

3824258842
/home/sb/probes/Vera.localdomain-07.03.2016-15_13_24.tar.bz2
Уважаемые участники, прошу проявить активность. Вот, к примеру, последняя проба (собранная на машине по месту работы) помогла найти ещё одну недоработку. Возможно, что этих недоработок есть ещё, поэтому ваши пробы очень могли бы помочь на начальном этапе максимально полно учесть все нюансы.
А между делом начинает вырисовываться формат взаимодействия сервера с клиентом и формат пересылаемых данных. Видимо, если дело так пойдет и дальше (в смысле активность участников форума и группы вконтакте невысокая), то придется рисковать и выкладывать клиент с отправкой проб сразу на сервер (без почты). Мне, все же, не хотелось бы это делать раньше момента, когда буду уверен, что учтено все по максимуму. А для этого хотя бы два десятка проб надо (но, честно говоря, и этого маловато, но за неимением и этого количества хватило бы).

Оффлайн ksa

  • Модератор глобальный
  • *****
  • Сообщений: 9 049
Очередная порция новостей. Удалось с нескольких машин по месту работы снять пробы (одна - p6, три  - p7, из которых с двух машин ещё снял пробы из p6). Пока что всё предсказуемо (попарно пробы идентичны).
a2551626534060663d1b070af940eb7ae44c6648
/home/veda/probes/05.03.2016-21.40.11.tar.bz2

a2551626534060663d1b070af940eb7ae44c6648
/home/veda/probes/05.03.2016-22.31.28.tar.bz2

6c9b1ee650b33f5a46543f87eebc7da5b03d49d5
/home/veda/probes/08.03.2016-15.09.59.tar.bz2

6c9b1ee650b33f5a46543f87eebc7da5b03d49d5
/home/veda/probes/08.03.2016-15.10.31.tar.bz2

9704c23bc30cb3a3a1a1613122d53876d87f718c
/home/veda/probes/08.03.2016-17_05_19.tar.bz2

9704c23bc30cb3a3a1a1613122d53876d87f718c
/home/veda/probes/08.03.2016-17_08_39.tar.bz2

4e95fc5a8283247abc02b22edb49cf98bf322983
/home/veda/probes/09.03.2016-05.01.51.tar.bz2

4e95fc5a8283247abc02b22edb49cf98bf322983
/home/veda/probes/09.03.2016-05.02.20.tar.bz2

321e882dda535c31a310535e515e8b93b05ee2c6
/home/veda/probes/10.03.2016-06.22.21.tar.bz2

321e882dda535c31a310535e515e8b93b05ee2c6
/home/veda/probes/10.03.2016-06.23.22.tar.bz2

8ab53942e77cdf0e35e736f201aa9731930c54dd
/home/veda/probes/10.03.2016-06.53.56.tar.bz2

8ab53942e77cdf0e35e736f201aa9731930c54dd
/home/veda/probes/10.03.2016-06.54.13.tar.bz2

302588ca5eac7a0f58e58d702075912ba36c618d
/home/veda/probes/10.03.2016-07.12.43.tar.bz2

302588ca5eac7a0f58e58d702075912ba36c618d
/home/veda/probes/10.03.2016-07.13.04.tar.bz2

28cedcb25bf9b2c6da08fe43932aa2b29f22b101
/home/veda/probes/10.03.2016-07.25.01.tar.bz2

28cedcb25bf9b2c6da08fe43932aa2b29f22b101
/home/veda/probes/10.03.2016-07.27.07.tar.bz2

c0ed97a27036264e0d5864af9488bc96f4dfa8ad
/home/veda/probes/10.03.2016-08.32.02.tar.bz2

c0ed97a27036264e0d5864af9488bc96f4dfa8ad
/home/veda/probes/10.03.2016-08.33.03.tar.bz2

f6367021cb2f389062e48a55008720ac0a3551d6
/home/veda/probes/10.03.2016-11.54.11.tar.bz2

f6367021cb2f389062e48a55008720ac0a3551d6
/home/veda/probes/10.03.2016-11.56.13.tar.bz2

7ec0904c1a95fc4aff88059467da59c205e66290
/home/veda/probes/Alpha.localdomain-07.03.2016-09_17_14.tar.bz2

ea025751ca49fc4de79a1d8ea64a273f18b1a1b3
/home/veda/probes/Alpha.localdomain-07.03.2016-19_14_27.tar.bz2

3aa9de47a629577f979189858a014a14c9ae0967
/home/veda/probes/Avrora.localdomain-07.03.2016-09_08_57.tar.bz2

3aa9de47a629577f979189858a014a14c9ae0967
/home/veda/probes/Avrora.localdomain-07.03.2016-12_39_12.tar.bz2

b101713a29d5bc4f9d34fb106c0eba59f08dfe97
/home/veda/probes/kroha.localdomain-07.03.2016-09_37_51.tar.bz2

b101713a29d5bc4f9d34fb106c0eba59f08dfe97
/home/veda/probes/kroha.localdomain-07.03.2016-19_18_13.tar.bz2

4d644c8700db7929eeda79e53f129baf1d97edc2
/home/veda/probes/Rostov.nksp-07.03.2016-09_53_27.tar.bz2

4d644c8700db7929eeda79e53f129baf1d97edc2
/home/veda/probes/Rostov.nksp-07.03.2016-19_37_47.tar.bz2

4d644c8700db7929eeda79e53f129baf1d97edc2
/home/veda/probes/Rostov.nksp-07.03.2016-19_45_49.tar.bz2

023f82f263db7c86876bfc1b472cc592b5a66fa0
/home/veda/probes/sysreport-20160306.tar.bz2

023f82f263db7c86876bfc1b472cc592b5a66fa0
/home/veda/probes/sysreport-20160308.tar.bz2

0409728d9f1f5c6216c010f66dbba300b28e5891
/home/veda/probes/Vera.localdomain-07.03.2016-15_06_58.tar.bz2

0409728d9f1f5c6216c010f66dbba300b28e5891
/home/veda/probes/Vera.localdomain-07.03.2016-15_13_24.tar.bz2
Но по-прежнему не хватает проб с одним железом и разным софтом (в смысле дистрибутивов). И вот это сообщение https://forum.altlinux.org/index.php?topic=36472.msg281363#msg281363 актуально по-прежнему.

Оффлайн ksa

  • Модератор глобальный
  • *****
  • Сообщений: 9 049
В предыдущем выводе уже есть пробы с одного оборудования, но разных платформ (p6 из раннего и p7 с обновами). Данные проанализированы и выводы сделаны, но нужны ещё подобные пробы и, если хочется поддержки p5/p5.1, то нужны пробы с подобных машин (с p5 и p6,  с p5 и p7). У меня есть железо с 5.1, но с ним так долго ковыряться, чтобы поставить туда чего-то другое (загрузка с флеш невозможна и как следствие livecd отпадает, потому как само железо не поддерживает такую возможность, плюс к тому usb только 1.1 и в числе 1 порт, который для мыши). В любой комбинации выводы будут представлять ценную информацию. Пока же можно условно говорить только о некоторой (не 100%) поддержке p6 (т.к. материала собрано совсем ничего, т..е одна проба). Другими словами. Если у вас есть железяка на 5.1 и есть возможность на ней запустить livecd с p6/p7, то сделайте, а скрипт и пакет system-report можно на флешке подсунуть. Потом на нее же скинете получившиеся архивы и можно сгружать в почту.

Оффлайн ruslandh

  • Поспешай не торопясь !
  • Модератор глобальный
  • *****
  • Сообщений: 32 361
  • Учиться .... Телепатами не рождаются, ими ....
Надо будет взвлянуть на Live образы с 5 и 6-кой. Могу на том-же оборудовании с них пробы прислать при первой возможности.

Оффлайн ksa

  • Модератор глобальный
  • *****
  • Сообщений: 9 049
Надо будет взвлянуть на Live образы с 5 и 6-кой. Могу на том-же оборудовании с них пробы прислать при первой возможности.
Было бы здорово!
PS надо будет сортировать их начать, чтобы не запутаться. И кусок кода разбить на несколько, чтобы обкатывать на конкретных пробах.

Оффлайн ksa

  • Модератор глобальный
  • *****
  • Сообщений: 9 049
Несколько модифицировал вспомогательный скрипт. Мне приходится таскать пробы на флешке, где fat32. Здесь про : не в курсе. Поэтому заменил в формате времени на точку. Обновил скрипт в своем сообщении https://forum.altlinux.org/index.php?topic=36472.msg281228#msg281228. Попутно рефакторинг сделал, несколько ускорил выполнение скрипта. Фактически работа в основе своей сейчас сосредоточена на поддержке системой старых платформ (от 5.1 минимум).

Оффлайн ruslandh

  • Поспешай не торопясь !
  • Модератор глобальный
  • *****
  • Сообщений: 32 361
  • Учиться .... Телепатами не рождаются, ими ....
Что-то я не нашёл вчера образ для 5-ки с rescue

Оффлайн ksa

  • Модератор глобальный
  • *****
  • Сообщений: 9 049
Определил минимальные требования к наличию пакетов в системе для работы системы отправки. Требования такие:
hwinfo
system-report >= 0.0.3
usbutils
Для того, чтобы с дистрибутивов, основанных на бранчах 4.0/4.1, можно было отправлять отчеты, необходимо на подобные дистрибутивы водрузить system-report соответствующей версии.

Оффлайн ksa

  • Модератор глобальный
  • *****
  • Сообщений: 9 049
Сегодня взял очередную ступеньку: пробы с платформ p6 и p7 на одном железе прошли тест на идентичность этого самого железа. Пришлось по ходу дела переосмыслить некоторые моменты, а от некоторых отказаться вовсе (потому как все делается на скорую руку, на коленке, при нехватке знаний в этой области, малом количестве требуемого тестового материала и времени местами). К сожалению, пробы, которые были мне присланы с p5.1 (а до этого с этого же железа, но с p7), были зарезаны фильтром - отсутствовал один из обязательных файлов (проба принимается в обработку, только если обнаруживаются в архиве требуемые файлы, в данном случае отсутствовала проба usb устройств). Если у кого есть возможность с одного и того же железа скинуть хотя бы по 1 файлу (пару необязательно теперь делать, т.к. эти моменты, можно сказать, решены), снятому с p6/p7 и p5.1, то было бы просто отлично. Осталось несколько код причесать, выделить то, что пойдет в клиент, а что пойдет в серверную часть (в обработку и прием) и написать код отправки/приема данных. Но, поскольку это велосипед, то писаться это будет именно в таком стиле (на баше с использованием существующих утилит из coreutils и/или чего-то подобного) и никак иначе (по-другому я просто не умею).

Оффлайн ksa

  • Модератор глобальный
  • *****
  • Сообщений: 9 049
Определил минимальные требования к наличию пакетов в системе для работы системы отправки.
Добавился netcat:
hwinfo
netcat
system-report >= 0.0.3
usbutils
Надеюсь, что с аппаратной конфигурацией по большому счету все определилось (код написан, он работает, но, возможно, требует рефакторинга). Осталось учесть программную часть и додумать структуру хранилища, чтобы потом не перекраивать в случае чего на ходу.