Автор Тема: Пожелание к создателям всех дистрибутивов live  (Прочитано 1577 раз)

Оффлайн ProfessorNavigator

  • Давно тут
  • **
  • Сообщений: 214
Куда положит??? Да он просто дропнет лишний трафик. Планета непуганных пользователей.
Как пойдёт (раз, два) ;-) Суть от этого не меняется. Торренты не нагружают сеть сверх обычного. Конечные же серверы наоборот разгружают, потому что пользователи качают файлы не с них, а друг у друга по большей части. Сервер же в этом случае лишь выступает координатором процесса, помогая устанавливать p2p соединения. Напрямую или предоставляя возможность подключения к DHT. И в целом торренты позволяют более равномерно распределить нагрузку на сеть и сетевое оборудование. При этом в процессе скачивания сразу осуществляется проверка хэш-сумм, что даёт некоторую гарантию того, что вы получите именно то, что хотели. Без сюрпризов. Правда тут нужно внимательно проверять начальный торрент файл. А все претензии к торрентам по большому счёту идут от правообладателей, которых не устраивает, что деньги в кассу к ним не идут. Вы, видимо, тоже подпали под влияние этой пропаганды ;-D К недостаткам торрентов можно отнести повышенную интенсивность использования жёстких дисков. Да и то - весьма условно. Ну и я, если что, не совсем обычный пользователь  ;-)

Оффлайн asy

  • alt linux team
  • ***
  • Сообщений: 8 104
Как пойдёт (раз, два) ;-) Суть от этого не меняется.
Как это работает, и при чём тут шейпер и т.п.
Торренты не нагружают сеть сверх обычного.
Подумаешь? Или, всё же, рассказать? :-)

Оффлайн ProfessorNavigator

  • Давно тут
  • **
  • Сообщений: 214
Подумаешь? Или, всё же, рассказать?
Да я вроде бы уже просил - расскажите. https://forum.altlinux.org/index.php?topic=47800.msg383949#msg383949. Вполне вероятно, что я чего-то не знаю. Пока же что-то как-то без всякой конкретики, лишь навешивание ярлыков.

Оффлайн asy

  • alt linux team
  • ***
  • Сообщений: 8 104
Подумаешь? Или, всё же, рассказать?
Да я вроде бы уже просил - расскажите. https://forum.altlinux.org/index.php?topic=47800.msg383949#msg383949. Вполне вероятно, что я чего-то не знаю. Пока же что-то как-то без всякой конкретики, лишь навешивание ярлыков.
Да я всё думал, может не надо учить гуглить человека. Ну ладно.

Первая проблема. Торрент трафик создаёт на маршрутизаторе значительное увеличение (часто в разы от обычного) трафика между разными IP-адресами. Угадай, 1) как это влияет на работу процесса маршрутизации вообще, 2) что дополнительно происходт на устройствах с NAT.

Вторая проблема. UDP. Отправители легко отправляют количество трафика, которое тупо не лезет в канал конечного пользователя. Это чудо оставляет закчку на ночь и идёт спать. Если бы чудо спать не пошло, оно бы сообразило, что у него с доступом в интернет беда, может быть что-то и сделало бы, но нет. А поправить в клиенте максимальную ожидаемую скорость - это "а что, так можно было?". А в итоге клиент может прогрузить у оператора полосу, заметно превышающую свою.

Погугли про проблемы слабых домашних маршрутизаторов с торрентами, потом экстраполируй на операторские и количество клиентов. Обе проблемы решаемы закупкой на много более дорогого обурудования, чем надо без торрентов. Если бы клиенты потом от цены за услуги не ныли, не было бы вопросов. Вообще правильно бы было торрент-трафик по отдельному тарифу продавать. :-)
« Последнее редактирование: 20.07.2023 14:39:57 от asy »

Оффлайн ProfessorNavigator

  • Давно тут
  • **
  • Сообщений: 214
Как это работает,
Прямо по теме https://www.2dsl.ru/faq/site-troubles/318-chto-proishodit-s-paketami-kogda-zabit-ishodyaschiy.html. Проще говоря, под кешем пакетов я подразумевал очередь на отправку. Поскольку сисадмином не являюсь, то могу ошибаться в терминологии. И да, приведённая ссылка лишь для того, чтобы проиллюстрировать сам принцип работы. Не нужно её воспринимать, как научную статью  ;-)

Оффлайн ProfessorNavigator

  • Давно тут
  • **
  • Сообщений: 214
Да я всё думал, может не надо учить гуглить человека. Ну ладно.
Я разберусь, что мне делать. И зачем переходить на личности? Я вроде бы к вам обращаюсь вполне вежливо. От вас я добиваюсь лишь чтобы вы привели вашу интерпретацию. Потому что, как показывает практика, то, что у человека в голове может сильно отличаться от того, что он прочитал, или от того, что ему сказали. И тем более, очень сильно отличаться от того, что происходит в реальности.

Торрент трафик создаёт на маршрутизаторе значительное увеличение (часто в разы от обычного) трафика между разными IP-адресами.
Нет. Уже ответил выше. Видимо, вы предпочитаете не читать написанное. Канал к пользователю один. Физически один. И он имеет вполне определённую пропускную способность. Всё что сверх того, будет вышестоящими маршрутизаторами отбрасываться.

Отправители легко отправляют количество трафика, которое тупо не лезет в канал конечного пользователя.
И это тоже объяснил вроде бы. Но попробую ещё раз. У вас есть цепочка маршрутизаторов между отправителем и получателем. Если скорость передачи отправителя будет больше, чем у получателя, то на всех маршрутизаторах в цепочке забьётся очередь пакетов. Т.е. в конечном итоге ближайший к отправителю маршрутизатор (вполне вероятно, что стоящий у него дома) просто снизит скорость приёма пакетов. И всё будет нормально. У вас же скорость передачи данных от централизованных серверов обычно гораздо выше скорости в домашних каналах пользователей. Тем не менее, сайты у всех грузятся, сети не падают. Хотя передача там далеко не всегда идёт по протоколу TCP. Который, кстати говоря, как раз сеть нагружает гораздо сильнее, чем UDP, потому что требует подтверждения приёма пакетов.

Погугли про проблемы слабых домашних маршрутизаторов с торрентами, потом экстраполируй на операторские и количество клиентов. Обе проблемы решаемы закупкой на много более дорогого обурудования, чем надо без торрентов. Если бы клиенты потом от цены за услуги не ныли, не было бы вопросов. Вообще правильно бы было торрент-трафик по отдельному тарифу продавать.
Надеюсь, удалось объяснить, что это не так. И ещё раз повторюсь - мне не интересно, что там выдаст поиск. Мне интересно ваше мнение по данному вопросу. Потому что спорю я с вами, а не с поисковиком.

Оффлайн asy

  • alt linux team
  • ***
  • Сообщений: 8 104
Торрент трафик создаёт на маршрутизаторе значительное увеличение (часто в разы от обычного) трафика между разными IP-адресами.
Нет. Уже ответил выше. Видимо, вы предпочитаете не читать написанное. Канал к пользователю один. Физически один.
В первой проблеме каналы значения не имеют в принципе. Первая проблема - процесс маршрутизаци и нагрузка на CPU от него. Ну и NAT до кучи, как проблема маршрутизатора. Каналы - это вторая проблема.
И он имеет вполне определённую пропускную способность. Всё что сверх того, будет вышестоящими маршрутизаторами отбрасываться.
Хоть к делу и не относится в первой проблеме, но нет, не будет. Будет отбрасываться только одним вышестоящим. А из-за того, что это UDP, оправители этих пакетов (читай сервера раздачи) не узнают, что надо притормозить, и будут продолжать грузить всю остальную цепочку.
И это тоже объяснил вроде бы. Но попробую ещё раз. У вас есть цепочка маршрутизаторов между отправителем и получателем. Если скорость передачи отправителя будет больше, чем у получателя, то на всех маршрутизаторах в цепочке забьётся очередь пакетов.
Не забьётся. Точнее как раз забьётся бесполезно. При скорости получателя, допустим, 100М, легко может забиться и 1Gb, и 10Gb, и сколько угодно, были бы источники.
« Последнее редактирование: 20.07.2023 15:22:34 от asy »

Оффлайн ProfessorNavigator

  • Давно тут
  • **
  • Сообщений: 214
В первой проблеме каналы значения не имеют в принципе. Первая проблема - процесс маршрутизаци и нагрузка на CPU от него. Ну и NAT до кучи, как проблема маршрутизатора. Каналы - это вторая проблема.
Вы опять сваливаете всё в кучу. Нет, всё работает несколько по-другому. Пояснения - ниже.

Хоть к делу и не относится, но нет, не будет. Будет отбрасываться только одним вышестоящим. А из-за того, что это UDP, оправители этих пакетов (читай сервера раздачи) не узнают, что надо притормозить, и будут продолжать грузить всю остальную цепочку.
Отбрасываться будет всеми. Вы, видимо, не понимаете, как работают сети. У нас есть два протокола: ipv4 и ipv6. Поверх них работают протоколы UDP и TCP. Так вот, с точки зрения маршрутизатора, который работает по протоколам ipv4 и ipv6, между пакетами UDP и TCP нет абсолютно никакой разницы, он обрабатывает их абсолютно одинаково. Разница между пакетами протоколов UDP и TCP имеет значение только в конечных точках маршрутов - у отправителя и получателя. И разница эта заключается только в том, что протокол TCP требует контроля целостности пакета и подтверждения его получения. Более того, протокол TCP - это фактически просто расширение протокола UDP. Потому что все функции TCP можно реализовать с помощью UDP, руками. Говорю вам это в том числе, потому что в своём мессенджере именно так и сделал - руками добавил и контроль целостности, и подтверждение получения. Через UDP.

Забивание же очередей отправки - это всё относится к протоколам ipv4 и ipv6. Т.е. именно так работают все маршрутизаторы. И именно это будет происходить в случае с торрентом, как и в случае обычной связи клиент-сервер. Отправитель (сервер) посылает пакеты с более высокой скоростью, чем получатель(клиент). В какой-то момент времени один из маршрутизаторов цепочки (скорее всего - маршрутизатор провайдера получателя) скажет: "Всё, очередь забита, принимать пока больше не могу". Дальше эффект распространится на всю цепочку маршрутизаторов, пока не дойдёт до ближайшего к отправителю маршрутизатора. Который пошлёт сообщение о невозможности принять очередной пакет машине отправителя (серверу), и та приостановит отправку. Или будет "долбить" маршрутизатор, пока не отправит пакет. Ближайший к себе маршрутизатор, т.е. в случае с торрентами скорее всего - домашний маршрутизатор отправителя. И используется ли при этом UDP или TCP - не играет никакой роли, это разный уровень протоколов.

Теперь касательно NAT, чтобы внести окончательную ясность. Количество уникальных ipv4 и ipv6 адресов конечно (ipv4 - 2^32 адресов, ipv6 - 2^128). ipv4 адресов со временем стало не хватать, причём достаточно давно. Как обходной путь придумали механизм NAT - трансляцию адресов одной подсети в адреса другой подсети. Суть очень проста. Вы ставите маршрутизатор, который разделяет внутреннюю и внешнюю сети. И получаете возможность во внутренней сети использовать не уникальные адреса. Маршрутизатор же при этом имеет один уникальный внешний адрес (не обязательно, подсетей может быть не одна - упрощаю для ясности). А при получении запроса на передачу пакета из внутренней сети во внешнюю делает запись в таблице маршрутизации: пакет с внутреннего ip1:port1 был отправлен наружу с ip2:port2. И при получении ответа от внешнего по отношению к маршрутизатору сервера сличает записи - сервер присылает ответ на ip2:port2. После сличения, если находит соответствие, пересылает пакет во внутреннюю сеть на адрес  ip1:port1. При этом запись в таблице маршрутизации существует ограниченное количество времени - другим пользователям внутренней сети тоже нужно пересылать что-то во внешнюю, а "внешний" ip2 только один. Т.е. количество единовременно поддерживаемых запросов ограничено количеством портов port2 - 2^16 уникальных портов, часть из которых отведена под технические и другие нужды, т.е. обычно для рядовых пользователей недоступна. Лимит времени - в идеале одна минута. Однако в сильно загруженных сетях может быть гораздо меньше - это настраивается на маршрутизаторе.

Не забьётся. Точнее как раз забьётся бесполезно. При скорости получателя, допустим, 100М, легко может забиться и 1Gb, и 10Gb, и сколько угодно, были бы источники.
Надеюсь, всё-таки объяснил. Но если будете упорствовать - то уже не знаю, что остаётся. Пожалуй только порекомендовать воспользоваться поисковиком уже вам  :-D Смотрите по протоколам: какие существуют уровни сетевых протоколов, в чём разница, ipv4 и ipv6, TCP и UDP, чем они отличаются. Всё доступно. Также, надеюсь, ясно, что насчёт торрентов - вы не правы.

Оффлайн asy

  • alt linux team
  • ***
  • Сообщений: 8 104
Вы, видимо, не понимаете, как работают сети.
20 лет ведущий сисадмин в компании операторе Интернет. Не понимаю. И не видел ни разу, как это работает в живою. Да. :-)
"Всё, очередь забита, принимать пока больше не могу". Дальше эффект распространится на всю цепочку маршрутизаторов,
Это - заблуждение. От непонимания того, что у типичного маршрутизатора, как правило, более двух интерфейсов. Он что, не будет больше ни от кого принимать и никуда не слать? Алгоритм flow control (и нет, не для ip, а вовсе для ethernet) работает, если включен, между соседними устройствами. Чтобы это сработало на многогигабитном аплинке, надо забить эти много гигабит (точнее очередь на приём на этом многогигабитном интерфейсе), а не, скажем, 100 мегабит к конечному пользователю.

По этому какой-то нормальный контроль предела всего этого возможен только на уровне клиентов, с tcp за счёт протокола, с udp за счёт клиентского ПО. И все эти DDoS по трафику так и работают. Куча мелких генераторов UDP трафика шлют его жертве, укладывая не только жертву, но и оператора зачастую. А тут пользователь торрента вызывает огонь на себя.
« Последнее редактирование: 20.07.2023 17:27:32 от asy »

Оффлайн ProfessorNavigator

  • Давно тут
  • **
  • Сообщений: 214
20 лет ведущий сисадмин в компании операторе Интернет
А это ни о чём вообще не говорит. 40 лет назад вам любой гастроэнтеролог мог сказать: "Я двадцать лет практикую, и вы мне будете рассказывать, что я не знаю, как лечить язву желудка?" А потом бац, и выясняется что действительно не знают. Потому что раньше считалось, что вызывается она только и исключительно избыточной кислотностью среды желудка (если грубо, на самом деле всё чуть сложнее), а потом вдруг выяснилось, что это вовсе даже инфекционное заболевание (во многих случаях, если не в большинстве). И причиной его служат вполне определённые бактерии, которые в норме так и так у нас внутри живут. Соответственно и лечить всё это нужно совершенно иначе. Вот такая вот история. С тысячами и тысячами зазря порезанных людей - им резекцию желудка делали, вместо того чтобы чуть раньше просто с неделю ложку медицинского спирта утром натощак давать (это я тоже грубо и утрированно, не делайте так, и не занимайтесь самолечением, если вы не врач). Или про лоботомию вам рассказать? Про её приминение для лечения психиатрических расстройств и чем это всё закончилось? Но это всё лирика. Вы понимаете разницу между уровнями протоколов? Очевидно, нет. А это между прочим факт, его не я придумал. И это один из ключевых моментов работы сетей. Значит - вы не понимаете, как работают сети. И это вполне логичный вывод по-моему. И я, если что, немного  ;-D программист, т.е. один из тех, кто для вас, сисадминов, создаёт инструменты. Так что мне наверно виднее? ;-) Впрочем, вы можете сказать, что это тоже не имеет никакого значения. И будете правы. Потому что значение имеет не кто вы или я, а какое утверждение соответствует реальности и насколько. Ваши - не соответствуют. Почему - аргументы я привёл. В ответ ничего вразумительного не услышал. Засим предлагаю дискуссию свернуть, ввиду её полной бессмысленности. Впрочем, если будет что возразить по делу - you are welcome, где и как меня можно найти - знаете.

От непонимания того, что у типичного маршрутизатора, как правило, более двух интерфейсов.
Какое значение имеет количество интерфейсов? Механизм очередей работает везде одинаково, независимо от количества интерфейсов. Протоколы - тоже. Могут быть небольшие вариации у разных производителей, но не принципиальные - иначе бы всё это не работало, как единый механизм.

Алгоритм flow control (и нет, не для ip, а вовсе для ethernet) работает, если включен,
А говорите, что знаете, как работают сети... Это вовсе другой уровень протоколов, "ниже" ipv4 и ipv6. Прочитайте уже наконец хотя бы это. После чего можно продолжать.

Оффлайн asy

  • alt linux team
  • ***
  • Сообщений: 8 104
Алгоритм flow control (и нет, не для ip, а вовсе для ethernet) работает, если включен,
А говорите, что знаете, как работают сети... Это вовсе другой уровень протоколов, "ниже" ipv4 и ipv6. Прочитайте уже наконец хотя бы это. После чего можно продолжать.
Зачем мне обсуждать то, что я вижу на практике, а не в теории? Я действительно не читал и не буду читать ссылки в этой теме. Они может быть и правда, но к данной проблеме отношения имеют ровно ноль. Причин этому может быть много, хотябы отсутствие реализации этих механизмов в ПО конкретных маршрутизаторов.
иначе бы всё это не работало, как единый механизм.
Оно и не работает как единый механизм. Теория и практика - разные штуки.
« Последнее редактирование: 20.07.2023 18:03:58 от asy »

Оффлайн ProfessorNavigator

  • Давно тут
  • **
  • Сообщений: 214
Я действительно не читал и не буду читать ссылки в этой теме.
Ну т.е. "мне всё равно, что вы говорите, я прав, потому что это я". Интересный подход. "Оригинальный" я бы сказал. Вам не кажется это как минимум невежливым по отношению к собеседнику?

Оно и не работает как единый механизм. Теория и практика - разные штуки.
Ну да. Т.е. я вот прямо сейчас не могу зайти на сайт, физически расположенный где-нибудь на сервере в Южной Америке. Потому что каждый маршрутизатор на пути моего запрос работает, как его производителям вздумается. Потому что вы так сказали.

Может хватит уже? Так сложно признать и написать четыре слова: "Я был не прав." Всего то навсего. И ничего в этом нет, кстати. Каждый из нас чего-то не знает и в чём-то ошибается. А вот продолжать упорствовать, причём без разумных аргументов - это как минимум смешно.

Оффлайн asy

  • alt linux team
  • ***
  • Сообщений: 8 104
Я действительно не читал и не буду читать ссылки в этой теме.
Ну т.е. "мне всё равно, что вы говорите, я прав, потому что это я". Интересный подход.
Не потому, что я, а потому, что практика. Вот две картинки, с загрузкой CPU и загрузкой порта. Скачивался один и тот же файл. Сделал наспех, вообще надо будет переделать (это сообщение отредактирую, чтобы лишнее не болталось тут), но это после вторника. Первый пик - это скачиваение alt-kworkstation-10-install-x86_64.iso с ftp, второй - с торрента. Правда 10.1, но размер тот же. Не сложно видеть, что с торрентом задействовано на одно ядро больше, плюс трафика тоже больше вышло (на торренте второй пик тоже туда же, там закачка вставала). С цифрами сделаю потом.
« Последнее редактирование: 21.07.2023 13:17:28 от asy »

Оффлайн asy

  • alt linux team
  • ***
  • Сообщений: 8 104
Оно и не работает как единый механизм. Теория и практика - разные штуки.
Ну да. Т.е. я вот прямо сейчас не могу зайти на сайт, физически расположенный где-нибудь на сервере в Южной Америке. Потому что каждый маршрутизатор на пути моего запрос работает, как его производителям вздумается. Потому что вы так сказали.
Это путаница между базовыми стандартами, которые, действительно работают, и тем, что кому-то хотелось бы, чтобы оно работало. Покажите мене в дампе между рутерами пакеты, соответствующие той теории, на которую Вы пытаетесь ссылаться. Только не в теории на стенде, а чтобы это точно ходило между разными автономными системами.
« Последнее редактирование: 21.07.2023 13:16:27 от asy »

Оффлайн ProfessorNavigator

  • Давно тут
  • **
  • Сообщений: 214
Это путаница между базовыми стандартами, которые, действительно работают, и тем, что кому-то хотелось бы, чтобы оно работало. Покажите мене в дампе между рутерами пакеты, соответствующие той теории, на которую Вы пытаетесь ссылаться. Только не в теории на стенде, а чтобы это точно ходило между разными автономными системами
Я не пойму, вы меня на бесплатную лекцию по принципам работы сетей пытаетесь раскрутить что ли? ;-D Если да, то могли бы сразу так и сказать - мне не жалко, рассказал бы, что знаю. А если кроме шуток, то давайте пойдём другим путём.

Выполняется ли маршрутизаторами Internet Protocol версий 4 и 6? Да/Нет.

Выполняется ли маршрутизаторами Internet Control Message Protocol? Да/Нет.

Существуют ли на маршрутизаторах очереди отправки пакетов? Да/Нет.

Если ответ на все три вопроса - "да", то никакие другие стандарты не нужны. Потому что как происходит передача данных? Отправитель начинает посылать получателю пакеты. По Internet Protocol. Они могут проходить через несколько подсетей, в каждой из которых своя скорость передачи данных. В маршрутизаторах более медленных сетей соответственно будет происходить заполнение очередей отправки. Если очередь заполнена, то маршрутизатор выдаст инициатору отправки соответствующее сообщение по протоколу ICMP. Что в ответ сделает отправляющая сторона - целиком зависит от неё. Однако в большинстве случаев отправляющий маршрутизатор притормозит отправку пакетов (работа того самого шейпера, уже упоминавшегося здесь, если конечно я ничего не путаю). Что в свою очередь вызовет заполнение его очереди и отправку сообщения ICMP дальше по цепочке. И т.д., пока вся эта волна не докатится до машины отправителя. Дальше всё зависит от поведения программы на машине отправителя, которая инициировала отправку - настроил ли программист обработку таких ситуаций или нет, и как настроил. Однако, независимо от настроек, ближайший к отправителю маршрутизатор не примет пакеты, пока его очередь не освободится. Здесь возможны различные варианты создания очередей и работы с ними, на этот счёт есть целые теории, однако база в данном случае - IP и ICMP.

Всё вышеописанное работает как в случае связи клиент-сервер по протоколу TCP, так и в случае с UDP. Потому что оба вышеуказанных протокола работают поверх IP и ICMP. И с точки зрения маршрутизатора нет никакой разницы устанавливаете ли вы соединение по протоколу TCP с сервером, который имеет скорость передачи данных в 10 раз выше скорости вашего приёма, или устанавливаете вы p2p соединение с помощью протокола UDP с 10 сидами торрент-раздачи, скорость передачи каждого из которых равна вашей скорости приёма. Если у вас на маршрутизаторе правильно настроена работа с очередями, то ни в первом, ни во втором случае никаких проблем быть не должно. Если же работа с очередями настроена неправильно, то одинаковые проблемы будут в обоих случаях.

Торрент-протокол же лишь позволяет использовать выделенные вам провайдером возможности на полную мощность, не более того. Благодаря наличию не одного условного сервера, который может иметь свои ограничения по скорости отдачи, а нескольких.

Ограничения, которые накладывают на торренты операторы мобильной связи, не что иное, как следствие недобросовестности и криворукости. Во-первых, количество абонентов. В проводной связи у вас всегда известное количество физических портов, а значит и пиковые нагрузки вполне известны, от них вы, как провайдер и пляшете. На вышку же связи может подключаться сильно разное количество абонентов. А поскольку ставить нормальное оборудование дорого, то мы поставим что подешевле, а абонентам срежем скорость - норму прибыли сокращать нельзя, пусть лучше быдл..., простите, клиенты страдают. И платят. За то, чего не получают: хоть в тарифном плане и стоит "безлимит, скорость N килобит/сек", в реальности такая скорость у вас будет в лучшем случае в середине ночи, когда все спят и никто ничего не качает. А скорее всего заявленной скорости вы не увидите никогда. На всё это ещё накладываются чисто радиотехнические проблемы с частотами и их "забиванием". Как результат "безлимит" превращается в очень даже "лимит", причём сильно отличный даже от теоретически заявленного. Ну и торрент в данном случае совершенно недопустим, поскольку из-за кривых настроек маршрутизаторов забьёт наглухо все очереди в них. Или, что вероятнее, забьёт все порты (имею ввиду порты Internet Protocol), которых ввиду экономии едва-едва хватает на работу браузеров у всех желающих. Правда, блокировка всего этого весьма условная, потому что пускаем закачку торрента через прокси и... всё внезапно работает. Но таким хитрожо...умным уже просто в наглую режут скорость, только и всего.