Автор Тема: Youtube-dl. Скорость загрузки. [решено]  (Прочитано 47364 раз)

Оффлайн vzor74

  • Давно тут
  • **
  • Сообщений: 34
Всем здравствуйте!
Задавал вопрос в группе ВКонтакте, но никто не отозвался по существу. Решил повторить здесь.
Почему-то на ALT Linux youtube-dl очень медленно выкачивает аудио в формате mp3, т.е. с параметрами youtube-dl -x --audio-format mp3 загрузка идет со скоростью всего около 50KiB/s. На других дистрибутивах, Manjaro например, та же ссылка качается со скоростью 10MiB/s. С чем это может быть связано?
« Последнее редактирование: 18.08.2018 07:03:39 от Skull »

Оффлайн ∞lan∞

  • Завсегдатай
  • *
  • Сообщений: 328
Re: Youtube-dl. Скорость загрузки.
« Ответ #1 : 08.08.2018 07:16:54 »
-x, --extract-audio     Convert video files to audio-only files (requires ffmpeg or avconv and ffprobe or avprobe)

Преобразование видеофайлов в аудио-файлы (требуется ffmpeg или avconv и ffprobe или avprobe)

Оффлайн vzor74

  • Давно тут
  • **
  • Сообщений: 34
Re: Youtube-dl. Скорость загрузки.
« Ответ #2 : 08.08.2018 07:31:04 »
-x, --extract-audio     Convert video files to audio-only files (requires ffmpeg or avconv and ffprobe or avprobe)

Преобразование видеофайлов в аудио-файлы (требуется ffmpeg или avconv и ffprobe или avprobe)
Это всё есть, иначе ошибку выдает. Может, проблема как раз в ffmpeg, потому что видео-то нормально качается, а при конвертации аудио -- тормоза.

Оффлайн ∞lan∞

  • Завсегдатай
  • *
  • Сообщений: 328
Re: Youtube-dl. Скорость загрузки.
« Ответ #3 : 08.08.2018 08:15:27 »
Это всё есть, иначе ошибку выдает. Может, проблема как раз в ffmpeg, потому что видео-то нормально качается, а при конвертации аудио -- тормоза.
Вы к сизифу подключены?
Почему бы не использовать -F и -f?

Оффлайн ∞lan∞

  • Завсегдатай
  • *
  • Сообщений: 328
Re: Youtube-dl. Скорость загрузки.
« Ответ #4 : 08.08.2018 08:32:49 »
Действительно аудиотреки долго загружаются. Скорость закачки резко падает до 70KiB/s.

Оффлайн Speccyfighter

  • Мастер
  • ***
  • Сообщений: 10 259
Re: Youtube-dl. Скорость загрузки.
« Ответ #5 : 08.08.2018 11:21:23 »
Всем здравствуйте!
Задавал вопрос в группе ВКонтакте, но никто не отозвался по существу. Решил повторить здесь.
Почему-то на ALT Linux youtube-dl очень медленно выкачивает аудио в формате mp3, т.е. с параметрами youtube-dl -x --audio-format mp3 загрузка идет со скоростью всего около 50KiB/s. На других дистрибутивах, Manjaro например, та же ссылка качается со скоростью 10MiB/s. С чем это может быть связано?

Полагаю что с этим:
https://github.com/rg3/youtube-dl/issues/355
Цитировать
rg3 commented on 4 Jun 2012

Это связано с тем, что YouTube ограничивает скорость загрузки на стороне сервера
приблизительно соответствуют потребностям потокового видео.

Оффлайн Speccyfighter

  • Мастер
  • ***
  • Сообщений: 10 259
Re: Youtube-dl. Скорость загрузки.
« Ответ #6 : 08.08.2018 11:22:42 »
Почему бы не использовать -F и -f?

Ему mp3 нужен :-)

Оффлайн Speccyfighter

  • Мастер
  • ***
  • Сообщений: 10 259
Re: Youtube-dl. Скорость загрузки.
« Ответ #7 : 08.08.2018 11:23:24 »
Действительно аудиотреки долго загружаются. Скорость закачки резко падает до 70KiB/s.

И даже до 60-ти.

Оффлайн Speccyfighter

  • Мастер
  • ***
  • Сообщений: 10 259
Re: Youtube-dl. Скорость загрузки.
« Ответ #8 : 08.08.2018 11:41:38 »
Народ, вы не поверите, но mp3 можно получить вчетверо быстрее:
$ echo '76.29/18.48' | bc -l
4.12824675324675324675

Подсказку дал штатовский инет:

Старая команда топикстартера
Спойлер
$ time -f %e youtube-dl -v -x --audio-format mp3 https://www.youtube.com/watch?v=SUZFLKb0rsw
[debug] System config: []
[debug] User config: []
[debug] Custom config: []
[debug] Command-line args: ['-v', '-x', '--audio-format', 'mp3', 'https://www.youtube.com/watch?v=SUZFLKb0rsw']
[debug] Encodings: locale UTF-8, fs utf-8, out UTF-8, pref UTF-8
[debug] youtube-dl version 2017.12.23
[debug] Python version 3.5.4 - Linux-4.4.97-std-pae-alt0.M80P.1-i686-with-fedora-ALT-Linux
[debug] exe versions: avconv 11.6-alt1, avprobe 11.6-alt1
[debug] Proxy map: {}
[youtube] SUZFLKb0rsw: Downloading webpage
[youtube] SUZFLKb0rsw: Downloading video info webpage
[youtube] SUZFLKb0rsw: Extracting video information
[youtube] {22} signature length 43.42, html5 player vflJSc09H
[youtube] {43} signature length 43.42, html5 player vflJSc09H
[youtube] {18} signature length 43.42, html5 player vflJSc09H
[youtube] {36} signature length 43.42, html5 player vflJSc09H
[youtube] {17} signature length 43.42, html5 player vflJSc09H
[youtube] {137} signature length 43.42, html5 player vflJSc09H
[youtube] {248} signature length 43.42, html5 player vflJSc09H
[youtube] {136} signature length 43.42, html5 player vflJSc09H
[youtube] {247} signature length 43.42, html5 player vflJSc09H
[youtube] {135} signature length 43.42, html5 player vflJSc09H
[youtube] {244} signature length 43.42, html5 player vflJSc09H
[youtube] {134} signature length 43.42, html5 player vflJSc09H
[youtube] {243} signature length 43.42, html5 player vflJSc09H
[youtube] {133} signature length 43.42, html5 player vflJSc09H
[youtube] {242} signature length 43.42, html5 player vflJSc09H
[youtube] {160} signature length 43.42, html5 player vflJSc09H
[youtube] {278} signature length 43.42, html5 player vflJSc09H
[youtube] {140} signature length 43.42, html5 player vflJSc09H
[youtube] {171} signature length 43.42, html5 player vflJSc09H
[youtube] {249} signature length 43.42, html5 player vflJSc09H
[youtube] {250} signature length 43.42, html5 player vflJSc09H
[youtube] {251} signature length 43.42, html5 player vflJSc09H
[debug] Invoking downloader on 'https://r8---sn-cxauxaxjvh-hn9ee.googlevideo.com/videoplayback?gir=yes&mn=sn-cxauxaxjvh-hn9ee%2Csn-4g5ednz7&clen=3985352&ms=au%2Conr&ei=WqlqW7a3E5KbgQfY6KrAAg&mv=m&mt=1533716747&requiressl=yes&mime=audio%2Fwebm&pl=19&itag=251&keepalive=yes&c=WEB&ipbits=0&sparams=clen%2Cdur%2Cei%2Cgir%2Cid%2Cinitcwndbps%2Cip%2Cipbits%2Citag%2Ckeepalive%2Clmt%2Cmime%2Cmm%2Cmn%2Cms%2Cmv%2Cpl%2Crequiressl%2Csource%2Cexpire&mm=31%2C26&expire=1533738426&dur=249.941&lmt=1527931234818462&key=yt6&ip=37.212.23.117&fvip=2&initcwndbps=662500&source=youtube&id=o-AGF7sTHT2szb7wcN7A3ECRhoqL3SOLN63BtVpKWnr9Y_&signature=63AD226639B0DCD142FF4FC55ED27D567578733D.4F2B5008CA16F9D0798AEB4137421F27DCA0D3EE&ratebypass=yes'
[download] Destination: Trying Not To Love You - Nickelback - Lyrics-SUZFLKb0rsw.webm
[download] 100% of 3.80MiB in 01:03
[debug] avconv command line: avprobe -show_streams 'file:Trying Not To Love You - Nickelback - Lyrics-SUZFLKb0rsw.webm'
[ffmpeg] Destination: Trying Not To Love You - Nickelback - Lyrics-SUZFLKb0rsw.mp3
[debug] ffmpeg command line: avconv -y -i 'file:Trying Not To Love You - Nickelback - Lyrics-SUZFLKb0rsw.webm' -vn -acodec libmp3lame -q:a 5 'file:Trying Not To Love You - Nickelback - Lyrics-SUZFLKb0rsw.mp3'
Deleting original file Trying Not To Love You - Nickelback - Lyrics-SUZFLKb0rsw.webm (pass -k to keep)
76.29
$ mediainfo Trying\ Not\ To\ Love\ You\ -\ Nickelback\ -\ Lyrics-SUZFLKb0rsw.mp3
General
Complete name                            : Trying Not To Love You - Nickelback - Lyrics-SUZFLKb0rsw.mp3
Format                                   : MPEG Audio
File size                                : 3.65 MiB
Duration                                 : 4 min 9 s
Overall bit rate mode                    : Variable
Overall bit rate                         : 123 kb/s
Writing library                          : Lavf56.1.0

Audio
Format                                   : MPEG Audio
Format version                           : Version 1
Format profile                           : Layer 3
Format settings                          : Joint stereo
Mode                                     : Joint stereo
Duration                                 : 4 min 9 s
Bit rate mode                            : Variable
Bit rate                                 : 123 kb/s
Channel(s)                               : 2 channels
Sampling rate                            : 48.0 kHz
Compression mode                         : Lossy
Stream size                              : 3.65 MiB (100%)

Новая команда
Спойлер
$ rm -f Trying\ Not\ To\ Love\ You\ -\ Nickelback\ -\ Lyrics-SUZFLKb0rsw.mp3
$ time -f %e youtube-dl -v --format best -x --audio-format mp3 https://www.youtube.com/watch?v=SUZFLKb0rsw > yt.log.txt
[debug] System config: []
[debug] User config: []
[debug] Custom config: []
[debug] Command-line args: ['-v', '--format', 'best', '-x', '--audio-format', 'mp3', 'https://www.youtube.com/watch?v=SUZFLKb0rsw']
[debug] Encodings: locale UTF-8, fs utf-8, out UTF-8, pref UTF-8
[debug] youtube-dl version 2017.12.23
[debug] Python version 3.5.4 - Linux-4.4.97-std-pae-alt0.M80P.1-i686-with-fedora-ALT-Linux
[debug] exe versions: avconv 11.6-alt1, avprobe 11.6-alt1
[debug] Proxy map: {}
18.48
$ cat yt.log.txt
[youtube] SUZFLKb0rsw: Downloading webpage
[youtube] SUZFLKb0rsw: Downloading video info webpage
[youtube] SUZFLKb0rsw: Extracting video information
[youtube] {22} signature length 43.42, html5 player vflJSc09H
[youtube] {43} signature length 43.42, html5 player vflJSc09H
[youtube] {18} signature length 43.42, html5 player vflJSc09H
[youtube] {36} signature length 43.42, html5 player vflJSc09H
[youtube] {17} signature length 43.42, html5 player vflJSc09H
[youtube] {137} signature length 43.42, html5 player vflJSc09H
[youtube] {248} signature length 43.42, html5 player vflJSc09H
[youtube] {136} signature length 43.42, html5 player vflJSc09H
[youtube] {247} signature length 43.42, html5 player vflJSc09H
[youtube] {135} signature length 43.42, html5 player vflJSc09H
[youtube] {244} signature length 43.42, html5 player vflJSc09H
[youtube] {134} signature length 43.42, html5 player vflJSc09H
[youtube] {243} signature length 43.42, html5 player vflJSc09H
[youtube] {133} signature length 43.42, html5 player vflJSc09H
[youtube] {242} signature length 43.42, html5 player vflJSc09H
[youtube] {160} signature length 43.42, html5 player vflJSc09H
[youtube] {278} signature length 43.42, html5 player vflJSc09H
[youtube] {140} signature length 43.42, html5 player vflJSc09H
[youtube] {171} signature length 43.42, html5 player vflJSc09H
[youtube] {249} signature length 43.42, html5 player vflJSc09H
[youtube] {250} signature length 43.42, html5 player vflJSc09H
[youtube] {251} signature length 43.42, html5 player vflJSc09H
[debug] Invoking downloader on 'https://r8---sn-cxauxaxjvh-hn9ee.googlevideo.com/videoplayback?requiressl=yes&ip=37.212.23.117&ratebypass=yes&mv=m&source=youtube&ms=au%2Conr&mn=sn-cxauxaxjvh-hn9ee%2Csn-4g5ednz7&mm=31%2C26&pl=19&mime=video%2Fmp4&id=o-AEMYFyTPw0dm7o6uDJEUOST49VC1GtfNTMW1ApV3YbEh&sparams=dur%2Cei%2Cid%2Cinitcwndbps%2Cip%2Cipbits%2Citag%2Clmt%2Cmime%2Cmm%2Cmn%2Cms%2Cmv%2Cpl%2Cratebypass%2Crequiressl%2Csource%2Cexpire&itag=22&lmt=1527930348720706&key=yt6&expire=1533737180&beids=%5B9466592%5D&mt=1533715509&fvip=2&dur=249.962&initcwndbps=676250&c=WEB&ipbits=0&ei=e6RqW-H6N4u11gKnpKfIBw&signature=39CCAA8B06F397AFD79B975329F0AD29B0FD4BDF.69BBF1B62365527B7423C0656EDF63F574AED0FA'
[download] Destination: Trying Not To Love You - Nickelback - Lyrics-SUZFLKb0rsw.mp4
[download] 100% of 27.72MiB in 00:08
[debug] avconv command line: avprobe -show_streams 'file:Trying Not To Love You - Nickelback - Lyrics-SUZFLKb0rsw.mp4'
[ffmpeg] Destination: Trying Not To Love You - Nickelback - Lyrics-SUZFLKb0rsw.mp3
[debug] ffmpeg command line: avconv -y -i 'file:Trying Not To Love You - Nickelback - Lyrics-SUZFLKb0rsw.mp4' -vn -acodec libmp3lame -q:a 5 'file:Trying Not To Love You - Nickelback - Lyrics-SUZFLKb0rsw.mp3'
Deleting original file Trying Not To Love You - Nickelback - Lyrics-SUZFLKb0rsw.mp4 (pass -k to keep)
$ mediainfo Trying\ Not\ To\ Love\ You\ -\ Nickelback\ -\ Lyrics-SUZFLKb0rsw.mp3
General
Complete name                            : Trying Not To Love You - Nickelback - Lyrics-SUZFLKb0rsw.mp3
Format                                   : MPEG Audio
File size                                : 3.51 MiB
Duration                                 : 4 min 9 s
Overall bit rate mode                    : Variable
Overall bit rate                         : 118 kb/s
Encoded date                             : UTC 2018-06- 2 09:05:32
Writing library                          : Lavf56.1.0
major_brand                              : mp42
minor_version                            : 0
compatible_brands                        : isommp42

Audio
Format                                   : MPEG Audio
Format version                           : Version 1
Format profile                           : Layer 3
Format settings                          : Joint stereo
Mode                                     : Joint stereo
Duration                                 : 4 min 9 s
Bit rate mode                            : Variable
Bit rate                                 : 118 kb/s
Channel(s)                               : 2 channels
Sampling rate                            : 44.1 kHz
Compression mode                         : Lossy
Stream size                              : 3.51 MiB (100%)
$ mplayer -softvol -nocache Trying\ Not\ To\ Love\ You\ -\ Nickelback\ -\ Lyrics-SUZFLKb0rsw.mp3
MPlayer 1.1-5.3.1 (C) 2000-2012 MPlayer Team
192 audio & 401 video codecs

Playing Trying Not To Love You - Nickelback - Lyrics-SUZFLKb0rsw.mp3.
libavformat version 54.6.100 (internal)
Audio only file format detected.
Load subtitles in ./
==========================================================================
Opening audio decoder: [mpg123] MPEG 1.0/2.0/2.5 layers I, II, III
AUDIO: 44100 Hz, 2 ch, s16le, 32.0 kbit/2.27% (ratio: 4000->176400)
Selected audio codec: [mpg123] afm: mpg123 (MPEG 1.0/2.0/2.5 layers I, II, III)
==========================================================================
AO: [alsa] 48000Hz 2ch s16le (2 bytes per sample)
Video: no video
Starting playback...
A:  26.9 (26.9) of 259.0 (04:19.0)  1.1%


MPlayer interrupted by signal 2 in module: play_audio
A:  27.0 (26.9) of 259.0 (04:19.0)  1.1%

Exiting... (Quit)

А в чём фишка? Фишка в том, что последней командой качаем не webm, а mp4.
« Последнее редактирование: 08.08.2018 11:51:35 от Speccyfighter »

Оффлайн ∞lan∞

  • Завсегдатай
  • *
  • Сообщений: 328
Re: Youtube-dl. Скорость загрузки.
« Ответ #9 : 08.08.2018 11:46:48 »
Почему бы не использовать -F и -f?

Ему mp3 нужен :-)
Я в курсе. Про конвертацию можно и догадаться.

Оффлайн Speccyfighter

  • Мастер
  • ***
  • Сообщений: 10 259
Re: Youtube-dl. Скорость загрузки.
« Ответ #10 : 08.08.2018 11:55:11 »
Почему бы не использовать -F и -f?

Ему mp3 нужен :-)
Я в курсе. Про конвертацию можно и догадаться.

Нафига этот секс? :-)
Моя команда вытягивает mp3 из 4-рёхминутного ролика за ~19 секунд в один заход.

Оффлайн vzor74

  • Давно тут
  • **
  • Сообщений: 34
Re: Youtube-dl. Скорость загрузки.
« Ответ #11 : 08.08.2018 11:59:47 »
Вы к сизифу подключены?
Нет. У меня Альт Рабочая станция К 8.2

Это связано с тем, что YouTube ограничивает скорость загрузки на стороне сервера
приблизительно соответствуют потребностям потокового видео.
Чем ALT Linux неугодил Youtube? На других дистрибутивах такой проблемы нет.

Оффлайн ∞lan∞

  • Завсегдатай
  • *
  • Сообщений: 328
Re: Youtube-dl. Скорость загрузки.
« Ответ #12 : 08.08.2018 12:01:59 »
Почему бы не использовать -F и -f?

Ему mp3 нужен :-)
Я в курсе. Про конвертацию можно и догадаться.

Нафига этот секс? :-)
Моя команда вытягивает mp3 из 4-рёхминутного ролика за ~19 секунд в один заход.
youtube-dl --format best -x --audio-format mp3 https://www.youtube.com/

Оффлайн ∞lan∞

  • Завсегдатай
  • *
  • Сообщений: 328
Re: Youtube-dl. Скорость загрузки.
« Ответ #13 : 08.08.2018 12:04:07 »
На других дистрибутивах такой проблемы нет.
У меня еще есть генту. Тоже самое.

Оффлайн Speccyfighter

  • Мастер
  • ***
  • Сообщений: 10 259
Re: Youtube-dl. Скорость загрузки.
« Ответ #14 : 08.08.2018 12:10:33 »
Почему бы не использовать -F и -f?

Ему mp3 нужен :-)
Я в курсе. Про конвертацию можно и догадаться.

Нафига этот секс? :-)
Моя команда вытягивает mp3 из 4-рёхминутного ролика за ~19 секунд в один заход.
youtube-dl --format best -x --audio-format mp3 https://www.youtube.com/

youtube-dl -v --format best -x --audio-format mp3 https://www.youtube.com/watch?v=SUZFLKb0rsw
Цитировать
youtube-dl -v --format bestaudio <url>
Downloads at 100 KiB/s
and
youtube-dl -v --format best <url>
Downloads at 10-20 MiB/s

that can't be client side...
that's a youtube/youtube-dl problem

Разница в скорости отдачи потока сервером. Сервер отдаёт поток со скоростью достаточной для воспроизведения потока, а стало быть видео отдаётся быстрее:
При 10-ти мегабитах на скачивание, 8 секунд уходит на загрузку видео (4.09 мин; видео, сервер тубы отдаёт быстрее чем аудио), остальные 10 с сотыми уходит на подготовку и конвертацию. Всего 18 с гаком секунд.
« Последнее редактирование: 08.08.2018 12:39:25 от Speccyfighter »