Нет, просто листинг файлов скрыт от ИИ-ботов для снижения нагрузки. apt-get прекрасно всё видит.
Вы думаете что AI не догадается прикинуться apt-get'ом и распарсить всё исходя из этого? 
Вот человек точно не сможет.
Проблемы решают по мере поступления. Валит торрент оборудование - под нож этот торрент (и я серьёзно), валит индексатор хоть ИИ, хоть Гугля сервер, начинается борьба с индексаторами. Хочется, иногда, пальцы этих недалёких программеров поломать, которые о последствиях своих решений не думают. Ну и пользователям настучать слегка, которые всякую хрень потом используют...