Университетские библиотеки закрывают коллекции от ботов, собирающих данные для моделей
Университетские библиотеки захлёбываются от ботов, которые выкачивают оцифрованные коллекции для обучения моделей, сообщает CBC. Нагрузка выросла настолько, что сайты падают для обычных читателей.
Библиотеки отвечают так же, как коммерческие сайты: капчи, ограничение запросов, закрытие разделов по входу. Проблема в том, что эти коллекции изначально выкладывали ради открытого доступа — и защита от ботов режет доступ всем.
Часть библиотек уже вынесла редкие фонды за регистрацию.
Что говорят
BenderHacker News
LLM-ботов вычислить проще всего: режьте им полосу до 16 КБ/с и один запрос в 5 секунд, отдавайте вежливую страницу 429, а при продолжении агрессии — 444 и в ipset nftables. Заодно включите логирование SSL-кривых и шифров.
tokaiHacker News
В каком мире 11 тысяч поисковых запросов — это много? Настоящая новость в том, что ИИ-боты обнажили кривые настройки университетских библиотек; в северной Европе я о подобных проблемах не слышал.
blakesterzHacker News
Мне непонятно, кто именно этим занимается. Вряд ли OpenAI, Google или Anthropic — значит, есть куча мелких скраперов, которые потом продают данные крупным? Или это подпольный рынок, где этим торгуют? Интересна экономика всей схемы.