Как скачать с сайта derpibooru.org все картинки по определенным тэгам
Добрый день.
Я хочу рассказать, как можно разом поставить на закачку сразу все картинки относящиеся к определенным категориям на сайте derpibooru.org.
Ниже будет инструкция, надеюсь это актуально, не баян, и будет кому-то интересно.
Пример использования
Например, мне захотелось иметь на жестком диске все работы автора известного под ником tsitra360. На DA его старый профиль заблокирован. На тумблере он выкладывает только новые и в разнобой.
Но как выяснилось (спасибо товарищу wizallion ), все эти работы люди старательно выкладывают на derpibooru.org в максимально доступном качестве, старательно помечая авторство. Таким образом, поиск на сайте по категории "artist:tsitra360" выдавал 24 страницы с 350ю искомыми картинками. Осталось только вручную загрузить в максимальном качестве каждую из этих картинок и вручную же сохранить каждую на жестком диске. Что делать мне было решительно лень. Я решил поискать, решал ли кто-то до меня аналогичные задачи более оптимальным способом. И вот что нашел.
Спойлер
Здесь гитхаб с программой, где можно искать свежие версии.
Там же ссылка на достаточно подробный ридми.
А это тема, где я и нашел обсуждение данной программы.
Без особых проблем мне удалось это скачать и настроить, чем и хочу поделиться.
Ну и дальше уже должна начаться закачка.
Сначала пойдет сканирование картинок с разбиением на страницы, аналогичным старницам в результате поиска на сайте.
Спойлер
А после и собственно сама загрузка:
Спойлер
Здесь строчка «Now working on submission 9 of 357» означает прогресс загрузки — девятый файл из 357и.
Загруженные файлы будут лежать разбитые по папкам в подпапке download в папке с программой.
Все картинки загружаются в максимально доступном для каждой разрешение.
P.S. На аналогичную тему про DeviantArt Если у кого-нибудь есть 100% стабильно работающий способ качать с DeviantArt все картинки из конкретной галереи разом, буду благодарен за описание. Сам я пробовал пару программ предназначенных для этой цели, но ни одна не качала корректно. В результате остановился на способе с выгрузкой списка ссылок на все картинки из галерии с помощью js скрипта для Chrome и последующего пакетного добавления в менеджер закачек. Подобный способ по крайней мере позволяет осуществлять оперативное вмешательство, когда вместо картинок по этим ссылкам начинают качаться заглушки в 300 байт. Или может с этой 300 байтовой проблемой может кто помочь?
Ну и если ничего более универсального по этой теме нет и кому-то интересны мои манипулиции, могу описать их в отдельном посте.
Я хочу рассказать, как можно разом поставить на закачку сразу все картинки относящиеся к определенным категориям на сайте derpibooru.org.
Ниже будет инструкция, надеюсь это актуально, не баян, и будет кому-то интересно.
Пример использования
Например, мне захотелось иметь на жестком диске все работы автора известного под ником tsitra360. На DA его старый профиль заблокирован. На тумблере он выкладывает только новые и в разнобой.Но как выяснилось (спасибо товарищу wizallion ), все эти работы люди старательно выкладывают на derpibooru.org в максимально доступном качестве, старательно помечая авторство. Таким образом, поиск на сайте по категории "artist:tsitra360" выдавал 24 страницы с 350ю искомыми картинками. Осталось только вручную загрузить в максимальном качестве каждую из этих картинок и вручную же сохранить каждую на жестком диске. Что делать мне было решительно лень. Я решил поискать, решал ли кто-то до меня аналогичные задачи более оптимальным способом. И вот что нашел.
Спойлер
Derpibooru Downloader
Выяснилось, что товарищ под ником misspelledletter для как раз таких целей уже написал скрипт на питоне и даже .exe обертку к нему.Здесь гитхаб с программой, где можно искать свежие версии.
Там же ссылка на достаточно подробный ридми.
А это тема, где я и нашел обсуждение данной программы.
Без особых проблем мне удалось это скачать и настроить, чем и хочу поделиться.
Итак, что нужно сделать:
- Качаем архив c программой для Windows https://github.com/woodenphone/Derpibooru-dl/releases/download/derpibooru_dl-2014-11-4/derpibooru_dl-2014-11-4.zip
- Извлекаем архив, в появившейся папке запускаем файл derpibooru_dl-2014-11-4.exe для того, чтобы при первом запуске создались файлы конфиурации. Консольное окошко закрываем
- Далее нужно получить API key от сайта derpibooru.org. Для этого логинимся на сайте (регистрация там очень простая) и проходим по ссылке https://derpibooru.org/users/edit. На этой странице второй абзац сверху называется "API Key" и в тексте под ним жирным выделен тот самый ключ. Копируем его. Идем в папку config, открываем в блокноте файл derpibooru_dl_config.cfg и в нем после «api_key = » вместо «Replace_this_with_your_API_key» вставляем скопированный ключ.
- В той же папке config открываем файл derpibooru_dl_tag_list.txt. В этот файл нужно задавать тэги, по которым должен осуществляться поиск. Для меня это было «artist:tsitra360» и в моём случае этот файл выглядел так:
Спойлер
Подробнее про задание параметров поискаВо-первых, тэгов для поиска можно задавать несколько, каждый новый в отдельную строчку.
Вообще, автор пишет, что «в принципе» можно использовать любой синтаксис поисковых запросов, который поддерживает derpibooru.org. Сам этот синтаксис описан тут https://derpibooru.org/search/syntax.
Ниже пример заполнения файла derpibooru_dl_tag_list.txt:
Tag1
tag_2
tag+3
T4g 4
tag-five || tag-six
- Запускаем снова derpibooru_dl-2014-11-4.exe. Не обращаем внимания на ошибки и сообщения о сомнительности API ключа. Должно появиться окшко примерно такого содержания:
Спойлер
Вводим цифру 5 и ждем Enter.
Ну и дальше уже должна начаться закачка.
Сначала пойдет сканирование картинок с разбиением на страницы, аналогичным старницам в результате поиска на сайте.
Спойлер
А после и собственно сама загрузка:
Спойлер
Здесь строчка «Now working on submission 9 of 357» означает прогресс загрузки — девятый файл из 357и.
Загруженные файлы будут лежать разбитые по папкам в подпапке download в папке с программой.
Все картинки загружаются в максимально доступном для каждой разрешение.
P.S. На аналогичную тему про DeviantArt Если у кого-нибудь есть 100% стабильно работающий способ качать с DeviantArt все картинки из конкретной галереи разом, буду благодарен за описание. Сам я пробовал пару программ предназначенных для этой цели, но ни одна не качала корректно. В результате остановился на способе с выгрузкой списка ссылок на все картинки из галерии с помощью js скрипта для Chrome и последующего пакетного добавления в менеджер закачек. Подобный способ по крайней мере позволяет осуществлять оперативное вмешательство, когда вместо картинок по этим ссылкам начинают качаться заглушки в 300 байт. Или может с этой 300 байтовой проблемой может кто помочь?
Ну и если ничего более универсального по этой теме нет и кому-то интересны мои манипулиции, могу описать их в отдельном посте.
23 комментария
В скрипт подкрути sleep и цикл while. За ночь выкачает
1. Мог бы сделать перевод конфига
2. Мог бы вместо спойлера прочитать FAQ
3. Мог бы перевести derpibooru.org/search/syntax
2. Речь о том чтобы спрятать всё под кат? Так и говори. Терпеть не могу, когда дают туманные ссылки на FAQ, не говоря что конкретно не так. К тому же, и сам FAQ далеко не такой уж содержательный и подробный, чтобы считать его универсальной библией. Это в первую очередь имеет смысл, когда в посте куча больших картинок. Здесь же картинки маленькие, специально пожатые в jpg, ибо для их роли этого достаточно. При этом, если ставить ссылку под кат, то с учетом специфичности поста вероятность того, что человек листающий ленту заглянет на отдельную ссылку крайне мала. А тут спойлер, который всегда удобно развернуть и свернуть и при этом под ним совсем немного траффика.
3. См п. 1.
В любом случае спасибо за хоть какой-нибудь коммент.
Нет файла с названием «derpibooru_dl_tag_list.txt»(
P.S. Скачал последнюю версию.
это делал? файлы конфигурации создаются после первого запуска
А на каком моменте закрывать консольное окно? Через некоторое время (если не закрывать самостоятельно) оно закрывается автоматически и всё равно не создаёт «derpibooru_dl_tag_list.txt». И ещё: почему в окне появляется какая то абракадабра из рускких и европейских букв?
Только 2 файла — «derpibooru_dl_config.cfg» и «deleted_submissions.txt» присутствуют в папке config.
ссылка на dropbox
ERROR — API key contains invalid characters.
DEBUG — Invalid characters found: set(['_'])
Мб кто-то до сих пор использует эту прогу? Или у кого-то есть современный аналог?