+7422.06
голосов: 453
29925.69
Сила

Проксимон :^)

Как скачать с сайта derpibooru.org все картинки по определенным тэгам

+89
в блоге IT Pony!
Добрый день.
Я хочу рассказать, как можно разом поставить на закачку сразу все картинки относящиеся к определенным категориям на сайте derpibooru.org.

Ниже будет инструкция, надеюсь это актуально, не баян, и будет кому-то интересно.

Пример использования
Например, мне захотелось иметь на жестком диске все работы автора известного под ником tsitra360. На DA его старый профиль заблокирован. На тумблере он выкладывает только новые и в разнобой.
Но как выяснилось (спасибо товарищу wizallion ), все эти работы люди старательно выкладывают на derpibooru.org в максимально доступном качестве, старательно помечая авторство. Таким образом, поиск на сайте по категории "artist:tsitra360" выдавал 24 страницы с 350ю искомыми картинками. Осталось только вручную загрузить в максимальном качестве каждую из этих картинок и вручную же сохранить каждую на жестком диске. Что делать мне было решительно лень. Я решил поискать, решал ли кто-то до меня аналогичные задачи более оптимальным способом. И вот что нашел.

Спойлер
Derpibooru Downloader
Выяснилось, что товарищ под ником misspelledletter для как раз таких целей уже написал скрипт на питоне и даже .exe обертку к нему.
Здесь гитхаб с программой, где можно искать свежие версии.
Там же ссылка на достаточно подробный ридми.
А это тема, где я и нашел обсуждение данной программы.
Без особых проблем мне удалось это скачать и настроить, чем и хочу поделиться.

Итак, что нужно сделать:
  1. Качаем архив c программой для Windows https://github.com/woodenphone/Derpibooru-dl/releases/download/derpibooru_dl-2014-11-4/derpibooru_dl-2014-11-4.zip

  2. Извлекаем архив, в появившейся папке запускаем файл derpibooru_dl-2014-11-4.exe для того, чтобы при первом запуске создались файлы конфиурации. Консольное окошко закрываем

  3. Далее нужно получить API key от сайта derpibooru.org. Для этого логинимся на сайте (регистрация там очень простая) и проходим по ссылке https://derpibooru.org/users/edit. На этой странице второй абзац сверху называется "API Key" и в тексте под ним жирным выделен тот самый ключ. Копируем его. Идем в папку config, открываем в блокноте файл derpibooru_dl_config.cfg и в нем после «api_key = » вместо «Replace_this_with_your_API_key» вставляем скопированный ключ.

  4. В той же папке config открываем файл derpibooru_dl_tag_list.txt. В этот файл нужно задавать тэги, по которым должен осуществляться поиск. Для меня это было «artist:tsitra360» и в моём случае этот файл выглядел так:
    Спойлер
    Подробнее про задание параметров поискаВо-первых, тэгов для поиска можно задавать несколько, каждый новый в отдельную строчку.
    Вообще, автор пишет, что «в принципе» можно использовать любой синтаксис поисковых запросов, который поддерживает derpibooru.org. Сам этот синтаксис описан тут https://derpibooru.org/search/syntax.
    Ниже пример заполнения файла derpibooru_dl_tag_list.txt:
    Tag1
    tag_2
    tag+3
    T4g 4
    tag-five || tag-six



  5. Запускаем снова derpibooru_dl-2014-11-4.exe. Не обращаем внимания на ошибки и сообщения о сомнительности API ключа. Должно появиться окшко примерно такого содержания:
    Спойлер
    Вводим цифру 5 и ждем Enter.

Ну и дальше уже должна начаться закачка.
Сначала пойдет сканирование картинок с разбиением на страницы, аналогичным старницам в результате поиска на сайте.
Спойлер
А после и собственно сама загрузка:
Спойлер
Здесь строчка «Now working on submission 9 of 357» означает прогресс загрузки — девятый файл из 357и.

Загруженные файлы будут лежать разбитые по папкам в подпапке download в папке с программой.
Все картинки загружаются в максимально доступном для каждой разрешение.


P.S. На аналогичную тему про DeviantArt Если у кого-нибудь есть 100% стабильно работающий способ качать с DeviantArt все картинки из конкретной галереи разом, буду благодарен за описание. Сам я пробовал пару программ предназначенных для этой цели, но ни одна не качала корректно. В результате остановился на способе с выгрузкой списка ссылок на все картинки из галерии с помощью js скрипта для Chrome и последующего пакетного добавления в менеджер закачек. Подобный способ по крайней мере позволяет осуществлять оперативное вмешательство, когда вместо картинок по этим ссылкам начинают качаться заглушки в 300 байт. Или может с этой 300 байтовой проблемой может кто помочь?
Ну и если ничего более универсального по этой теме нет и кому-то интересны мои манипулиции, могу описать их в отдельном посте.

Судьба Любой Ценой! Глава первая.

+24
в блоге Не пони
Сделал комикс по своей Вселенной, конечно рисую туго, реплики сильно простые, буду дорабатывать, сюжет дальше будет лучше. Надеюсь вам понравиться:
История происходит в трех временах: 2007, 2015, 2030.
Сможет ли главный герой спасти свое время, какой ценой?
Обложка
Кадр 1
Кадр 2
Кадр 3
Кадр 4
Кадр 5
Кадр 6
Кадр 7
Кадр 8
Кадр 9
Кадр 10
Кадр 11

Хума-Скуталу с кривыми крыльями.

Моя Скуталу в векторе. Чую, что-то сильно не так с крыльями, да и в остальных местах недоработки вроде есть — а что именно?
Скуталуша