Создание архива поней с фикбука
Произошедший недавно роскомнадзор с фикбуком натолкнул на мысль, что может стоит устроить проект по типу fimfarchive, только для фикбука. Хотя-бы для всех фанфиков по поням.
У меня когда-то давно была похожая попытка, но я тогда скачивал всё без разбора, в том числе многие мусорные страницы. В этот раз я предлагаю скачивать по минимуму, т.е. текст фанфика и метаданные.
Раньше всё было проще т.к. у всех фанфикам выдавался постоянно возрастающий номер, а теперь что-то непонятное. Если кто готов помочь, прошу откликнутся.
У меня когда-то давно была похожая попытка, но я тогда скачивал всё без разбора, в том числе многие мусорные страницы. В этот раз я предлагаю скачивать по минимуму, т.е. текст фанфика и метаданные.
Раньше всё было проще т.к. у всех фанфикам выдавался постоянно возрастающий номер, а теперь что-то непонятное. Если кто готов помочь, прошу откликнутся.
39 комментариев
А какая-то конкретика/код/серверные мощности на руках есть или только идея «давайте сделаем хорошо»?
>ворд
Сейчас жирный сервер используются для поиска по архиву фимфика pinkone.ltgc.cc
Хотя это можно не делать, если сначала скачать все страницы поиска и конкатенировать их.
Скачивать буду скорее всего fb2 и epub.
Может стоит создать чат в матриксе/телеге/дискорде на эту тему?
Насчет чата — честно, не знаю.
— Как мы можем о нём знать, если ты про него не говоришь? Ох уж эти клони…
Там есть плашкаА в «Функционал Фикбука и… немного больше / 18. Улучшенный аккаунт (УА)» написано о лимите в 100 фанфиков в день против 10. Не знаю, премиум-аккаунт ли это, и насколько эта информация актуальна. Но если всё так, то создавать новые аккаунты может потребоваться в любом случае.
А вот если просто скачивать тексты и конвертировать их в epub/fb2, то это будет то же самое, чем занимается сам Фикбук (сомневаюсь, что авторы заливают свои тексты во всех форматах сразу). Плохо ли это?
Просто, если будет много запросов уже на скачивание текстов без аккаунта, то админам придётся ограничивать доступ здесь, но это уже труднее, потому что в крайнем случае придётся вообще закрыть ко всему доступ без регистрации и делать параноидальные фильтры по IP. Лично я за (за эти сложности для админов). Ибо нефиг (пользователи захотели скачать всё не просто так).
P.S. Я сейчас открывал Фикбук из-под Tor. (Без Tor просто не открылся.)
Фикбуку всё равно, что генерировать html или fb2. Это не плохо, это тяжело.
УА, если получится сделать, поможет сократить трудозатраты до 144 аккаунт-дней.
Вот это, собственно, одна из тех вещей, которые мне не нравятся в Фикбуке. И, к тому же, многие серьёзно хотят возможности запретить скачивание своих работ.
Я не могу сказать, что знаю способ, как это обойти. Впрочем, могу посоветовать обратиться к разработчикам сторонних клиентов, поскольку они могли когда-то найти решение этой проблемы и поделиться им.
Всё равно надеюсь, что у здешних хомяков сохранились и аниматики, и остальная куча всего