Discord attachments CDN changes (Midjourney)

[elpresidente*]

Похоже что Discord начал рубить линки на их CDN

discord.png (98.76 КБ) 1244 просмотра

Плагин конечно сегодня поправлю чтобы он показывал временный линк но это лишь временное решение.

Дальше три варианта:

1. Сохранять картинки как phpBB attachments.
Это уже есть и работает (см DALLE-E), огромный минус в том что это очень затратный вариант в плане дискового места на сервере и необходимости делать ежедневный backup

2. Добавить в плагин код для сохранения файлов на другом third-party CDN и в пост вставлять ссылку на это файл на third-party CDN . С third-party CDN есть масса вариантов, они относительно не дорогие и самое главное не надо будет заморачиваться с backup.

3. Сделать свой хост для картинок, самый доступный вариант https://developers.cloudflare.com/r2/pricing/
Все те-же плюсы что и у 2. , стоимость тоже скорее всего будет заметно ниже и будет больше вариантов для интеграции.

Пока склоняюсь к 3, если у кого есть похожий опыт поделитесь пожалуйста.

Думаю на выходных посмотреть как сделано https://www.phpbb.com/customise/db/extension/aws_s3, выглядит очень заманчиво но не совсем понятно как там с privacy.

@Vasa222

[elpresidente*]

Вообщем потратил половину выходных на это. Простого решения пока не нашел, но пару идей удалось проверить и одна скорее всего может быть реализована достататочно быстро, до следующей недели думаю сделаю.

[Uzito]

Похоже что Discord начал рубить линки на их CDN

Это было анонсировано несколько месяцев назад. Не хотят больше платить за хостинг мемасиков.

[elpresidente*]

Вообщем сделал чтобы показывал оригиналный Discord CDN link который сейчас выглядит как:
httрs://cdn.discordapp.com/attachments/.../../imagе.png?ex=<ex>&is=<is>&hm=<hm>&
Посмотреть expire дату можно по ex=<ex> https://www.epochconverter.io/hex-timestamp-converter

Для картинки 65de9c42 https://www.epochconverter.io/hex-timestamp-converter Wednesday, Feb 28, 2024 02:36:50.000 AM

Картиники будут видны дней 10 потом пропадут, думаю что к тому вемени сделаю нормальный фикс.

[elpresidente*]

Поэкперементировал с AWS S3 и Cloudflare R2, последний сильно выигрывает в цене и поддерживает S3 API.
R2 $0.015 GB-month, первые 10GB/m free.

Сейцас обьем всех вложений на сайте около 15GB, те R2 будет практически бесплатно какое-то время.
Размер средней Midjourney imagine генерации (2x2) около ~7mb, одна upscale картинка ~2mb.
В среднем в день таких получается 70 (50..100).
Те в день может легко набегать до 500mb, ~15GB в месяц, к концу года будет ~200GB/m (R2 $3/m).
Года через три вполне может перевалить за 1TB (R2 $15/m).

Вообщем можно перенести все вложения на сайте на R2, но делать делать это только из-за Midjourney немного странно.
Подозреваю что 90% нагенерированных изображений имею нулевую "ценность" и могу быть удалены через месяц, никто этого не заметит. Думаю можно будет добавить Midjoruney cleanup plugin чтобы он удалят раз в месяц старые сообщения от Midjoruney бота где нет ни одной положительной реакции.

Мне бы хотелось попробовать добавить анимацию и fase-swap, это из того что поддерживает api который изпользует мой phpbb plugin, это мне не будет ничего стоить и выглядит довольно интересно.

Пока не решил как поступить, все это заняло гораздо больше времени чем предполагал с самого начала.

[elpresidente*]

Вот это https://github.com/ShufflePerson/Discord_CDN похоже может решить проблему, надеюсь на этих выходных сделать. Не совсем понятно как оно будет работать под реальной нагрузкой, думаю что при большом числе запросов Discord будет выдавать знаменитый 429, скорее всего придется кэшировать результаты чтобы вы вызывать Discord API лишний раз.

[elpresidente*]

Сделал хитрый прокси, начиная с этого момента все новые линки будут все идти через него.
Если все будет работать нормально то все старые линки обновлю и их снова будет видно на всем сайте.
Тесты

[elpresidente*]

Все картинки теперь должны быть видны.
Если у вас что-то не показывается пожалуйста напишите мне в ЛС с линком на пост где проблема.