Symfony

16 May 2024 21:58

Ну это как я думаю, просто если взять строку состоящею из смайликов, то оно выдает длину в 2 раза больше

Symfony

16 May 2024 21:57

Просто обычная буква 8 занимает в кодировке UTF-8

Symfony

16 May 2024 20:21

Да лимитер норм тема, юзаем именно его для таких кейсов (регулирование кол-во запросов к сторонним сервисам).
Там правда прикол есть, что в есть простой флоу использования

$limiter->reserve(1)->wait();

do {
    $limit = $limiter->consume(1);
    $limit->wait();
} while (!$limit->isAccepted());

Symfony

16 May 2024 18:21

https://github.com/symfony/symfony/issues/50465

Symfony

16 May 2024 18:14

ну сейчас уже понятно

Symfony

16 May 2024 18:13

Делается через нее все, как выше сказали

Symfony

16 May 2024 18:10

а не все сообщения в одну кучу

Symfony

16 May 2024 18:09

а на чистом pdo легко все отработало -)

Symfony

16 May 2024 18:08

то есть, предлагаете все процессорное время тратить на фетч задачи, его фейл и ретрай?

Symfony

16 May 2024 18:06

вот и получается что тебе тебе нужно лимитировать только один messageHandler а своим слипом ты заблокируешь все..,
пиши дату последнего запуска в условный редис, следующей джобой проверяй, если таймаут не прошел фейли джобу пусть уходит в ретрай, еще лучше поставь редис ключу время жизни в твой таймаут и просто проверяй есть запись или нет...

Symfony

16 May 2024 18:04

Если не ошибаюсь, в дев режиме логируется все в память. И не сбрасывается после флаша

Symfony

16 May 2024 18:03

gc не помог. null в качестве LoggerInterface может?

Symfony

16 May 2024 18:01

дев режим жрет неимоверно...

Symfony

16 May 2024 18:01

должны быть разные очереди для таких вещей. или писать на другом языке с параллелизмом. имеем что имеем.

Symfony

16 May 2024 18:00

Я ж внятно объяснил. Кролик дергает сервис, который отправляет http запрос к внешнему приложению. Если я буду частить мессагами, этот внешний сервис будет мной ддоситься, это будет неприятно и мне и внешнему сервису. Поэтому нужна какая то пауза чтобы охладить траханье

Symfony

16 May 2024 21:57

а вот со смайликами нихуя, заметил что по 16

Symfony

16 May 2024 21:56

"😄" пацики, вопрос, а смайлики все занимают по 2 бита или нет?

Symfony

16 May 2024 18:22

кстати здесь есть рабочие примеры использования мессенджера + рейт лимитера

Symfony

16 May 2024 18:16

Так как к стороннему ресурсу у нас лимит 1 запрос в 5 секунд, логично этот лимит использовать по максимуму

Symfony

16 May 2024 18:14

а может быть и так, что сообщение получили через 4-5 секунд, таймаут не прошел, зафейлили, взяли другие задачи и начали выполнять, а они допустим выполняются долго (2-3 секунд), а наша основная задача получается выполнилась через 7-8 секунд. Неэффективно

Symfony

16 May 2024 18:11

раз в 5 сек проверить и зафейлить не так уж и много проц воемени

Symfony

16 May 2024 18:09

лучше для определенного хэндлера сделать отдельную очередь, и только его и заставлять ждать при превышении лимита

Symfony

16 May 2024 18:09

теперь понятно почему я не мог 10 лямов записей через доктрину сделать -)

Symfony

16 May 2024 18:07

как ни странно, не помогло. но помогло --env=prod то есть да, где-то очень рядом собака рылась

Symfony

16 May 2024 18:05

а не легче ли команду запустить через --env=prod ?

Symfony

16 May 2024 18:04

$this->em->getConnection()->getConfiguration()->setSQLLogger(null);

Symfony

16 May 2024 18:01

Поставьте entity manager null в качестве логгера

Текут именно логи

Symfony

16 May 2024 18:01

запускаю в Dev режиме

Symfony

16 May 2024 18:01

логирование есть, пользуюсь симфонишной командой с её io выводом для отслеживания прогресса. Если закомментить em->persist то память перестаёт убегать

Symfony

16 May 2024 18:00

В прод режиме запускаете? Логгирование отключали?