pro.jvm

17 Dec 2024 00:18

где виртуальные треды избавляют от мемори оверхеда?

pro.jvm

16 Dec 2024 16:36

А сам сервак запускает виртуальный поток на http запрос для обработки этого запроса?

pro.jvm

16 Dec 2024 10:27

Получается можно тупо автокоммитить оффсет даже если сообщение не то, всё-равно он свой на каждую КГ насколько помню)

pro.jvm

16 Dec 2024 10:22

Похоже что да, спасибо, сначала не обратил внимания.

pro.jvm

16 Dec 2024 10:16

Ага, я тоже подумал вчера что мануал ак выставить и либо по заголовкам, либо по результату парсинга скипать чтобы другая группа пришла и прочитала.
Но вероятно, чтобы минимизировать скипы нужно будет подумать про стратегию раутинга и ассайна консьюмеров.
В идеале чтобы в партишнах каждой КГ было примерно поровну А и Б сообщений. И не получилось что КГ на А будет читать партишны куда преимущественно Б сыплются.

Ещё в порядке бреда настроить раутинг чтоб в половину партишнов А, в половину Б шли(по ключу например) и подгадать чтобы А КГ на А партишны ассайнился тем же RangeAssignor, а Б на Б.
Но выглядит что мало вероятно что стабильно работать будет, а если и будет, то легко сломать, и при ребалансах ХЗ как себя поведёт.

А, вообще, интересно почему с т.з. архитектуры решили писать в один топик разные виды сообщений. Наверняка не глупый человек дизайнил.

pro.jvm

16 Dec 2024 09:52

Существуют разные стратегии https://chrzaszcz.dev/2021/09/kafka-assignors/, дефолтая вроде как RangeAssignor. Но можно настаивать через вот эту пропертю https://kafka.apache.org/documentation/#consumerconfigs_partition.assignment.strategy

pro.jvm

16 Dec 2024 08:54

Там явно написано что разные группы на разные партиции ассайнятся

pro.jvm

16 Dec 2024 08:53

а зачем разные группы?

pro.jvm

16 Dec 2024 04:58

а нужен именно он? обычная интеграция с кафкой не подойдет?

pro.jvm

16 Dec 2024 03:36

кафка не умеет, spring-cloud-stream умеет (хотя я уже не уверен, так как сэмпл из сообщения выше не завелся на последних версиях 😃), либо я не так понял, как это дело работает

pro.jvm

16 Dec 2024 00:04

Я думаю, вопрос про необходимый скилл для кода без особого количества брака, а не умение расставлять кейворд

pro.jvm

15 Dec 2024 21:53

насчет системных хз, но в целом да, там уже продвинутый уровень, в расточате бывает такую хрень обсуждают, что я хз откуда они все это знают. Если сейф раст проверяется компилятором, то ансейф нет (но местами в дебаге вставлены проверки), не достаточно запустить и проверить что работает.

pro.jvm

15 Dec 2024 21:12

А ансейф код знают только системные программисты-сениоры?

pro.jvm

15 Dec 2024 19:50

Но опять же, я размышляю, со стримами в реббите не работал. Может и глупость говорю.

pro.jvm

15 Dec 2024 19:46

Консьюмер в кролике потребляет из очереди. Очередь байндится к эксченджу. На байндинге задаётся роутинг

pro.jvm

17 Dec 2024 00:16

А как идея использовать виртуальные треды для Кафка консьюмеров флоу которых в конце-концов упираются в IO вызов ?
Что бы избавиться от лишнего мемори оверхеда

pro.jvm

16 Dec 2024 11:58

Вот я бы вообще не стал такого делать

pro.jvm

16 Dec 2024 10:24

Тогда рассуждения выше как минимум не совсем актуальны

pro.jvm

16 Dec 2024 10:20

да он в отпуске, как вернется, я ему напишу об этом, а пока сделал, как написал выше.

за рассуждения тож спасиб)

pro.jvm

16 Dec 2024 10:10

Так это в рамках группы вроде

pro.jvm

16 Dec 2024 09:21

Мне кажется это плохое решение

pro.jvm

16 Dec 2024 08:54

Я вопрос по этому посту задал. /channel/jvmchat/623442

pro.jvm

16 Dec 2024 08:52

Ну тип как ключ -- это просто раскидывать в разные партишены. А группу то как на партишен ассайнить? Вручную? Что то меня в этой схеме смущает всё.

pro.jvm

16 Dec 2024 04:53

можно указать тип как ключ. но это такое, лучше таки на разные топики поделить

pro.jvm

16 Dec 2024 03:35

привет

тот кейс, который ты описал с партициями и группами - рабочий 100%, но вот привязываться к определенными партициям в перспективе масштабирования, наверное, не круто (усложняет логику как минимум, на мой взгляд), поэтому я его сразу отмел. По поводу отдельного топика - самый простой и идеальный вариант, но, к сожалению, на разбиение на два топика лично я не могу повлиять (архитектуру описывал не я).

https://github.com/spring-cloud/spring-cloud-stream-samples/tree/main/routing-samples я про вот такой роутинг. Думал, мб кто-то такое делал, хотя выглядит, как костылец, конечно)

Ну и с каждым днем убеждаюсь, что простых вариантов только два и те описаны тобой в сообщении.

Сделаю две группы для одного топика, в одном и втором консюмере буду скипать неподходящее сообщение, определяя их по признаку из хедеров.

пасиба за ответ и свой опыт)

pro.jvm

15 Dec 2024 23:49

ансейф - это как "эффект", любая функция может быть помечена как ансейф, её можно вызывать только в ансейф блоке

pro.jvm

15 Dec 2024 21:29

Рэбиту чтобы гарантии соблюсти нужно fsync делать на диск. Кафке нет, так как несколько брокеров с репликацией(за счёт этого высокие гарантии). Это не говоря о других нюансах.

pro.jvm

15 Dec 2024 20:33

тогда надо по старинке на указателях и это ансейф раст и безопасность раста там уже местами не работает.

вообще у многих тут по расту мнения неправильные.
раст это больше системный язык, бесплатные абстракции, нет GC и т.д.
джава это прикладной язык
и они друг другу не конкуренты, джсоны всегда будет проще перекладывать на прикладном языке, раст тут в большинстве случаев не нужен, а часто даже перфа питона хватает

раст нужен если нужна нативная программа (например dll/so плагин для какой-нибудь программы)
либо нужна производительность, HFT какой-нибудь
либо много инстансов, типа сайдкары для тысяч контейнеров (например linkerd)

получается, раст никогда не будет настолько популярен, как прикладные языки типа джава/сишарп/го/питон.

по поводу UB в расте:
в безопасном расте UB отсутствует (по факту есть, ошибки в компиляторе присутствуют, но их воспроизвести не простая задача, см. cve.rs)
в раст нет (в основном) вакансий для джунов и мидлов, только синьоры, потому что надо писать быстрый код (иначе можно было взять ту же джаву)
соответственно нужно писать ансейф код, т.к. не везде компилятор понимает, что это безопасно или не может гарантировать безопасность.
но там не все так плохо, к ансейф методам написаны требования (секция SAFETY), как соблюсти безопасность

pro.jvm

15 Dec 2024 19:47

Пишешь ты в эксчендж

pro.jvm

15 Dec 2024 19:46

https://www.rabbitmq.com/docs/streams#filtering