-
[RU] Scala Chat. README: https://github.com/scala-russian/about/blob/master/README.md
У Akka какая то жопа с лицензией, в детали не вникал, но так понял что денег хотят. А вот Alpakka с такой же лицензией? Для пет-проектов лучше не использовать?
Читать полностью…
Я написал что поправил проблему. С разными топиками все ок, там где то даже указал какие группы поставил
Читать полностью…
"Читаем всё из одного топика и одной группы" - все так это не прочитают, только кто-то один прочтет каждое сообщенме (или zio или fs2) и это нормальное поведение (при условие, что в топике есть как минимум две партиции) чтобы fs2 и zio прочитали одно и то же сообщение надо чтобы группы были разные.
Читать полностью…
Но топик может иметь много партиций. И количество консюмеров, которые что-то читают всегда меньше или равно количеству партиций. Оффсет отслеживается на уровне партиций и группы. И таким образом только один консюмер в группе может прочитать конкретное сообщение.
Читать полностью…
Нет, я писал, что zio пишет в топик и читает из quickstart а fs2 наоборот и все ок
А первая версия была все писали и читали topic и там были проблемы, сообщение читал один консьюмер из группы.
Но диагностика осложнялась во-первых fs2 приложение не писало в консоль только в Кафку, во вторых косяк с ключами. Zio интерпретировал ключ как строку и ему было пофиг а пример fs2 как long и сыпался начетник сообщения от Kafka-konsole-producer
Ну вот собственно о том и речь
Сочетание разных типов ключей у одного продюсера и второго консьюмера и вот это невозможность чтения одного сообщения консюмерами из одной группы
Сочетание двух косяков дало незабываемые пару часов на сон грядущий
Не могут одну партицию читать гонкой два сервиса в одной группе
Читать полностью…
чтобы что?) тогда они читать вдвоем оттуда не смогут
Читать полностью…
партишены же для топика создаются, при чем здесь докер образ?
Читать полностью…
Плюс у тебя может в твоем спотифае поднимается несколько партишинов и там в одной группе может прокатывать несколько консьюмеров
У меня так было в моем конфиге который я для гошной проги писал
А тут конфлюенсовскийс одним партишионом
val consumer = Consumer.make(ConsumerSettings(hosts).withGroupId("groupId"))
val groupId = "group"
Так у тебя там группы разные у консьюмеров
Так и у меня работает
читал offset-explorer'ом, люблю UI
запускал просто два приложения одновременно
кафка в докере была
https://scastie.scala-lang.org/LO8ud324Sni8lCWu3yDxvQ
Если партиция одна - то и читать в этом случае будет только один и это тоже нормальное поведение (например, если первый отпадет, то читать продолжит второй, когда-нибудь, после ребаланса)
Читать полностью…
С этим согласен. Но при чем здесь тогда "общий оффсет" и "кто успел, тот и прочитал"?
Читать полностью…
Так вот здесь же написано, что fs2 не читал сообщения
А сейчас вы пишете, что все ок) вы уж определитесь, ок или не ок
Я вообще уже запутался, есть ли проблема и в чем она
У вас было написано, что zio-kafka читает из quickstart, а fs2-kafka читает из topic
Я так и сделал, и все нормально работает. А теперь вы предлагаете двум сервисам в одной группе читать из одного топика с одной партицией. Так, конечно, работать не будет
Так об том же и речь была, что с одной группой одно сообщение два консьюмера прочитать не могут, а ты написал что могут
/channel/scala_ru/352397
Или твое локально это имеется ввиду внутри одного процесса? Так тогда считай это оди консьюмер, либа то джавовая под капотом
Очевидно, будут читать, но оффсет будет общий для всех - кто успел, тот и прочитал.
Читать полностью…
сделай два разных приложения читающих из одного топика с одной группой
Читать полностью…
https://scastie.scala-lang.org/iJsztyW4SvW4GksvOeArzw
поправил, не то скопировал
но работало оно именно в этой версии
Вот насчёт докера, запускал компоузом? Конфигурация конфлюенсовский или свой?
Читать полностью…
Рядышком Kafka-konsole-consumer что показывал? В параллель другого продюсера пишущего в тот же топик и другого консьюмера читающего из того же топика запускал? Локально это Кафку из джарника или в докере?
Читать полностью…