pro.jvm

26 September 2025 22:29

Вообще сложно ответить, но мне кажется, что он в силу структуры проекта для решения этой проблемы не подойдет. Хотя я плохо Спарк знаю и его функции поэтому тоже надо в этот вопрос углубиться

pro.jvm

26 September 2025 22:21

вам точно не спарк нужен?

pro.jvm

26 September 2025 22:19

вот определите, найдете самый не загруженный и что дальше с ним будет?

pro.jvm

26 September 2025 21:56

а на что этот вес влиять будет? ранжирвоать системы видимо, но для чего?

pro.jvm

26 September 2025 21:20

Ну еще бы я знал как это сделать) пока в голове каша по этому поводу, но хотя бы в результате разговора стали цели более менее понятны

pro.jvm

26 September 2025 21:19

Вообще есть классическая scheduling problem из теории игр, это оно, но там будет разрыв между теорией и практикой

pro.jvm

26 September 2025 21:17

Хз в чём проблема.
Возьмите существующие ворклоады, посмотрите, кто приоритетнее в случае конфликта, подберите коэффициенты, если очень хочется запариться, то в питончике просто нашкрябать и потренить

pro.jvm

26 September 2025 21:15

что-то очень похожее, но приоритет у всех разный

pro.jvm

26 September 2025 21:11

Честно я пока, что плохо представляю вообще как решение должно выглядить, но я думал, что на основе метрик как раз можно высчитать оптимальные коэфициенты и от них и отталкиваться

pro.jvm

26 September 2025 21:06

По идее не важны параметры системы, но важна нагрузка и в теории я могу получить условно метрики проанализировать их и на их основе написать оптимальный алгоритм, но вот какой алгоритм может расчитать вес относительно других атрибутов с учетом приоритезации в зависимости от нагрузки.

Звучит как будто задача из выш мата

pro.jvm

26 September 2025 20:37

@dmsol,

pro.jvm

26 September 2025 17:05

Это внутренние детали

pro.jvm

26 September 2025 17:03

Да, это я понимаю, но конкретно по метрикам для этой задачи нужен приоритет на рам и потоки, больше на рам

pro.jvm

26 September 2025 16:58

Я сижу долго думаю как их уровнять с приоритетом на ram и threads

pro.jvm

26 September 2025 15:23

private static final doneStatusList = List.of(Status.COMPLETED, Status.FAILED), а так с неочевидно с чего компилятор должен это оптимизировать, в исходном варианте даже коллекция не иммутабельная

pro.jvm

26 September 2025 22:23

зачем пихать, если можно научить приклады набирать себе с некоторой честной конкуренцией если уж прям охота заморочиться, хотя в этом ноль смысла и достаточно чтоб задачу брал тот кто раньше успел себе ее залокать

pro.jvm

26 September 2025 22:20

Пихать туда данные для процессинга, но нужно распределить нагрузку планомерно

pro.jvm

26 September 2025 22:17

Определение самого не загруженного инстанса приложения с учетом внутренних параметров системы

pro.jvm

26 September 2025 21:20

Для оптимизационного алгоритма вообще неважно, что у него за переменные, он не делает между ними разницы, он просто минимизирует cost function
Но это даже просто руками можно сделать, если на руках есть примеры и их ограниченное количество, посмотреть, какие будут конфликты, и кто должен выиграть

pro.jvm

26 September 2025 21:19

Их же можно скормить той же модели в питоне?

pro.jvm

26 September 2025 21:19

Ну вообще да, но еще же нужно относительно других параметров расчитать все это дело

pro.jvm

26 September 2025 21:15

С метриками же хз какая там objective function, но хоть бисекцией можно тюнить

pro.jvm

26 September 2025 21:13

Я пока и задачу толком не пойму, поэтому спрашиваю конкретный(ые) пример(ы). Или там просто priority * (a * ram-demand + b * cpu-demand + c * disk-demand)?

pro.jvm

26 September 2025 21:09

так это не алгоритм рассчитывает, это просто заданные коэффициенты

можно конечно их отдельно обучением вывести, но у меня есть большие сомнения касательно наличия ресурсов на такую инфраструктуру

а задача из вышмата - это, кажется, линейное уравнение

pro.jvm

26 September 2025 20:41

Задача не решаема без знания нагрузки. Можно взять усредненный процесс - допустим, ему нужно 3 ядра, 2 гига и 16 потоков. Это будет "попугай", а вес системы в попугаях - сколько таких процессов там поместится.

И да, стоит посмотреть как эта задача решается тем же k8s

pro.jvm

26 September 2025 17:06

И если цель resource allocator, то лучше взять существующий

pro.jvm

26 September 2025 17:04

цпу в целом неизмерим, у вас одно ядро субъекта А будет кранчить больше инструкций, чем два ядра субъекта Б, у субъекта В будет SMT, и его два ядра будут работать как полтора

напишите пример как вообще это должно выглядеть

pro.jvm

26 September 2025 17:02

есть задачи, упирающиеся в cpu/потоки
есть задачи, упирающиеся в память

а обычно все упирается вообще в IO и разные привкусы консистентности данных в разных концах кластера, а не в код

т.е. попытка выбрать веса в общем виде не взлетит, потому что для разных задач они влияют по-разному

pro.jvm

26 September 2025 16:57

Ребятишки не подскажите лучший способ для написания алгоритма для расчета условного веса по параметрам системы из cpu,ram и количество потоков

pro.jvm

25 September 2025 17:22

Stream.generate(...).limit(n).toList()? 😱