14289
Уютный чат для профессионалов, занимающихся поиском питоньих мудростей. Как не получить бан: https://t.me/ru_python/1961404
можно хранимку для погреса написать чтоб поближе к данным быть
Читать полностью…
Вам задачу решить или на размер дрочить?
Принципиально больше кода не станет. Существующий будет разделён на 2 файла, обвязка вокруг IPC уедет в третий файл
ваше допущение о том, что задача простая, разбивается о проблемы, в которые вы уже упёрлись — задача немного сложнее, чем кажется
Читать полностью…
ну с учётом того, что вы сам код не пишете, единственное объяснение — экономия токенов. Я вас правильно понял?
Кстати. Если вы вынесете работу с алхимией в сабпроцесс — эти 700мс тоже останутся там
Мне кажется, вам ничего не стоит протестировать идею
На adler32 - 4 нс на 15 мегов. Но теперь упёрся в алхимию, сериализация полей занимает 700мс 😄
Читать полностью…
если у нас тормозит хождение в субд, то алхимия как будто ещё одно лишнее звено
Читать полностью…
кстати. А дайте больше контекста насчёт условий и окружения:
1) Есть ли ограничение на число задействованных цпу? Вы трединг упоминали — я предположил, что ограничения нет
2) Почему вы упомянули под ограничение про 500+ строк кода? Моя гипотеза о том, что "простая задача должна решаться просто" является домыслом
да, я в какой-то момент что-то заметно ускорил попросив адаптер базы не парсить datetime
Читать полностью…
Ну я бы на шаринг не уповал сильно — среда не обязана его гарантировать
Насчёт компактных представлений / компактных индексов неистово плюсую
у меня когда "грузим всю БД раз в 30 секунд в память процесса" стало жрать много памяти, я стал грузить данные в bytearray и на ходу с ними байтоёбствовать %)
Читать полностью…
предположения:
1) реально данные меняются сильно реже, чем раз в 15 секунд
2) когда данные меняются, они меняются мало и точечно
Если хоть одно из предположений работает — ты получишь выигрыш
я же тебе говорил — преобразуй полную перезагрузку в событийную работу с диффами
Читать полностью…
мне интересно почему gc впринципе пошел эти обьекты обходить
Читать полностью…
а идея в том, что сложную задачу вы физически не можете решить в 2 строчки кода никак
Читать полностью…
В эпоху нейронок все упирается в читаемость и понимание продукта
Читать полностью…
Тебе ок полотно в тысячу строк читать? Код нейронки надо постараться чтобы был как можно меньше, иначе сам не поймешь что там написано
Читать полностью…
я just-in-time читатель чатика, скроллбек листать лень :D
Читать полностью…
Чексум с адлер32 решился за меньше чем 50 строк. Алгоритм точечного обновления я даже хз сколько займет и даст ли это вообще прирост. Там надо строить хэш таблицу для дерева и по всему проходить
Читать полностью…
вопрос скорее всего в том, что переделывать рабочее решение ради сомнительных плюсов нету смысла
Читать полностью…
Я чуть поменьше сделал - стал загружать скаляр типы вместо сложных ipv4
Читать полностью…
кстати этот самый bytearray можно прозрачно между процессами расшарить через mmap или что там нынче
Читать полностью…
Надо объяснять почему решение в +500 строк кода не норм?
Читать полностью…
а у него есть какие-то критерии кроме "подозрительно низкий рефкаунт"?
Читать полностью…
(если они конечно там всё не переделали в последние годы со своим фритредингом)
Читать полностью…