Haskell

11 Jul 2025 13:55

(Такой выдал никспкгс)

Haskell

11 Jul 2025 13:52

в итоге помогло вернуться в nix shell, всякие pcre.h перестали быть проблемами

теперь надо понять, почему cabal test сегфолтит

Haskell

11 Jul 2025 12:55

Даже передача данных в рамках протокола страдает из-за реаллокаций при конвертации: колонки -> строчки -> колонки. Если ты загружаешь стримом длинный вектор/матрицу, то может быть удобно кусочками писать в предварительно аллоцированный (и возможно даже используемый) вектор/матрицу. В рекламе, например, это могут быть какие-нибудь битовые маски с таргетингами. В условном питоне в датафреймы запись идет таким образом (правда там интеграция бесшовная - передаешь датафрейм и он заполняется)

Haskell

11 Jul 2025 12:32

Сложно я поступил проще и взял сабмодуль и ещё раз extra-...

Haskell

11 Jul 2025 12:26

Вот с сурсами всегда хорошо по моим наблюдениям

Haskell

11 Jul 2025 12:25

Если учитывать что пару версий назад оно научилось линковаться...

Haskell

11 Jul 2025 12:19

короче пока кабал не готов к продакшну

есть пакет
- в нем библиотека,
- Custom setup,
- в библиотеке полная солянка из extra-libraries, c-sources, cc-options, cxx-options, include-dirs помимо хаскельного кода
- среди прочего в нем есть test-suite и пара executable

он идет зависимостью к другому пакету и т.д.

его можно самого собрать, установить и протестировать стеком

- stack build
- stack install
- stack test

стэком также можно собрать проект с этим пакетом как зависимостью

с cabal не все так однозначно

- cabal build
- cabal test

успешно проходят как из самого пакета, так и с зависимостью

- cabal install

же завершается с ошибкой во время билда первого же модуля, т.к. не может найти x.h файл из директории, обозначенной как include-dirs

в длинной портянке среди инклюдов есть эта директория, однако …/bin/cc ее не видит т.к. она далеко не на первом месте

(cabal-install 3.14.2.0)

кто-нибудь имел удовольствие сталкиваться с подобными проблемами? и если да - как решали?

Haskell

11 Jul 2025 11:52

На маленьких размерах файлов так же значительной разницы показано не было

Haskell

11 Jul 2025 11:40

Если кому-то было интересно, что быстрее компилируется: множество отдельных вызовов TH или один склеенный моноидом, то ответ - разницы между ними нет.

$ time ghc A.hs 
[1 of 1] Compiling A                ( A.hs, A.o ) [Source file changed]
ghc A.hs  61,19s user 0,92s system 99% cpu 1:02,27 total
$ time ghc B.hs 
[1 of 1] Compiling B                ( B.hs, B.o ) [Source file changed]
ghc B.hs  60,93s user 0,90s system 99% cpu 1:02,06 total

Haskell

09 Jul 2025 15:26

В прочем у меня вопрос был не о качестве тестов, а о метриках, которые в существующих тестах имеются и принимаются на CI как аргумент

Haskell

09 Jul 2025 15:22

У нас нормально реального кода мало. А тот что есть нужно сейчас переписывать, поскольку язык нужно ломать

Haskell

09 Jul 2025 15:07

даже для списков тесты на игрушечном коде такие хорошие, что я сам ловил и репортил регрессию на игрушечном примере со списками

Haskell

09 Jul 2025 15:04

ну, багрепоры становятся перфтестами, но они сильно упрощенные и патологические

Haskell

09 Jul 2025 15:03

простой код с дженериками, списками и разными кейсами под фьюжен есть в перфтестах

Haskell

09 Jul 2025 14:56

этот код примерно настолько же представителен как какой-нибудь прувер веритас из нофиба или другой код из 90-х годов который тогда был реальным и на котором производительность гхц реально проверяют сегодня, но который ничего не говорит о том, что будет тормозить в 2025

Haskell

11 Jul 2025 13:54

а раньше сильно помогало в один слайс всё сувать

Haskell

11 Jul 2025 13:40

В целом я пока текущий интерфейс вижу строго низкоуровневым с удобным API для построения эффективных интеграций, а поверх него уже:
1) виртуализация построчного потока
2) "векторные" очереди под запись, возможно с локами для гарантии доставки поверх мультиплексирования (не был доставлен сформированный батч операций - массового отдаем ошибку юзерам, иначе возвращаем всем 200 NoContent)

Пока у меня не будет юзеров или real world проекта под либу в текущем состоянии - я нахожу разумным только доводить до ума low level биндинги с полным покрытием фичами. Сейчас не хватает сложных типов данных, реализации пары фичей протокола и пула соединений (есть только single connection с thread safety блокировками и зачаточным self healing)

Haskell

11 Jul 2025 12:33

Надо будет глянуть есть ли вообще такая функциональность)) а то порой кажется что нет не только доков, но и мелких фич 😁

Haskell

11 Jul 2025 12:27

в локальной либе - помогло 🙏

теперь вопрос, этот же трюк провернуть с pcre.h для pcre-light можно через cabal.project.local провернуть?

Haskell

11 Jul 2025 12:26

Если что с *.h файлами все ещё есть мелкие проблемы которые недофикшены, но там тяжко, нужно над каждым камнем думать

Haskell

11 Jul 2025 12:23

Добавь в extra-source-files:

Haskell

11 Jul 2025 11:53

По крайней мере генерация через foldMap - самая компактная и читаемая

Haskell

11 Jul 2025 11:51

И если сворачивать через фолдмап, то тоже никакой разницы

 $ time ghc C.hs                                         
[1 of 1] Compiling C                ( C.hs, C.o )
ghc C.hs  61,17s user 0,68s system 99% cpu 1:01,91 total

data AA = MkAA { aaFoo :: Int, aaBar :: Either Bool Float, aaBaz :: (), aaQuux :: Maybe [Either Bool Float], aaWombat :: Double, aaBlah :: Integer }
data AB = MkAB { abFoo :: Int, abBar :: Either Bool Float, abBaz :: (), abQuux :: Maybe [Either Bool Float], abWombat :: Double, abBlah :: Integer }
...
data ZZ = ...

deriveJSON defaultOptions ''AA
deriveJSON defaultOptions ''AB
....

deriveJSON defaultOptions ''AA <>
  deriveJSON defaultOptions ''AB <>
  ....

foldMap (deriveJSON defaultOptions) [ ''AA, ''AB, ''AC, ..., ''ZZ ]

Haskell

11 Jul 2025 08:50

@onarainydayillwinanyway а в подходе с колонками, когда мы и в Haskell обрабатываем поколоночно, то какие это операции например? (Чисто интересно как мог бы интерфейс выглядеть)

Haskell

09 Jul 2025 15:22

также производительность самого компилятора-то тоже плохо проверяется, по той же причине, компилируется не тот код на котором в реальной жизни можно поймать регрессию скорости компиляции в разы

Haskell

09 Jul 2025 15:16

проверять на свежем хекедже не практично, сделать очередной срез реального кода через тридцать лет вполне можно было бы. который конечно тоже протухнет, но не завтра

Haskell

09 Jul 2025 15:06

Я в целом согласен, что перфтесты community либ непрактично вводить. Под сложные кейсы скорее хотел бы видеть документированные инварианты в оптимизаторе и фазеры под них с трекингом всех перф метрик

Haskell

09 Jul 2025 15:04

у меня в библиотеке это буквально все что используется

Haskell

09 Jul 2025 15:02

проблема эта осознана и периодически обсуждается, но ответ от разработчиков гхц примерно такой: "проверять произмодительность на реальных бенчмарках реальных пакетов непрактично, так что не повезло вам, программисты на хаскеле, проверите сами и потом нам репорты зашлете"

Haskell

09 Jul 2025 14:55

так на хаскеле никто больше не пишет и он использует полторы реальные библиотеки которыми пользуются