pro.jvm

04 Dec 2024 14:24

еще зависит, с какой квантизацией ты запускал

pro.jvm

04 Dec 2024 14:23

Кстати да, резюме по пдф книге - это шикарно. Видел как работает локально. Сам не щупал

pro.jvm

04 Dec 2024 14:21

не смог даже резюме по книге сделать

pro.jvm

04 Dec 2024 14:21

почему-то в яндекс алисе старый яндекс гпт

pro.jvm

04 Dec 2024 14:20

помню, что она подобралась прям близко к o1

pro.jvm

04 Dec 2024 14:19

есть опенсорсные модели на уровне 4.5, кажется

pro.jvm

04 Dec 2024 14:18

и он не уступает Chat GPT 4

pro.jvm

04 Dec 2024 14:17

но все приватно и бесплатно (кроме электричества)

pro.jvm

04 Dec 2024 14:17

смысл в том, что вышли такие модели, которые не уступают облачным

pro.jvm

04 Dec 2024 14:17

хобби, потом к работе применять стал

pro.jvm

04 Dec 2024 14:17

это у тебя хобби или по работе начинал?

pro.jvm

04 Dec 2024 14:16

для ии наверно да. Но я не питонист, чтобы иишкой баловаться)

pro.jvm

04 Dec 2024 14:16

что позволяет очень жирные модели запускать

pro.jvm

04 Dec 2024 14:16

новый м4 макс на уровне десктопной 4080

pro.jvm

04 Dec 2024 14:15

суть то в том, что тебе не надо ифчики писать

pro.jvm

04 Dec 2024 14:23

ммм, я вроде как раз qwen 2.5-14B тыкал осенью. ради прикола скормил какую-то из задачек на алгосы, то ли с собеса попалась. то ли с какого-то зарытого контеста. емнип, он правильно определил на какой алгоритм задачка, но работающий код не выдал.

pro.jvm

04 Dec 2024 14:21

а четверку они только в облаке продают и цена ад, рубль двадцать за 1к токенов (1 токен - типо символ)

pro.jvm

04 Dec 2024 14:21

который кал максимальный

pro.jvm

04 Dec 2024 14:21

я тут офигел, когда решил русские модели попробовать

pro.jvm

04 Dec 2024 14:20

есть, Qwen 2.5, Mistral

pro.jvm

04 Dec 2024 14:18

да, это не o1, но для такого есть Qwen 2.5 72B

pro.jvm

04 Dec 2024 14:18

я запускаю qwen coder 14B с нормальным токен респонсом на 32GB + M2max

pro.jvm

04 Dec 2024 14:17

вполне шустро картинки генерит

pro.jvm

04 Dec 2024 14:17

ну я у себя на ноуте запускал LLM

pro.jvm

04 Dec 2024 14:17

а зачем локально LLM гонять ? даже самые жирные локальные модели будут хуже облачных. имеет смысл только если (до)обучаешь на локальной кодовой базе и документации.

pro.jvm

04 Dec 2024 14:16

речь про инференс LLM

pro.jvm

04 Dec 2024 14:16

вы пока не погрузитесь в мир опен сорс моделей, не поймете о чем я

pro.jvm

04 Dec 2024 14:16

но с куда более широкой пропускной способностью

pro.jvm

04 Dec 2024 14:15

и он будет хуже для ИИ

pro.jvm

04 Dec 2024 14:15

но лично я выберу себе что-нить подешевле и на линуксе :)