pro.jvm

04 Dec 2024 14:21

который кал максимальный

pro.jvm

04 Dec 2024 14:21

я тут офигел, когда решил русские модели попробовать

pro.jvm

04 Dec 2024 14:20

есть, Qwen 2.5, Mistral

pro.jvm

04 Dec 2024 14:18

да, это не o1, но для такого есть Qwen 2.5 72B

pro.jvm

04 Dec 2024 14:18

я запускаю qwen coder 14B с нормальным токен респонсом на 32GB + M2max

pro.jvm

04 Dec 2024 14:17

вполне шустро картинки генерит

pro.jvm

04 Dec 2024 14:17

ну я у себя на ноуте запускал LLM

pro.jvm

04 Dec 2024 14:17

а зачем локально LLM гонять ? даже самые жирные локальные модели будут хуже облачных. имеет смысл только если (до)обучаешь на локальной кодовой базе и документации.

pro.jvm

04 Dec 2024 14:16

речь про инференс LLM

pro.jvm

04 Dec 2024 14:16

вы пока не погрузитесь в мир опен сорс моделей, не поймете о чем я

pro.jvm

04 Dec 2024 14:16

но с куда более широкой пропускной способностью

pro.jvm

04 Dec 2024 14:15

и он будет хуже для ИИ

pro.jvm

04 Dec 2024 14:15

но лично я выберу себе что-нить подешевле и на линуксе :)

pro.jvm

04 Dec 2024 14:15

автоматизация рутины через естественный язык

pro.jvm

04 Dec 2024 14:14

ну это я изначально смотрел во всяких ру/ре сторах

pro.jvm

04 Dec 2024 14:21

почему-то в яндекс алисе старый яндекс гпт

pro.jvm

04 Dec 2024 14:20

помню, что она подобралась прям близко к o1

pro.jvm

04 Dec 2024 14:19

есть опенсорсные модели на уровне 4.5, кажется

pro.jvm

04 Dec 2024 14:18

и он не уступает Chat GPT 4

pro.jvm

04 Dec 2024 14:17

но все приватно и бесплатно (кроме электричества)

pro.jvm

04 Dec 2024 14:17

смысл в том, что вышли такие модели, которые не уступают облачным

pro.jvm

04 Dec 2024 14:17

хобби, потом к работе применять стал

pro.jvm

04 Dec 2024 14:17

это у тебя хобби или по работе начинал?

pro.jvm

04 Dec 2024 14:16

для ии наверно да. Но я не питонист, чтобы иишкой баловаться)

pro.jvm

04 Dec 2024 14:16

что позволяет очень жирные модели запускать

pro.jvm

04 Dec 2024 14:16

новый м4 макс на уровне десктопной 4080

pro.jvm

04 Dec 2024 14:15

суть то в том, что тебе не надо ифчики писать

pro.jvm

04 Dec 2024 14:15

я почти пробил 2тб на десктопе (

pro.jvm

04 Dec 2024 14:14

побурчу что так могли описывать свою работу даже в 70е (между 1 и 2 зимами, «агенты» уже тогда были)

налячкать быстро можно давно, поиск и ответы на вопросы «а как тут надо» при каком-то скилле не вот прям болят

ты уже попользовался - расскажи в чем бенефит прикладной?

pro.jvm

04 Dec 2024 14:14

и пару моделей тяжелых хранить на диске