pro.jvm

04 Dec 2024 14:31

проблема в том, что llm это про статистику и перемножение матричек

я бы сказал, что отчасти это и есть проблема, мы как вид не очень понимаем что так а что не так с языками (хомского не предлагать)

pro.jvm

04 Dec 2024 14:31

ведь на твой промпт возвращается конструкция кода

pro.jvm

04 Dec 2024 14:30

Я вообще это представить не могу

pro.jvm

04 Dec 2024 14:29

железо растет в мощности, локальные ИИ - наше настоящее и будущее

pro.jvm

04 Dec 2024 14:29

тут должна быть шутка про хуякхуяквпродакшн

pro.jvm

04 Dec 2024 14:28

не, тема очень интересная. я сильно сомневаюсь что ближайшее время будет массовое использование локальных LLM на своих рабочих машинах, а вот корпорации будут поднимать и код-асистентов и умных помощников, обученных на локальной базе знаний. в пайплайны для ревью будут встраивать и тд.

pro.jvm

04 Dec 2024 14:25

@ivandasch годный доклад от тинька вчера был про векторную базу

pro.jvm

04 Dec 2024 14:24

лучше больше параметров, но ниже квантизация

pro.jvm

04 Dec 2024 14:24

еще зависит, с какой квантизацией ты запускал

pro.jvm

04 Dec 2024 14:23

Кстати да, резюме по пдф книге - это шикарно. Видел как работает локально. Сам не щупал

pro.jvm

04 Dec 2024 14:21

не смог даже резюме по книге сделать

pro.jvm

04 Dec 2024 14:21

почему-то в яндекс алисе старый яндекс гпт

pro.jvm

04 Dec 2024 14:20

помню, что она подобралась прям близко к o1

pro.jvm

04 Dec 2024 14:19

есть опенсорсные модели на уровне 4.5, кажется

pro.jvm

04 Dec 2024 14:18

и он не уступает Chat GPT 4

pro.jvm

04 Dec 2024 14:31

но это все не формализовано

pro.jvm

04 Dec 2024 14:31

просто по сути в таком случае таким языком является естественный язык

pro.jvm

04 Dec 2024 14:29

Ну не я про саму структуру и архитектуру языка

pro.jvm

04 Dec 2024 14:29

прошло всего 2 года с публичного релиза гпт 3 от опен ии и посмотри где мы сейчас

pro.jvm

04 Dec 2024 14:28

А есть ЯП который на основе ллм работает?

pro.jvm

04 Dec 2024 14:25

но они пока до RAG не добрались

pro.jvm

04 Dec 2024 14:24

правда для этого крутое железо нужно, поэтому макбуки и проект exolabs сейчас на хайпе

pro.jvm

04 Dec 2024 14:24

резюме из истории этого чата сделать))

pro.jvm

04 Dec 2024 14:23

ммм, я вроде как раз qwen 2.5-14B тыкал осенью. ради прикола скормил какую-то из задачек на алгосы, то ли с собеса попалась. то ли с какого-то зарытого контеста. емнип, он правильно определил на какой алгоритм задачка, но работающий код не выдал.

pro.jvm

04 Dec 2024 14:21

а четверку они только в облаке продают и цена ад, рубль двадцать за 1к токенов (1 токен - типо символ)

pro.jvm

04 Dec 2024 14:21

который кал максимальный

pro.jvm

04 Dec 2024 14:21

я тут офигел, когда решил русские модели попробовать

pro.jvm

04 Dec 2024 14:20

есть, Qwen 2.5, Mistral

pro.jvm

04 Dec 2024 14:18

да, это не o1, но для такого есть Qwen 2.5 72B

pro.jvm

04 Dec 2024 14:18

я запускаю qwen coder 14B с нормальным токен респонсом на 32GB + M2max