pro.jvm

04 Dec 2024 14:36

но надо подождать мак студию

pro.jvm

04 Dec 2024 14:36

миник или дождаться прохи?
в смысле не ноутом, а в непортативном исполнении оно дешевле будет

pro.jvm

04 Dec 2024 14:35

за 700к можно системник праймовый собрать и никто не мешает инференс делать в своей локальной сети

pro.jvm

04 Dec 2024 14:33

@dmsol на m4 есть мысли апгрейдиться?

pro.jvm

04 Dec 2024 14:31

так как галлюцинации и миллиарды возможных комбинаций

pro.jvm

04 Dec 2024 14:31

но это все не формализовано

pro.jvm

04 Dec 2024 14:31

просто по сути в таком случае таким языком является естественный язык

pro.jvm

04 Dec 2024 14:29

Ну не я про саму структуру и архитектуру языка

pro.jvm

04 Dec 2024 14:29

прошло всего 2 года с публичного релиза гпт 3 от опен ии и посмотри где мы сейчас

pro.jvm

04 Dec 2024 14:28

А есть ЯП который на основе ллм работает?

pro.jvm

04 Dec 2024 14:25

но они пока до RAG не добрались

pro.jvm

04 Dec 2024 14:24

правда для этого крутое железо нужно, поэтому макбуки и проект exolabs сейчас на хайпе

pro.jvm

04 Dec 2024 14:24

резюме из истории этого чата сделать))

pro.jvm

04 Dec 2024 14:23

ммм, я вроде как раз qwen 2.5-14B тыкал осенью. ради прикола скормил какую-то из задачек на алгосы, то ли с собеса попалась. то ли с какого-то зарытого контеста. емнип, он правильно определил на какой алгоритм задачка, но работающий код не выдал.

pro.jvm

04 Dec 2024 14:21

а четверку они только в облаке продают и цена ад, рубль двадцать за 1к токенов (1 токен - типо символ)

pro.jvm

04 Dec 2024 14:36

мини на м4 про уже есть, стоит недорого и крутые результаты показывает

pro.jvm

04 Dec 2024 14:35

а мак просто тонким клиентом останется

pro.jvm

04 Dec 2024 14:34

да, но я хочу дождаться тестов 5090 и ценника на нашем рынке

pro.jvm

04 Dec 2024 14:33

структурно любой код это:
- дерево идентификаторов;
- несколько графов (зависимостей, управления потоком, наследования)

но эти факты никому ничего не дадут сами по себе, да и в контексте «умеем перемеожать матрицы, много и быстро» тоже

pro.jvm

04 Dec 2024 14:31

проблема в том, что llm это про статистику и перемножение матричек

я бы сказал, что отчасти это и есть проблема, мы как вид не очень понимаем что так а что не так с языками (хомского не предлагать)

pro.jvm

04 Dec 2024 14:31

ведь на твой промпт возвращается конструкция кода

pro.jvm

04 Dec 2024 14:30

Я вообще это представить не могу

pro.jvm

04 Dec 2024 14:29

железо растет в мощности, локальные ИИ - наше настоящее и будущее

pro.jvm

04 Dec 2024 14:29

тут должна быть шутка про хуякхуяквпродакшн

pro.jvm

04 Dec 2024 14:28

не, тема очень интересная. я сильно сомневаюсь что ближайшее время будет массовое использование локальных LLM на своих рабочих машинах, а вот корпорации будут поднимать и код-асистентов и умных помощников, обученных на локальной базе знаний. в пайплайны для ревью будут встраивать и тд.

pro.jvm

04 Dec 2024 14:25

@ivandasch годный доклад от тинька вчера был про векторную базу

pro.jvm

04 Dec 2024 14:24

лучше больше параметров, но ниже квантизация

pro.jvm

04 Dec 2024 14:24

еще зависит, с какой квантизацией ты запускал

pro.jvm

04 Dec 2024 14:23

Кстати да, резюме по пдф книге - это шикарно. Видел как работает локально. Сам не щупал

pro.jvm

04 Dec 2024 14:21

не смог даже резюме по книге сделать