pro.jvm
04 Dec 2024 14:37
даже лучше 5090 (которая лучше для генеративного ИИ типо видео/картинок/звука)
Читать полностью…
pro.jvm
04 Dec 2024 14:37
и может так получится, что студия станет номер 1 сетапом для локальных ллмок
Читать полностью…
pro.jvm
04 Dec 2024 14:36
ну там max/ultra еще нет вроде
Читать полностью…
pro.jvm
04 Dec 2024 14:36
мини на м4 про уже есть, стоит недорого и крутые результаты показывает
Читать полностью…
pro.jvm
04 Dec 2024 14:35
а мак просто тонким клиентом останется
Читать полностью…
pro.jvm
04 Dec 2024 14:34
да, но я хочу дождаться тестов 5090 и ценника на нашем рынке
Читать полностью…
pro.jvm
04 Dec 2024 14:33
структурно любой код это:
- дерево идентификаторов;
- несколько графов (зависимостей, управления потоком, наследования)
но эти факты никому ничего не дадут сами по себе, да и в контексте «умеем перемеожать матрицы, много и быстро» тоже
Читать полностью…
pro.jvm
04 Dec 2024 14:31
проблема в том, что llm это про статистику и перемножение матричек
я бы сказал, что отчасти это и есть проблема, мы как вид не очень понимаем что так а что не так с языками (хомского не предлагать)
Читать полностью…
pro.jvm
04 Dec 2024 14:31
ведь на твой промпт возвращается конструкция кода
Читать полностью…
pro.jvm
04 Dec 2024 14:30
Я вообще это представить не могу
Читать полностью…
pro.jvm
04 Dec 2024 14:29
железо растет в мощности, локальные ИИ - наше настоящее и будущее
Читать полностью…
pro.jvm
04 Dec 2024 14:29
тут должна быть шутка про хуякхуяквпродакшн
Читать полностью…
pro.jvm
04 Dec 2024 14:28
не, тема очень интересная. я сильно сомневаюсь что ближайшее время будет массовое использование локальных LLM на своих рабочих машинах, а вот корпорации будут поднимать и код-асистентов и умных помощников, обученных на локальной базе знаний. в пайплайны для ревью будут встраивать и тд.
Читать полностью…
pro.jvm
04 Dec 2024 14:25
@ годный доклад от тинька вчера был про векторную базу
Читать полностью…
pro.jvm
04 Dec 2024 14:24
лучше больше параметров, но ниже квантизация
Читать полностью…
5858