4253
❤️☠️🤗 идейная миграция небытия
зарабатывать на разводе бабок на комиссии, говорить что вы ИТ компания
Читать полностью…
ищу хорошего сантехника в московской области, если можете пореферить в личку @alexwortega
Читать полностью…
Ну и как вам новый voice mode? Я четвертый день не могу понять зачем оно.
Читать полностью…
https://arxiv.org/abs/2409.15997
Если ваша ресерч лаба без аниме даже не зовите меня.
https://huggingface.co/Vikhrmodels/Llama-3.2-3B-Instruct
https://huggingface.co/Vikhrmodels/Llama-3.2-1B-Instruct
https://huggingface.co/Vikhrmodels/Llama-3.2-1B
https://huggingface.co/Vikhrmodels/Llama-3.2-3B
Работаем братья
ЛЛАМА БУДУТ СВОБОДНЫ!
Тут недавно MERA обновилась: /channel/hikonon/59
Я тут полез Сайгу залить. И знаете что? Оно до сих пор не работает. На этот раз про openai api написали в README, но сам скрипт положить... забыли? Вот тикет.
какого хуя это агент, вы ебанулись все что ли
Читать полностью…
Апдейт моделей Gemini 1.5 Pro & Flash
Вышла в свет очередная вещь, над которой я работал летом – обновление основных моделей Gemini. Из хайлайтов: +8% MMLU Pro, +23% 👽 на Hendrycks MATH, +10% на GPQA Diamond для Flash модели.
Цена на Gemini 1.5 Pro порезана больше чем в два раза. Также добавили Gemini 1.5 Flash 8B в Gemini API и Google AI studio.
🤗 Пост для сбора фидбека о новых моделях
Прошло уже некоторое время с релиза и я надеюсь, что вы успели попробовать наши модели (в Gradio, в ботах, в LM Studio или, быть может, в уже в реальных проектах).
Нам хотелось бы лучше понимать, какую пользу (или наоборот) мы приносим пользователям своими релизами и что работает хорошо, а что не очень и можно было бы добавить/доработать в следующих версиях. А также перформанс относительно других моделей.
Поделитесь, пожалуйста, юзкейсами, где вобще применяете LLM, в каких задачах (не только наши, любые). Присылайте хорошие/плохие/интересные примеры в комментарии, постараюсь помочь с проблемами с использованием.
Кстати, если вам понравились модели не забывайте ставить лайки в карточках моделей на HF (Vikhr-Nemo, Vikhr-Llama), а так же звездочки в Github - это поможет нам в продвижении и просто будет приятно.
Почему т банк а не z bank
Только неправильные ответы
Mcts-lib
Мы релизнули либу для улучшения генераций за счет MCTS(+10 пунктов по ru General Arena)!
Как это работает?
1. (Инициализация): Представьте, что вы начинаете с первой версии ответа, который модель предлагает. Чтобы не попасть в ловушку одного-единственного мнения с самого начала, модель также добавляет запасной вариант вроде “Я не знаю”. Это как стартовая точка, которая позволяет не зацикливаться на первой попытке.
2. (Selection): Из всех возможных вариантов ответа мы ищем тот, который выглядит самым перспективным, но при этом ещё не был полностью изучен. Это похоже на то, как вы бы выбирали, на какой вопрос или задачу потратить своё время дальше, полагаясь на интуицию и текущие знания.
3. (Self-Refine): Теперь, когда выбрали ответ, мы пытаемся его улучшить. Представьте, что вы показываете свой ответ опытному другу, и он говорит вам, что можно улучшить. Модель делает что-то похожее – она сама генерирует советы и, следуя этим подсказкам, старается улучшить ответ.
4. (Self-Evaluation): После того как ответ был доработан, модель оценивает его. Это как если бы вы сами посмотрели на свой улучшенный ответ и подумали: “Насколько это хорошо? Честно ли я оцениваю свой труд?” Чтобы оценка была объективной, модель специально избегает ставить идеальные баллы, чтобы не обманывать себя.
5. (Backpropagation): Если улучшенный ответ оказался хорош, эта информация передаётся обратно к родительскому узлу и другим связанным ответам. Это как если бы вы поделились своим новым знанием с друзьями, чтобы все в группе тоже стали умнее.
6.Актуализация планов (UCT Update): Когда все оценки обновлены, модель пересматривает свои планы и решает, какие варианты стоит изучить дальше. Здесь работает формула, которая помогает ей оценить, куда лучше направить внимание в следующий раз, чтобы стать ещё более эффективной.
Работает с openapi like apiшками, можно и llamacpp подключить и gpt4o!
github
оригинальный папир
ИТЕРАЦИЯ #0
А мы сегодня запустили первую версию переводчика на лезгинский язык и обратно, можете потыкать прям тут
Попросили как-то админку квант барби провести урок математики в школе. Админка согласилась. После урока спрашивают, мол, что, как, были ли проблемы?
- Ну, был один школьник. Спрашивает, мол, что такое интеграл, а я в душе не ебу, что это такое.
- Ну, и как вы из ситуации вышли, как ответили?
- Я ответила уклончиво: мол, иди ка ты на хуй.
Пол часа с хуем в день полезнее чем два часа митингов
Читать полностью…
У EleutherAI вышел классный гайд по muP параметризации LLMок.
Для тех, кто не знает, muP – Maximal Update Parameterization – это серия статей, в которых Greg Yang (сейчас в xAI) развивает теорию параметризации глубоких сетей. Что-то вроде Neural Tangent Kernel или анализ сетей при помощи теории среднего поля, но с выводами более таргетированными на обучение сеточек градиентным спуском. Один из результатов – стабильная инциализация параметров сетей, которая позволяет избавиться от необходимости тюнить learning rate градиентного спуска.
В статье "Tensor Programs V: Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer" с ребятами из OpenAI Грег выводит методы инициализации трансформеров. Нужно сказать, что, скорее всего, в индустрии не все инициализируют веса по muP, всё-таки теория и практика отличаются на практике. Тем не менее, с muP для каждой части нейросети мы можем (хотя бы в теории) сказать, корректно ли она пропускает через себя градиенты. Градиентные энергетические блоки – бич многих глубоких сеток, и дебажить такое – сплошная головная боль.
Сам Грег предлагает начинать знакомиться с теорией со статьи "A Spectral Condition for Feature Learning", к чему мы с уважаемыми подписчиками и приступим. 🤓
🔥 Новое пополнение в семействе вихрей!
⚡️ Vikhr-Llama-3.2-1B-Instruct — компактная и мощная языковая модель, созданная на базе Llama-3.2-1B, специально обученная на русскоязычном датасете GrandMaster-PRO-MAX. Её эффективность в 5 раз выше по сравнению с базовой моделью, и она идеально подходит для мобильных и слабых устройств, занимая всего до 3GB.
💡 Что нового?
- Инструктивная дообученная модель: разработана для русскоязычных задач
- Компактный размер: всего 1B параметров
- Мощь в компактности: работает на уровне более крупных моделей
🔗 Подробнее о наших моделях: Vikhrmodels/Vikhr-Llama-3.2-1B-Instruct
Коллектив авторов: @LakoMoorDev @nlpwanderer
почему никто не ресерчит ебаные идеи для ресерча
Читать полностью…
Залил Qwen 2.5 70B и Gemma-2 27B в ArenaHard. Я не сомневался, что они хороши, но каким-то загадочным образом Квен обошёл Соннет. У меня 2 версии:
1) GPT-4 не любит Клоды, а он там судья.
2) Бейзлайн (gpt-3.5) уже слишком плох и мешает различать хорошие модели.
Весь замер с моей стороны обошёлся в 20 центов. Я платил только за инференс самих моделей, суд оплачивает бенчмарк.
https://huggingface.co/collections/unsloth/llama-32-all-versions-66f46afde4ca573864321a22 алол уже unsloth перезалили
Читать полностью…
Welcome to the future motherfuckera
Release llama3.2
хотите агента который смотрит в прошлое?
messages +=[message]
мемы порождены этой репой, если вы первый день трогаете питон может быть стоит(не стоит)
Команда gcp не знает про Модели Близнецов и поэтому переводит как получается
Читать полностью…
https://huggingface.co/glif/how2draw
крайне любопытная lora how2draw
Ценность опенсурса в возможности FT. На апи и подписках зарабатывают и окупают модели еденицы, а ценность которую можно утащить из опенсурса велика - хороший пример это SD комьюнити которое стало автономно от моделей и создало столько инфраструктуры что можно конкурировать с MJ(особенно если знаешь что нужно)
я пожалуй выйду и оставлю все на своих местах
ссылка
HF выложили Finevideo
4k часов, аннотированных через gemini pro
hf
Интересно, а люди в твиттере знают почему роботы со второго скрина так и не стали массовыми?
Новость с роботом здорового человека
Тви
Also отлично на ролеплее!
Бенчмарк ping pong Ильи
Ссылка