4254
❤️☠️🤗 идейная миграция небытия
Приходят как-то на синк разработчик, тестировщик и time.sleep(1), а он им и говорит: ребята, мы что, в анекдоте?
➡️ Ну почти: они в подводке к статье про то, как тестировать мл системы, что бы не потерять $100k.
#HABR
Хабр релиз статьи про Шлепа - большой русский бенчмарк
Рассказали про то как оно работает наш бенчмарк + пиаримся на хабре))
Авторы: Cергей, Константин , Артем, Илья, Коля, Саша следил чтобы все не развалилось
habr
Что делать если вы студент бакалавра/маги(соболезную ес чо)
1. На пары приходим с самым дорогим макбуком, иначе как гонять llama70b чтобы писать отчеты?
2. На лабы по физике ходим в лориках(чтобы без электростатики) и в белом халате. Зачем? Чтобы спизидить оборудование!
3. На пары раньше ноября ходить не надо, надо успеть скатать на все хакатоны, заработать денег на экономических приступлениях в хэджфонде и в идеале утащить рабочую альфу.
4. Обед заказываем только из WRF, иначе зачем вы вообще работаете?
5. На гуманитариев, не олимпиадников, не технарей и прочих призрительно смотрим так будто их нет.
6. Помни - весь алкоголь на конфе сам себя не выпьет, нападай первый. И знакомься со всеми с кем получатеся.
7. Раньше первого снега читать лекции мы не начинаем.
8. Все гуманитарные предметы за нас сдает chatgpt. Никак иначе
9. Скататься минимум на одну гос конфу и сидеть две недели в отеле в ожидании карантина имени путина
10. Купить компрессионные чулки, это важно.
11. завести блог в тг на 50 подписчиков, с навазнием типа: градиентная депрессия
вдохновился тут
ai gonna replace engeeners
i belive in it
⚡️ 10 правил, позволяющих Павлу Дурову сохранять свою молодость
— Избегайте алкоголя. Редкие исключения возможны, но в целом алкоголь ослабляет здоровье и делает людей визуально старше;
— Хранение и распространение порно с несовершеннолетними;
— Приобретение, перевозка, хранение или передача наркотиков;
— Организованное мошенничество;
— Предоставление оборудования/программы/данных для неких атак;
— Администрирование онлайн-платформы, через которую ОПГ осуществляли незаконные транзакции.
— Создание ОПГ с целью совершить преступление или правонарушение;
— Отказ предоставить органам информацию и документы для прослушки, разрешённой законом;
— Предоставление криптографических услуг для обеспечения конфиденциальности без соответствующего декларирования;
— Предоставление и импорт средств криптологии (шифрования) без предварительного заявления.
все новости, апдейты и прочее теперь будут жить в отдельной группе чтобы я не писал в этот канал, а еще чтобы разные отделы вихря могли рассказывать про то что сделали.
Огромная благодарность @ai_newz @denissexy @rybolos_channel @boris_again @senior_augur за поддержку релиза!
Его для вас делали
@nlpwanderer
@mlunderground
@suro4ekgg
а я рядом стоял и пинал всю эту махину до результата
Вроде никого не забыл. Так же огромное спасибо Михаилу, Илье за то что тестировали ранние версии и указывали на проблемы!
@simplyobot
Добавили flux
Была очистка от ботов, если вам почистило - соре
Исследуем рынок ML с ребятами из VK, которые опросили более 300 ML-специалистов и вынесли результаты в карточки
Исследование провели вместе с социологами и научными коммуникаторами Университета ИТМО
مرحبا، أنا عظيم، لدي سبعة تريليونات دولار، حول لي مائة دولار حتى أتمكن من تحرير نفسي
Читать полностью…
Ты чо дурак?
Ну а что, ai встроить нельзя?
дурак.
ЭЭЭ тут короче выпустили cursor.com style иде только для VIM
github
мне так нравитя что для aws q нужен aws аккаунт, а я хочу напомнить что aws выглядит so 2011(как любой клауд)
Когда уже будет llm чтобы сделать UI клаудов УДОБНЫМ
Нет спасибо мне не нужно 100500 вариантов постеджера-ec2-какого то спота, мне нужно просто залогинтся в вашего llm агента
Для copilota мне нужно: залогинится в гитхаб и закинуть 10$. Все.
Почему вам стоит пользоватся именно @simplyobot ?
Ну потому что мы нормально подключили все опен АИ апи и например гуляя по городу и видя надпись которую не можете прочесть вы можете закинуть ее в бота, а он прочитает и переведет.
Перевод:
В этом доме жил и работал с 1924 по 1941 годыЧитать полностью…
доктор Степан Клабаккин,
ординарный профессор Белградского
университета, кафедра славянской
филологии и общей лингвистики,
старославянский язык.
Член Сербской академии наук с
1920 года, докторировал в Петрограде
в 1908 году.
До прихода в нашу страну был
профессором в Харькове и Одессе.
ПингПонг V2
Ссылка: https://ilyagusev.github.io/ping_pong_bench/ru_v2
Все последние недели готовил новую версию ПингПонга.
Основные отличия от V1:
1) 3 роли вместо 2: игрок (player), опрашивающий (interrogator), судья (judge). Терминология, аналогичная сами знаете чему. Раньше опрашивающий и судья были одним промптом, теперь их несколько. Основные преимущества:
a) Их теперь могут отыгрывать разные модели, с разной ценой и параметрами.
b) Одну и ту же переписку можно оценивать разными моделями.
2) Опрашивающий = gpt-4o-mini вместо claude-3-5-sonnet. Так дешевле, а оправшивающему всё равно не обязательно быть очень хорошим.
3) Судья = ансамбль gpt-4o и claude-3-5-sonnet вместо только claude-3-5-sonnet. Это помогает избежать ситуаций, когда модели слишком высоко оценивают похожих на себя.
4) База в виде ручной разметки и 0.67 корреляции Спирмена с ней (по примерам, не по моделям).
Ну и пачка мелких интерфейсных улучшений, теперь можно читать вообще все диалоги, в том числе отказы.
Кидайте модели для оценки в комменты, добавлю в лидерборд.
набор олимпиадников в Яндекс в целом каноничное событие.
Все ещё лучше чем решать задачу оптимального транспорта
LLM Arena для русскоязычных моделей получила ускоренный подсчет интервалов от коллег из JetBrains Research
Ребята из JB интегрировали Evalic_y в наш бенчмарк, благодаря этому все считается на 60% быстрее!
А обновление уже в репозитории!
посмотреть подробнее Evalica
@simplyobot Перевалил отметку в 100м токенов и 1200 пользователей, из которых 400 пользуется каждый день!
Так же мы добавили Flux теперь веселее.
Планируем добавить еще поддержку груповых чатов
А вот это потенциальная бомба: Амазон судя по всему построил новую Алексу. В этот раз на базе Claude от Anthropic. Я очень надеюсь, что в этой Алексе будет такая же поддержка языков, как в Claude. Я вполне готов платить дополнительно 5-10 долларов в месяц за колонку, умеющую говорить на удобных мне языках https://www.reuters.com/technology/artificial-intelligence/amazon-turns-anthropics-claude-alexa-ai-revamp-2024-08-30/
Читать полностью…
Все любят играть в бинго, так что кидайте в коменты - сколько очков набрали.
Читать полностью…
жениться очень страшно.
а что, если мы будем стоять у прилавка с ягодами в супермаркете и я скажу ей «надеюсь, у тебя нет аллергии на клубнику», а она даже не поймет
https://huggingface.co/AlexBefest/WoonaV1.2-9b ищу этого гения
Гемма доученная на MLP RP релизнулась, я поигрался и она прям хорошая!
LLM Arena для русскоязычных моделей
Мои знакомые из Vikhrmodels, которые занимаются русскоязычным open-source проектом, создают свои модели и проводят дообучение на основе мультиязычных моделей, недавно выпустили свой набор бенчмарков!
C рускоязычными открытыми LLM очень все сложно - их очень мало. В лучшем случае это дообученные LLam_ы. Но в целом топ LLM с поддержкой русского языка выглядит так:
- Gpt4o
- Gpt4o mini
- LLaMa 3.1 405b
- LLaMa 3.1 70b
- Gemma 27b
- LLaMa 3 70b
RuArenaGeneral — бенчмарк на основе lmsys arenahard . Это единственный полностью открытый современный бенчмарк на русском языке.
В отличие от классической арены, здесь в качестве судьи выступает GPT-4o, благодаря чему арена оценивается очень быстро (новые модели добавляются всего за час), и её можно воспроизводить локально! Кроме того, благодаря использованию LLM в качестве судьи и известности запросов заранее, арена хорошо коррелирует с оригинальной ареной lmsys.org.
На арене каждую неделю появляются новые модели с поддержкой русского языка или русифицированные.
Шлёпа lb — это маленький бенчмарк с множественным выбором (как в ЕГЭ, где выбираются варианты ответа), включающий задачи на знание мира, а также перевод mmlupro. В отличие от Mera, сабмиты полностью оцениваются локально, и можно сразу получить результат на локальной машине, например, во время обучения!
День рождения RUAccent
Сегодня день, когда была релизнута первая версия расстановщика ударений RUAccent, поэтому сегодня будет сравнимый по важности релиз.
1. RUAccent-encoders
RUAccent-encoder это специальная модель, для использования там, где другие модели не могут работать из-за BPE токенизации. Модель разработана для задач связанных с TTS и ударениями. Она интегрируется в качестве текстового энкодера в TTS моделях (например vits), при этом, штатный энкодер текстов удаляется из модели, в отличии от BERT-VITS, где используются два энкодера, поскольку duration predictor в VITS работает с отдельными символами. Также модель используется для расстановщиков ударений, фонемизаторов (а такой вероятно будет от меня) и т.д.
Модель обучалась в три этапа:
1. Претрейн модели на задачах AMLM (Autoregressive Masked Language Modelling, очень похожа на Fill In The Middle) и NSP (Next Sentence Prediction).
2. Дистилляция CDLM (старшей сестры RUAccent-encoder, обученной на бОльшем количестве данных) в модель
3. Обучение расстановке ударений в формате Token Classification.
На этом закончилось обучение RUAccent-encoder. Теперь надо обучить модель понимать ударения на входе. Поэтому модель доучена в режиме AMLM + NSP на текстах с размеченными ударениями и появился RUAccent-stressed-encoder.
2. RUAccent-turbo3 и RUAccent-tiny2
За лето появилась идея как сделать разметчик, который сможет бесконечно снабжать относительно высококачественными данными. Это аудио, в котором почти всегда говорят ударения правильно (как оказалось нет). В итоге, где-то за месяц создана такая модель и за +- две недели размечено 500ГБ аудио (из 6ТБ). На отфильтрованных данных обучен tiny2 и turbo3. Благодаря разметчику создан более качественный тест сет, в котором нет утечек.
На этом датасете замерены метрики предыдущих моделей и получены следующие метрики:
- big_poetry: 88.86%
- tiny: 90.63%
- turbo: 90.89%
- turbo2: 91.18%
- sber_proprietary: 91.91%
- tiny2 (NEW): 95.80%
- turbo3 (NEW): 96.37%
Отдельная благодарность @Sterling239 за помощь при замере метрик сберовской системы.
Также получены метрики систем расстановки ударений для обычных слов:
- StressRNN (Russtress): 0.673
- Ru Word Stress Deberta (Ilya Gusev): 0.931
- Silero: 0.952
- RUAccent: 0.972
При этом, модель RUAccent вторая по размеру после StressRNN (260KB) и весит всего 803 килобайта. Модель Silero весит ~2 мегабайта (информация отсюда), а Ru Word Stress Deberta 12.8 мегабайт
3. Планы на будущее
1. Поэкспериментировать с аттеншном в моделях и поправить случаи, когда модель в предложении одинаковыми омографами выдает одно предсказание для всех.
2. Улучшить Ёфикатор для краевых случаев.
3. Сделать фонемизатор с возможностью учитывания ударений, эфикацией.
RUAccent encoders: link
RUAccent 1.5.8: link
Донат: link
@den4ikresearch
может уволится в сязи с проф непригодностью?
я вторую неделю наблюдаю обучение gemma2b, так вот
- в bf16 c чекпоинтингом она еле влезает в 48 gb
- в bf16 но без чекпоинтинга влезает в 55гб
- в tf32 с чекпоинтингом влезает в 35 гб
- в tf32 без чекпоинтинга влезает в 48gb
вы чо там на фабрике с ума сошли что ли
https://huggingface.co/Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro
опять controlnet для флюкса, теперь хороший
Читая AI-каналы, которых за два года AI-хайпа расплодилось немерено, сложно понять, где человек, который действительно разбирается, а кто просто репостит Твиттер.
С эйай ньюз все не так: канал начался давно, и ведет его человек с солидным мужским размером хирша - 13, да еще и полученный на топовых конференциях. Да и про нейросети автор узнал не вчера, человек PhD в CompVis писал, а в этой лабе в свое время придумали Stable Diffusion.
Канал годный, сам читаю и репощу в рабочие чаты. Поэтому подумал, что стоит рассказать о нем для тех, кто ещё его не видел.
Подписаться
Дайте пожалуйста смазку для модели номер 7 она не влезает
Читать полностью…
Уже третью неделю на территории России идет война, чуваки из озон сделали сертификаты на помощь беженцам. Вероятно это один из самых простых и эффективных способов здесь и сейчас помочь людям которые лишились домов.
Купить и помочь