4254
❤️☠️🤗 идейная миграция небытия
Естественная мужская потребность поставить печку в спешалти кофейне.
К слову отличный кофе наливают в the good coffe society
Eastern Europe research - мы считаемся на майнинг кластере, в лабе можно курить
Western Europe research - тканевый постер можно использовать как простынь
OpenAI грозит финансовый крах?
По данным нового отчета The Information, в 2024 компания может потерять до 5 миллиардов долларов. По данным их инсайдеров, по состоянию на март этого года OpenAI уже потратила почти $4 миллиарда на аренду серверов.
Плюсом к этому идут затраты на обучение (по оценкам, $3 млрд). Кстати, в начале года на это планировалось потратить всего $800 млн, но что-то пошло не по плану.
+ Зарплаты, которые составляют примерно $1.5 млрд. Учитывая, что общая выручка оценивается примерно в $4 млрд, несложная математика указывает на огромный дефицит. Похоже, Microsoft опять пора готовиться расчехлять кошелек.
Когда у тебя почти самый быстрорастущий бизнес в истории, а денег все равно нет 🔵
Новая модель мистраля неплохая, но они не оплачивают бар на своем afterparty так что мы такое не любим.
Скачать тут
Чем больше я общаюсь с openai челами, тем больше ржу со слов про agi за три года и agi achieved internally
Читать полностью…
Произошел релиз ллама 3
https://llama.meta.com/
- 128к токенов, какие то дистиляции и 405б версия
Гугл рассуждает что они опять придумали все первыми
Читать полностью…
Мы ищем стажеров!
👩🌾 shorties — это персональная программа, в которой мы выращиваем таланты до полноценных Research Engineer’ов или Research Scientist’ов в зависимости от ваших интересов.
🔭 Intern Research Scientist
Вы будете заниматься написанием статей на top-tier ИИ конференции (NeurIPS, ICLR, ICML) и участием в научном дискурсе: проведение экспериментов, проверка и генерация исследовательских идей, которые направлены на развитие научного знания.
🧪 Intern Research Engineer
Вы будете заниматься созданием новых frontier-технологий и применением Reinforcement Learning в реальных задачах.
Завтра выступаю на воркшопе ICML в 12:30 по мск, можно зарегистрироваться послушать бесплатно.
Towards Full Linguistic Diversity in Language Models
The 7th workshop on Neural Scaling Laws
🟣Расписание
🟣Регистрация на воркшоп
Чёт я жалею что не подписался как
Underground Eastern Europe AI startup
Я впервые с начала войны двигаю на конфу, если вы будете на icml - присоединяйтесь к чату сходки
/channel/+QfAm2S9Ll_FjZTYy
Слушаем охуительный "за границей" от "второй ка"
https://huggingface.co/AnatoliiPotapov/T-lite-0.1
https://huggingface.co/AnatoliiPotapov/T-lite-instruct-0.1
https://t.ly/T-lite
GrandMaster-PRO-MAX - Первый крупный высококачественный русскоязычный SFT датасет
Совместно с Vikhrmodels, представляю вам датасет для инструктивного обучения LLM полученный не с помощью переводов ответов моделей с английского языка. Он диверсифицирован по темам и позволяет моделям следовать самым разным инструкциям на разных языках (в основном на русском) и отвечать, так же, в основном на русском языке.
Ответы за ассистента в этом датасете полностью сгенерированы GPT-4-Turbo-1106 с нуля по исходным инструкциям от пользователя. Это позволило получить очень качественный русский язык в ответах без артефактов перевода. Исходные инструкции были взяты из различных источников, в том числе синтетических для подкрепления отдельных способностей вроде математики, программирования, следования формату и тд.
Кроме того, характерной особенностью является то, что модели обученные на этом датасете будут иметь уже "вшитую" способность к Chaint-Of-Thought (CoT), за счет использования более сложного промпта для генерации большинства ответов (подробнее в карточке датасета).
Содержит примерно 142 тысячи уникальных пар инструкция - ответ. Денежный эквивалент генерации такого датасета с нуля - около 4к долларов.
https://mccme.ru/dubna/2024/
приближается ЛШСМ-2024 (доступно расписание, анонсы курсов; планируются прямые трансляции большинства пленарных лекций)
утром в субботу всё начнется с лекции А.А.Разборова про арифметическую комбинаторику и лекции С.К.Смирнова про замощения
Соре, мы не сможем больше общатся, ваше увлечение RL оказалось не пост иронией
Читать полностью…
A Girl's Perspective on Bay Area Men
lownhq @ Meta
Hi everyone, as a gal, I am offering you my view on why many of you are not getting laid for years on end. First of all, most tech workers over here are bottom of the barrel in terms of sexual attraction anywhere in the world. Your job and salary and maybe education can compensate to a point, but they still don't fully address the attraction gap. If you moved elsewhere in the United States, you won't do much better. If you go to a 3rd world non-white country, you might do a lot better due to different standards of beauty. Second, being a millionaire SWE with a TC over 500k over here is not that big of a deal especially when the guy is too busy with work most of the time and boring outside of work. Girls want someone who makes their lives better and more interesting, not a drone with a bigger bank account. Third, there area lots of high quality men in the Bay Area and tech guys are at the bottom of the pyramid. There are men with generational wealth, corporate execs, successful startup founders, VCs, private equity guys, not to mention doctors, lawyers, and professors at Berkeley and Stanford. SWEs are just the minions who work for all these other people to put it bluntly. At the director level, tech guys start to have a chance to compete with other types of guys. I personally put an engineering director at first and second tier companies on the same level as a successful doctor or big law lawyer.
What I said above applies for women under the age of 35. Between the ages of 35 to 40, women will start to lower their standards especially if the man is younger than her. The market skews in favor of men starting around the age of 40 as women start thinking about menopause.
Yes, I know this is harsh, but I think knowing the truth can't hurt because then you can plan accordingly. The bar for men in the Bay Area is really high and it's not fair for you guys. But that's how the world is.
@blind_feed
Лютая хуйня, openai будут заливать инвест бабки, как тот же uber, у ребят есть шансы подмять все и инвесторы это не упостят
https://www.datacenterdynamics.com/en/news/openai-training-and-inference-costs-could-reach-7bn-for-2024-ai-startup-set-to-lose-5bn-report/
Записали на студии Яндекса видео с объяснением метода статьи и результатов.
Если кто-то будет завтра гулять по постер сессии на ICML - заходите, поболтаем.
На конференции есть три задачи:
- набухатся за счёт квантов
- не ходить на работу не беря отпуск
- приехать с рюкзаком, уехать с чемоданом мерча
Эм погодите, это что выходит gpt4о level в паблике? А что там с gpt4.5?
Читать полностью…
Everything is lookup table if you brave enough
Читать полностью…
Почему в России до сих пор нет Research Z?
Что за omutai(типа топится?)
Новый робот от китайцев из unitree теперь и с колесами!!
Читать полностью…
🚀 Если Вам интересно машинное обучение и/или математика - приглашаем Вас принять участие в проекте по применению методов МЛ/RL к теории групп/графов Кэли - напишите @alexander_v_c - если хотите принять участие, а также заходите на вводный вебинар (знаний теории групп не требуется):
👨🔬 Александр Червов (к.ф.-м.н) "Методы МЛ в теории групп - введение и обзор достигнутого"
⌚️ Понедельник 22 июля, 18.00 (по Москве)
Методы машинного обучения могут быть применены к ряду классических задач теории групп - разложение элемента по образующим, оценки диаметра. Мы приглашаем принять всех участие в данном проекте. Предварительное требование - знание Питона и наличие нескольких свободных часов в неделю. Если вы хотите улучшить свои знания по МЛ/RL и внести вклад в развитие науки - это отличный шанс .
В данном докладе мы простым языком объясним формулировки основных задач, и как задачи теории групп переводятся на язык машинного обучения. Предварительных знаний не требуется. Также, мы дадим обзор уже достигнутых результатов - в частности для группы порядка 4*10^19 (Rubik cube) нам уже удается находить решение задачи за минуты , а не 40 часов ГПУ как было в предыдущей работе "DeepCube".
План доклада:
1 Переформулировка основной задачи на простом языке матриц
2 Матрицы перестановок и группы типа кубика Рубика (см. ноутбук "Visualize allowed moves": https://www.kaggle.com/code/marksix/visualize-allowed-moves )
3 Графы Кэли и переформулировка основной задачи как поиск пути на графе
4 Случайные блуждания по графам - создание трейн сета для МЛ-модели
5 Подход к решению задач теории групп через машинное обучение. Оценка дистанции до цели через МЛ-модель и проблема наличия множественных локальных минимумов у этой оценки
6 Beam search. (Один из вариантов борьбы с застреваниями в локальных минимумах)
7 Бейзлайн реализация: МЛ+ Beam search - ноутбук: https://www.kaggle.com/code/alexandervc/baseline-1-for-permutations - решение кубика Рубика за пару минут
8 Cледующие шаги: RL-часть, улучшение нейросеток, улучшение трейн сета, улучшение beam search
Добавляйтесь в группу проекта: /channel/sberlogasci/10989 и пишите @alexander_v_c - если Вам интересно !
PS
См. также предыдущий вводный доклад:
/channel/sberlogasci/10989/15283 "Введение в методы поиска короткого пути на больших графах" (Кирилл Хоружий )
Zoom link will be in @sberlogabig just before start. Video records: https://www.youtube.com/c/SciBerloga - subscribe !
Неизданное (а хотелось бы, чтоб изданное) от Валентина Стрыкало
«Внутри меня»
«Осень»
«Без Меня»
«Гори»
«Ты не такая» (акустика)
«По трубам»
«Если будет снег»
Спасибо ребятам из тинька за использование и cite нашего бенчмарка.
прессрелиз
После ухода Ильи суцкевера в опен АИ разучились рисовать график роста параматров и вышла gpt4o-mini.
Дешевле всего что есть на рынке(15c,60с) на вход и выход за 1м токенов, подозреваю что сопоставима со страшим опенсурсом по качеству.
Blog
Слава опенсурсу!
Увидел в твиттере реп + видос с демкой multi device инференса и это выглядит вау как круто!
github
twi
ColorfulXL v7 is out!
https://huggingface.co/recoilme/colorfulxl
https://civitai.com/models/185258/colorfulxl
Ничего необычного, просто файнтюн обычного SDXL