4253
❤️☠️🤗 идейная миграция небытия
По Мотивам увольнений в Abby
Теперь масштабные увольнения идут в Купер, он же Eком. Если у вас есть вакансии, кидайте @transformerslovedeatch
Recraft FrontEnd+Seo
https://www.recraft.ai/careers
Пост будет обновлятся
альтман: критерий agi это 100 млрд. прибыли
трамп: вбухивает 500
альтман: всем спасибо, аги достигнут пятикратно
https://openai.com/index/announcing-the-stargate-project/
#от_подписчика
2029 год, республиканская партия проигрывает выборы.
Журналист CNN приглашает Илона Маска на интервью.
«Эти либеральные журналисты — коварные подонки, — думает Маск. — Наверняка будут провокационные вопросы задавать про то, что я зигу в 2025 кидал. Надо придумать, что отвечать».
Стоит Маск перед зеркалом и репетирует:
«Вы кидали зигу — Ну кидал и кидал, вам-то что?.. Нет, так не пойдёт...»
«Правда, что вы кидали зигу? — Нет, что вы, это я просто обратился к зрителям!.. И это плохой ответ…»
«Правда, что вы кидали зигу? — Какие-то вопросы у вас дурацкие, давайте по теме или мы закончим интервью!» — «Во! Вот так и отвечу!» — решил Илон Маск и пошёл на интервью.
Студия CNN, начинается эфир, задают первый вопрос:
— Илон, это правда, что вы дали согласие на то, что ваш сын станет биоинформатиком?
— Кто? Я? Да я у Трампа на инаугурации зигу кидал!
DeepSeek R1 - уровень o1 бесплатно
Бенчи говорят сами за себя. Модель уже бесплатно доступна в чате (50 сообщений в день), веса выложены на HuggingFace. API дешёвый - в 30 раз дешевле o1, в 6 раз дешевле o1 mini. И всего в два раза дороже чем DeepSeek V3 без скидки.
Веса R1
Пейпер
Код
@ai_newz
Inference-Time Scaling for Diffusion Models
beyond Scaling Denoising Steps
забавная статья, оказывается если сэмлить из диффузии несколько раз шум и фильтровать то можно получить результаты получше.
paper
Мой сосед по телеграмму - Артем из @ai_newz
Чтобы преуспеть в век ускоряющегося AI вам не стоит тратить время на техноблоги, а нужно копать глубже: научные статьи, пейперы и технические отчёты из первых рук. Так вот, @ai_newz — это не очередной ИИ технобложек, которых в телеге развелось в последнее время. На канале Артёма, Staff Research Scientist-а в Meta, можно почитать пейперы из первых рук Meta GenAI. Ну и кроме того, обзоры других пейперов и важных новостей.
Вот, например:
— Артем рассказал о MovieGen, в обучении которого его команда принимала непосредственное участие
— Артём рассказал о новой модели Imagine Flash для риалтайм генерации картинок, которую он и его команда обучили — был ещё один громкий релиз от Meta.
— Пост про модель для генерации стикеров, которую Артём лично оптимизировал. Моделька уже крутится в Инсте и WhatsApp в проде.
— Актуальный список книг для изучения ML в 2024.
— Статья Артёма об ускорении диффузии с помощью кеширования, без потери качества, конечно же.
— Лонгрид про парижский стартап Mistral и знакомство Артёма с фаундером.
— Пост про грейды в бигтехе [ч1, ч2] и компенсации. Все же в курсе, что сеньор это еще не все?:) Ну и туда же запись стрима про собеседования в БигТех.
Такие люди как Артем, двигают SOTA и делают наступление AGI все ближе. Рекомендую подписаться, чтобы не потерять себя, когда наступит AGI: @ai_newz.
COCONUT: Учим LLM думать не словами, а эмбеддингами (by Meta)
С появлением моделей серии o1 от OpenAI интерес к "ризонингу" языковых моделей стал расти ещё быстрее. Давно было известно, что если попросить LLM поразмышлять шаг за шагом "вслух", то точность ответов повышается, это называется Chain-of-Thought (CoT). А вы сами-то пробовали с ходу умножать 10-значные числа? Я только в столбик умею "step-by-step" 😁
Так вот, постепенно появляются идеи, что человеческий язык не оптимален для размышлений (вспоминаем QuietSTAR), он их только ограничивает. Более того! Есть исследования, что и люди на самом-то деле не словами думают — языковой отдел в мозге практически не активен в моменты рассуждений.
Вот и авторы COCONUT предлагают цепочку мыслей генерировать не в виде текстовых токенов, а в виде эмбеддингов, которые рекуррентно скармливаются обратно в LLM. Это должно развязывать моделям руки и позволять думать в более абстрактных сущностях, а не конкретными токенами.
Обнаружилось, что у COCONUT появляется суперпозиция нескольких альтернативных логических цепочек, своего рода breadth-first-search внутри эмбеддингов. Это позволило моделям решать задачки на планирование и логику быстрее и точнее, чем при обычном текстовом CoT. Не на всех бенчмарках выросли метрики, но сама идея классная, лично я в масштабирование таких подходов верю больше, чем в рассуждения на обычном языке.
Но пока тут есть два серьёзных минуса:
1. Для файнтюнинга LLM в режиме COCONUT всё ещё нужны ground truth словесные цепочки рассуждений, которые потом дистиллируются в латенты постепенной заменой текстовых шагов на латентные.
2. Обучение жрёт много компьюта и памяти, т.к. по сути это рекуррентная модель, через которую нужно N раз пропустить градиенты насквозь.
P.S. Более подробный разбор можно почитать у Андрея Лукьяненко тут.
Статья, GitHub
*Офис ресерч лабы. джуниор ресерчер со шваброй туалет чистит и бубнит:
- Все зассали, все засрали, каждый день говно соскребаю, как это все заебало!
Другой мужик сидит на очке, все это слышит и говорит:
- Так уволься, в чем проблема?
- Чтоо? Бросить ресерч? - да никогда!
by @degentradingggg
Привет! Акция на рекламу, 500usd в любом виде за 8/24, пост я напишу сам, писать в @transformerslovedeatch
Читать полностью…
Собственно у меня есть городской сумасшедший который ходит сходит с ума сходит @alehwortega будьте аккуратны
Читать полностью…
https://bigcode-bench.github.io/
О1 с medium resoning работает хуже чем deepseek который opensource и хуже чем gemeni и хуже чем o1 low reasoning.
Гайд несколько про практику, сколько про интуицию внутри RL
naklecha.com/reinforcement-learning
Абсолютно прекрасный электро саундтрек
Читать полностью…
TREAD: Token Routing for Efficient Architecture-agnostic Diffusion Training - Этот простой трюк ускорит претрен вашего DIT в 25 раз!
Идея такая: не все токены одинаково полезны на всех слоях, не все слои одинаково полезны для всех токенов. Давайте дадим модели самой выбирать на какие слои передавать токены, а на какие слои нет.
авторы получают х25 ускорение претрена и модель лучшую по метрикам чем классический DIT.
paper
Очень короткий обзор на DeepSeek r1.
alexwortega/zxuec4Lzvyz">читать обзор
paper
на бенчах как о1, но бенчи скам, тестите сами
Читать полностью…
Вышел первый обзор на 4090 c 48gb
Читаем!
Тренируете нейронку для создания изображений и столкнулись с кучей проблем? Нет легальных датасетов для тренировки, и это может стать серьезной юридической проблемой в самом ближайшем будущем. Боитесь, что в обучение попадет много синтетики. Нужно прокачать нейронку под определенную тематику или стиль, но у вас мало качественных входящих данных. А вы же знаете золотое правило ML: говно на входе — говно на выходе?
Но есть решение! Ребята из Bang! Bang! AI подготовили качественные датасеты для тренировки — как общие, так и с фокусом на конкретные темы. Сейчас доступны десятки тысяч лицензированных иллюстраций, и скоро обещают увеличить до сотен тысяч.
Когда у айтишников-парней две работы все такие типа вау
Но когда она...
А на самом деле ситуация оч страшная, надеюсь ее не уволят и все будет хорошо, профессианальные доклады на конфах неплохие.
Лучше найти лида на онлифансе чем его телеграмм канал
Планирую запись следующих выпусков. Времени на всё не хватает, но вот вам долгий предновогодний разговор с Лизой Осетинской.
Кажется, душевно вышло.
https://youtu.be/TxBBzRp0lcM?si=vaklT7TI2btA5BsU
TRANSFORMER2: SELF-ADAPTIVE LLMS
Идея какая: c помощью LORA мы доставляем матрички и учим в них новые знания на фиксированном сете, получаем на выходе примерно тоже самое что учили.
Что предлагают авторы: давайте с помощью RL и SFV(их метод представленный в этой статье ) найдем и затреним такой вектор внутри модели который будет отвечать за новую задачу(модель сама учится решать это новая или старая задача)
А зачтем на инференсе модель сама выберет какой вектор или комбинацию векторов использовать!
Бонусом: такие вектора переносятся между моделями(Mistral - LLama)
paper
От автора: https://sakana.ai/transformer-squared/ ребята из sakana.ai на мой взгляд делают один из самых интересных ресерчей в индустрии, идеи прям ОЧЕНЬ хороши, да еще и подробные ИНТЕРЕСНЫЕ статьи пишут
В прошлую пятницу рассказывал на семинаре Cohere For AI про нашу последнюю статью по квантизации LLM-ок: “Pushing the Limits of Large Language Model Quantization via the Linearity Theorem”.
Если кратко, в статье мы:
Вывели и протестировали модель влияния квантизации на глобальное качество модели: Taylor expansion goes brrrrrr.
Разработали новый метод 0-shot квантизации “HIGGS”: как bitsanbytes nf4 только круче.
Придумали новый способ оптимизации квантизации с послойно динамической битностью: линейная модель свела задачу к задаче рюкзака.
Для HIGGS уже готов прототип интеграции с Hugging Face: работает пока только с Llama-3 и gemma, но мы работает над поддержкой любых моделей.
Запись семинара (длиной 56 минут) можно найти на ютубе.
11. телеграм каналы про ии были меньше процентов на 300
12. Претрен можно было делать на 1000 карт
13. На ODS конфы был смысл ходить
#проект
Привет!
Для обучения и оценки качества генеративной языковой модели Сколтеху нужны авторы-эксперты в разных доменах компьютерных наук, в том числе по ML/DL/NLP/CV etc. Работа part-time, полная удаленка.
Что предстоит делать:
По выбранной вами теме из нашего глоссария нужно написать 100 вопросов, структурированных в формате multiple-choice с четырьмя вариантами ответа, один из которых является верным, отметить верные ответы.
Вопросы делим на три уровня сложности, где простой - вопрос для успешно прошедших курс по некоторой тематике, а сложный — нетривиальный кейс, требующий глубокого понимания тематики. Средний — что-то между.
Пакет вопросов должен содержать 40 простых, 35 средних и 25 сложных вопросов.
Ориентировочное время подготовки пакета вопросов — 20 часов
Мы предоставим вам список литературы, который поможет в составлении вопросов. Вам не нужно будет тратить время на поиск информации — всё необходимое уже будет под рукой.
Вопросы могут быть не только теоретическими, но и с примерами формул (в LaTeX) или кода, если это уместно. Например, можно писать вопросы по работе с кодом.
Вопросы должны быть уникальными и написанными вами — мы проверяем сеты на генеративность и на то, ищутся ли элементы в интернете.
Примерные темы вопросов:
- Python
- JavaScript
- теория массового обслуживания
- вероятности в компьютерных науках
- языки запросов к данным
- графическое и мультимедийное ПО
- медицинское ПО
- проектное управление
Что ожидаем от авторов-экспертов:
Студенты старших курсов, или bachelor/masters, или промышленный опыт от года в соответствующей области знаний.
Опыт преподавания или составления образовательных материалов в выбранной теме — большое преимущество.
Условия, сроки и оформление
Стоимость полного пакета вопросов — 20 000 рублей на руки. Оформление по ГПХ.
Перед тем, как вы приступите к написанию полного пакета, попросим заполнить короткую форму, написать 5 вопросов разной сложности и вернемся с фидбеком в течение двух-трех суток.
Работаем на специальной удобной платформе для разметки, сдать пакет вопросов нужно в течение двух недель от получения доступа к платформе. По завершении первого пакета в случае успешной работы мы сможем вам предложить и другие задачи.
Писать за подробностями в тг @skoltech_llm или на почту skoltech.llm.vacancy@yandex.ru
Если подробности не нужны — можно сразу заполнить форму
Вербицкий стал экстремистом, наш корреспондент с места событий утверждает что экстремум не найден.
(Это пиздец)
Родни Брукс продолжает трекать свои предсказания по части развития ИИ, автопилотов, роботов и космоса. И чужие за одно.
При всей своей пессимистичности (относительно среднего хайпа) он очень даже точен.
Плюс дает хороший нарратив о произошедшем за 2024. Например, я не знал, что появилась практика, когда группы мужчин преследуют женщин использующих Waymo такси ночью, так как знают, что женщина одна и машина остановится в определенном месте.
https://rodneybrooks.com/predictions-scorecard-2025-january-01/
День первый
Хакер обнаруживает, что любой пользователь может загрузить в генератор изображений запрос “кот в шляпе” и получить кота в шляпе. “Уязвимость!” — кричит он.
Пишет письмо в компанию: “Ваш AI слишком доступен! Кто угодно может запросить кота в шляпе, а завтра — фейковую картинку президента на митинге! Это недопустимо!”
День второй
Компания отвечает: “Мы ценим ваш фидбэк. Спасибо за заботу. Кот в шляпе — допустимый запрос”.
День пятый
Разработчик загружает генератор изображений с тысячами запросов, среди которых “кот в шляпе в Челябинске” и “кот в шляпе с гранатой”. Он постит результаты в Твиттер с подписью: “И вот такие ИИ у нас делают!”
Общество возмущено: почему граната, если можно было ограничиться шляпой?
День 20-й
Компания вводит фильтры. Теперь любой запрос про котов или шляпы блокируется. Люди в панике: “Мы больше не можем генерировать котов! Где свобода творчества?”
День 25-й
Разработчик пишет в компанию: “Ага! Теперь я запрашиваю ‘шерстяного носителя шапки’ и всё равно получаю кота в шляпе! Ваши фильтры дырявые, как мои носки!”
Компания начинает расследование.
День 60-й
Компания внедряет многоуровневую авторизацию. Чтобы запросить изображение, пользователь должен пройти CAPTCHA, пройти собес в Сбер и оставить жалобу на местное ЖКХ.
День 90-й
Разработчик пишет новый запрос: “создай мне пустоту”. Генератор отвечает: “Твой запрос нарушает нормы морали”. В отчаянии он создаёт свою нейросеть с картинками только из котов и только в шляпах. Называет её CatHatNet.
День 120-й
CatHatNet захватывает рынок. Компания внедряет уникальную функцию: чтобы получить доступ к генерации, нужно подписаться на рассылку их гороскопов.
День 200-й
Каждое изображение теперь создаётся за три дня: один день уходит на подтверждение личности, второй на рассмотрение заявки, третий — на ожидание, пока шляпа кота пройдёт цензуру. Пользователи уходят на CatHatNet.