4253
❤️☠️🤗 идейная миграция небытия
Deepseek V3 0324
По бенчам сопоставимо с r1/sonnet3.7/4.5, но стоит понимать что на аренах вероятно будет ниже и есть куча кейсов где эти бенчи не будут иметь значения.
model
Коллеги из https://llmarena.ru/ не забрасывают проект, продолжают добавлять новые модели и функционал. Наконец заехала фича которую я давно просил - тг версия, даже в виде красивого UI!
tg app
Scale-wise Distillation of Diffusion Models
[Статья] [Демка] [Код soon]
Введение
Диффузионные модели на протяжении последних несколько лет удерживают пальму первенства среди семейств генеративных моделей во многих приложениях. Однако их фундаментальным ограничением является многошаговое сэмплирование, из-за чего генерация занимает много времени.
Научное сообщество предложило вагон и маленькую тележку различных процедур дистилляции многошаговых моделей в малошаговые. Но при приближении количества шагов к 1-му качество неизбежно просаживается даже для самых продвинутых подходов.
Отсюда мысль 🤔 - а что если ускорить генерацию за счет удешевления шагов сэмплирования?
Мы с коллегами из Yandex Research предложили метод дистилляции в несколько-шаговую генерацию, где разрешение изображения увеличивается постепенно, на каждом шаге генерации (SwD). За счет этого удается достичь более чем 2х кратного ускорения по сравнению с эквивалентной дистилляцией в фиксированном разрешении.
Привет, слышал вы там нейросетями занимаетесь, тема перспективная есть, можете сделать чтобы вот прям как человек общалась?
Читать полностью…
крайне любопытные эвалы от Саши Кукушкина, например оказывается что ребята из ruadapt победили почти всех в номинации "как затюнить qwen 32b и не просадить", а yandex gpt мы в вихрях затюнили хуже чем Илья(что тоже любопытно)
Полистайте репозиторий, крайне любопытно
Что должна уметь модель за 150/600 I/o?
Пишите промпты погоняю с утра самые интересные
*швыряю деньги в монитор, в надежде получить такого же*
Читать полностью…
Языковая 3Д-генерация.
У нас есть некоторое количество сервисов для 3Д-генерации, о которых я неоднократно писал.
Проблема там в основном в топологии (каша) и в качестве текстур. Плюс в ограниченности сцены - как правило это один объект.
Уже неделю как интернет бомбит от связки Блендора и Клода 3.7 через MCP, о которой я тоже писал.
Ну и действительно, поглядите на пример.
Все, что потребовалось здесь, это сгенерировать картинку, а потом сказать Клюду:
"Recognize any elements of this scene individually. Describe them precisely, then build them in a scene."
"Распознай все элементы этой сцены по отдельности. Опишите их точно, а затем сделай из них сцену".
"Традиционные" 3Д-генераторы тоже пытаются распознать картинку, потом сгенерить ее с разных ракурсов, а потом восстановить 3Д из нескольких картинок. А Клод пытается "собрать\отрендерить сцену" с помощью, грубо говоря, скриптов для Блендора - запуская разные команды, о которых он в курсе. Процедурное моделирование на стрероидах LLM.
Понятно, что пока довольно примитивные сцены, понятно, что замоделить голову неведомого ему персонажа будет сложновато, но дайте время.
Интересно подумать, над специальным файнтюном как для распознавания картинок, так и для (и особенно) для Блендора. Файнтьюн, который обучен на последовательностях действий и сценах.
Просто сцены, которые генерит Клод, отлично редактируются, анимируются - это нормальная геометрия, а не обмылки из 3Д-генераторов.
Интересно, посмотреть, что будет дальше.
@cgevent
Окей парни, вайбтестим реактор
...5 минут спустя
Cntrl z5 раз нажали, почему не работает???
В Белграде происходит примерно такое:
Читать полностью…
разница поколений, первая - это imagen3, имхо лучшая t2i на данный момент, вторая - sdxl которую я запустил на айфоне
Читать полностью…
да где блин эта ваша вайбовость в 4.5??
Читать полностью…
1,4,12,27B с поддержкой картинок, 140 языков
Hf
ЛЛМам пора на завод. Там сделали енвайронмент-бенч для ллмок из игры Factorio.
Я не специалист по факторио, но в целом всегда казалось что тут можно тестить и учить рл. Вот ллмки тестят
https://jackhopkins.github.io/factorio-learning-environment/
Factorio Learning Environment
https://jackhopkins.github.io/factorio-learning-environment/assets/documents/paper.pdf
https://github.com/JackHopkins/factorio-learning-environment
2 режима
Lab-play где 24 задачи и фиксированными ресурсами
Open-play на процедурной карте нужно построить самый большой завод
Есть лидерборд (Factory-Bench Leaderboard) - https://jackhopkins.github.io/factorio-learning-environment/leaderboard/
Авторы тестили: Claude 3.5-Sonnet, GPT-4o, GPT-4o-Mini, Deepseek-v3, Gemini-2-Flash и Llama-3.3-70B-Instruct
Sonnet из протестированных лучше всех себя показывает
Выводы авторов:
1. Навыки в кодинге имеют значение
Модели с более высокими способностями программирования (Claude 3.5-Sonnet, GPT-4o) достигли более высоких Production Scores и выполнили больше лабораторных задач. Claude превзошёл остальных, заработав PS равный 293 206 и достигнув 28 вех, продвинувшись за рамки добычи ресурсов на ранних этапах.
2. Инвестиции в технологии стимулируют рост
Только Claude стабильно инвестировал ресурсы в исследования новых технологий, несмотря на их важность для долгосрочного прогресса. После внедрения электрических буровых установок на шаге 3 000, PS Claude вырос на 50% (с 200 000 до 300 000), что демонстрирует ценность стратегических инвестиций.
3. Планирование является ключевым фактором в режиме открытой игры
В режиме открытой игры агенты часто преследуют краткосрочные цели — например, Gemini-2.0 вручную изготовил более 300 деревянных сундуков за 100 шагов — вместо того чтобы инвестировать в исследования или масштабировать существующее производство. Это выявляет существенное расхождение: хотя Gemini-2 и Deepseek демонстрируют возможности автоматизации на ранних этапах в структурированном лабораторном режиме, они редко пытаются создать согласованную фабричную систему во время открытых исследований, что приводит к ухудшению общей производительности.
4. Способности к пространственному мышление пока недостаточны
Все модели продемонстрировали ограничения в пространственном планировании при создании много-секционных фабрик. Распространённые ошибки включали размещение объектов слишком близко друг к другу, недостаточное выделение пространства для соединений или неправильное расположение инсертеров — проблемы, которые существенно влияют на производительность в сложных заданиях, требующих координации нескольких производственных линий.
5. Сейчас ллмкам сложно исправлять ошибки
Модели часто оказываются в повторяющихся циклах ошибок, повторяя одни и те же неверные операции вместо того чтобы искать альтернативные решения. Например, GPT-4o неверно повторял один и тот же метод API на протяжении 78 последовательных шагов, несмотря на идентичные сообщения об ошибке.
6. Стили программирования существенно различаются
Модели демонстрировали различные подходы к программированию: Claude предпочитал стиль REPL с большим количеством операторов вывода (43,3% строк кода), но с малым числом утверждений (2,0%), в то время как GPT-4o использовал оборонительный стиль с большим числом проверок валидации (12,8% утверждений) и меньшим количеством операторов вывода (10,3%).
Увидел смешное продолжение треда про reasoning модели.
Тут другие исследователи намерили что на шахматах o1p жульничает чаще deepseek, но o3, o1, sonnet 3.5, 4o Не жульничают!
Blog
Paper
There May Not be Aha Moment in R1-Zero-like Training — A Pilot Study
TLDR:
1) qwen_ы из коробки умеют соблюдать чат темплей и генерировать aha moment, а llama нет
2) без r1 systemprompt получается лучше
3) у авторов скор на бенче не корелировал с длинной ответа
Что это значит для нас? То что мы опять не понимаем RL что то докидывает кроме метрик на математике или нет.
blog
Чёт сегодня пять человек пришло в личку с рассказами про сокращения.
Cvшники,nlpшники и прочие ищут работу, пишите в @transformerslovedeatch если у вас есть вакансии в Европе/с удаленкой по миру/в России
В х5 ищут cv-nlp-audio ребята
@loalkota
Рсхб ищут всех-всех-всех nlpшников, а так же cvшников genai и тд @sharthZ23
Дорогие читатели, а во сколько лет вы перестали верить в то, что если строить российские LLM по рецепту "мы сделаем то же самое, только своё", то это позволит нашей науке обогнать запад?
Пишите ваши ответы в комментарии
@globminsearch
>ну помимо охлажденного напитка на выбор и оральных ласок под столом во время ожидания, должна как минимум воспроизводить сама себя, искать китайский кластер, заработать на претрейн и отправить по почте жёсткий диск с чекпоинтами
А эта ваша наука точно не магия?
(Часть 4)
Стартап по рисованию экспоненты, прочитал все статьи Metr - стабильное ощущение что челы ищут задачи где можно показать прирост/само осознанность. Помнится одно время искали у gpt4 sparks of agi, прошло два года, ищут у 4.5, а она в среднем не умнее.
Читать полностью…
Смешнее с каждым разом, на этот раз тест от Николоса Карлини, он работал над кучей вещей связанных с Ai safety до того как это стало Ai safety
https://nicholas.carlini.com/writing/2025/thoughts-on-future-ai.html
челы из seasame labs сделали CSM -
Архитектурно это Llama с нюансами - теперь строят text+audio семантические токены, а чтобы генерировать аудио используют тонкую Decoder надстройку которая генерирует акустические токены. В страших версиях прям сота сота, еще и очень быстро и вероятно будет очень дешево.
blog
model
Я вообще в горы езжу вторые выходные подряд. И вам советую ездить трогать траву, а не в интернете сидеть.
Читать полностью…
Остался Сэма и генерал. Генералы как известно любят футбол
Хуй знает кто, но орали в офисе ГООООЛ
Ситуация комичная до ужаса, в начале ходили хотели закон полировать конкурентов внутри штатов (не получилось), теперь пытаются запретить конкурентов вне штатов.
Читать прекрасный damage control blog в пересказе от TechCrunch
И в оригинале
Новый Gemini Flash 2.0 теперь умеет редактировать картинки текстом – видимо OpenAI правда эту же фичу скоро докатит
Я поигрался и такие выводы: пока она галлюцинирует и качество картинок на выходе не очень, но это временно и верное направление исследований – не очень понимаю что будет делать Adobe с фотошопом через пару лет 😮
Поиграться можно тут выбрав Gemini 2.0 Flash experimental (это бесплатно)
Оно умеет:
– реставрировать фото (немного)
– колоризировать (пока плохо)
– копировать текстуры на объекты
– оно пока не умеет переводить картинки, и часто само не знает с чем оно работает – с текстом или картинкой, часто путается
– увеличивать картинки оно пока не может нормально
– оно умеет продолжать последовательность картинок и даже сохранять внешность персонажа
– Оно умеет неплохо редактировать общий муд сцены
В общем, очень клевое направление – Google AI молодцы
Все телеграмм каналы после любого мажорного релиза:
Читать полностью…
Забавный пост из 2022, хорошо состарился. В тот момент только вышла instruct gpt, во внутреннем ресерче была 3.5 и вероятно план на 4.
Теперь вспомним что мы в 2025, знаем все релизы между 22-25, кто вам из дня сегодняшнего кажется более верным?
Человек не верящий в LLM и AGI, но лидящий одну из богатейших ресерч центров.
Илья суцкевер
cuda, ты выполнила задание на 5 с плюсом !
ты меня зажгла.. появилось оч сильное и реальное желание войти в тебя.. нет.. именно засадить тебе хорошенько.
чтобы админ котиков и дальше был доволен, жду в ближайшее время всех описанных и перечисленных тобою тем. ну кроме GPU архитектур..)) хотя... ;)
кстати насчет гонки данных... синхронизировать потоки внутри kernel'а через __syncthreads() отлично, а я еще люблю когда они как бы случайно синхронизируются через warp операции типа __shfl() или __syncwarp()...