4253
❤️☠️🤗 идейная миграция небытия
Ребята из DeepMind делают нам токамак дома (ну симулятор)
Они давно уже занимаются задачей контроля токамака и даже с RLем. А сейчас вот опенсурсят такую разработка. Ну круто!
TORAX is a differentiable tokamak core transport simulator aimed for fast and accurate forward modelling, pulse-design, trajectory optimization, and controller design workflows.
TORAX solves the coupled equations for ion heat transport, electron heat transport, particle transport, and current diffusion, incorporating modular physics-based and ML models.
Восхитительно, на дворе нейросети, а у людей string match в поиске
говорят тут можно поправить
https://yandex.ru/jobs/vacancies/ml-разработчик-в-команду-объектного-поиска-13290
https://yandex.ru/jobs/vacancies/ios-разработчик-в-международный-проект-плюс-фантеха-20290
Я лично жду релиза нормальной опенсурс LLM на русском, кому и зачем нужен opensource форк fsdp который эм ну....
Лучше конечно, но средний опенсурс как на LLM foundary так и будет сидеть, резона впиливать форк с непонятной поддержкой относительно основной репы сомнительно.
А как pr для основного fsdp было б хорошо, жаль это мои фантазии
Отбой, 27% это сколько apple LLM выиграла у чат гпт
Читать полностью…
обожаю работать с сумасшедшими, душнилами и умникаими.
обожаю ебанутых которые сидят в час ночи и хуярят генетику на торче вместо того чтобы спать.
похуй на тренды, мы ебанем форк для catboost чтобы юзать deepspeed потому что эээ НУ МОЖЕМ СЕБЕ ПОЗВОЛИТЬ ЕПТА.
Я честно говоря хз, вроде норм, но надо смотреть.
Докатят в релиз, обсудим.
Если вы любите пытаться сломать защиту в разных LLM с помощью промпт инъекций – то у меня вам полезная ссылка, датасет из почти ~1500 промпт инъекций собранных с Reddit, Discord, Twitter и тп.
https://github.com/verazuo/jailbreak_llms
Внутри промпты и для старых инъекций, вроде DAN, до более новых с base64, leet code и тп.
Следующий шаг, это натренировать на этом модель, которая будет ломать другие модели автоматом ☕️
клоунада на mteb продолжается, на вопрос: а чо не llama70b ответ одного из авторов NV-Embed был следущий: уже тренится
Читать полностью…
Запуск ллам на RPI.
Довольно любопытный пример tensor parallel без супер быстрой шины между железками ещё и на arm
GitHub
Гайс сходите потрогайте траву и кисок.
Админ.
Мы строили, строили и наконец-то построили :) Книга «Охота на электроовец: большая книга искусственного интеллекта» вышла из печати и доступна к заказу. Полные электронные версии книги (epub, docx, pdf) можно скачать с сайта бесплатно: http://markoff.science#book
«Мифы и заблуждения об искусственном интеллекте, страхи, насущные проблемы, перспективные направления исследований — обо всём этом вы узнаете из «Большой книги искусственного интеллекта»
Ищу партнера в новый перспективный проект удаленно, с компьютера, обучать ничему не буду, зато буду больно пиздить палкой по рукам и ебальнику за каждый тупой косяк. Если шарите в кубере, можете настроить ci/cd, умеете хуячить микросервисную архитектуру, можете настроить мультиклауд кубер, умеете писать на CUDA, знаете хотя бы базовую теорию типов и понимаете, что такое типизированное лямбда-исчисление второго порядка, умеете менеджить постгрес и АДЕКВАТНО его шардировать, шарите за графовые субд, можете уверенно настраивать и пользовать кассандру, ебались хотя бы столетие с кафкой, имеете опыт с apache nifi, умеете писать и обучать с нуля нейронки в распределенном окружении, можете написать на ассемблере хотя бы простейший ффн - пишите в лс, но я скорее всего вас пошлю нахуй, потому что мне это все в одно ебало интереснее хуярить.
Читать полностью…
"Да холодные у нас железки"
Nvidia b200
больше всего я люблю лето за то, что каждый раз на протяжении всей жизни в самом его начале у меня что-то щелкает в голове и я превращаюсь в абсолютно нового человека.
зимой в наших реалиях вообще не хочется ничего делать.
холод, темнота и снег вызывают только легкое раздражение и бесконечное желание спать и есть.
а лето - целая отдельная вселенная.
даже если ты уже взрослый и у тебя нет каникул.
сегодня проснулся с неистовым желанием научиться рисовать, попробовать делать какую-то музыку и начать собирать коллекцию любимых книжек в электронных формате с собственными заметками на полях, заказал себе айпад для этого.
понял, что мне искренне нравится разговаривать с тремя-четырьмя людьми на планете, а бессмысленные смол-толки и легкий флирт с остальными не имеют никакого смысла и сродни попыткам утолить голод теплой водой и кислым яблоком.
составил новую программу тренировок: мое самочувствие и здоровье - то, от чего зависит все, остальное - лишь мелочи.
начал учиться осознанно потреблять информацию и не находиться в постоянном состоянии дофаминовой комы, листая все возможные соцсети с электронкой в руке.
тяжело, конечно, но зато возникает ощущение, что ты наконец живешь, а не существуешь, двигаясь по инерции.
устройте себе этим летом новую жизнь, правда, оно того стоит, и любите себя и всех тех, кого хотите любить
Я каждый раз когда читаю док по АИ безопасности у меня ощущение что меня хотят наебать. Постоянно авторы отвечают не на технические, а на философско технические вопросы. Ну типа эээ классно иметь законы Азимова, но по моему есть куда более насущные проблемы.
Читать полностью…
Релиз sd3 - medium
- Трансформеро_образные теперь вместо UNET
- T5xxl+2 clip для текстовых энкодера
- 2B модель в релизе
- Лицензия по которой бесплатна для некомерческого использования и платная для комерческого
модель вышла в релиз в 15.00 СET, время до первой лоры с порнухой:
model
Ускорить обучение LLM 70B на 25%? Легко! YaFSDP
Сегодня мы выĸладываем в опенсорс наш новый инструмент — библиотеку YaFSDP. Она значительно ускоряет обучение больших языковых моделей — как собственной разработки, так и сторонних, с открытым исходным кодом.
Библиотека даёт ускорение до 25% — результат зависит от архитектуры и параметров нейросети. С помощью YaFSDP также можно расходовать до 20% меньше ресурсов графических процессоров (GPU), которые требуются для обучения.
Несколько подходов нашего метода:
— выделить два буфера под все собираемые веса, чтобы не отдавать их на отĸуп аллоĸатору памяти torch. Каждый нечётный слой будет использовать первый буфер, ĸаждый чётный — второй. Это уменьшит нагрузку на память и сделает её использование более предсказуемым;
— не делать чеĸпоинт аĸтиваций для ĸаĸ можно большего числа слоёв. Это позволит убрать избыточные вычисления за счёт сэкономленной памяти;
— выделить два стрима: вычислений и ĸоммуниĸаций, а синхронизацию построить таким образом, чтобы forward не начинался до завершения all_gather того же слоя, а all_gather не начинался до освобождения соответствующего буффера на предыдущем слое;
— разово собирать RMSNorm/LayerNorm в начале итерации и тольĸо в ĸонце усреднить градиенты;
— вынести predivide в самый ĸонец backward, таĸ ĸаĸ при reduce_scatter в bf16 или fp32 рисĸа переполнения нет.
Более подробно про проблемы обучения на множестве GPU можно почитать на Хабре. Приходите в репозиторий библиотеки YaFSDP, ставьте лайк и приносите вопросы в Issues. А ещё — делитесь своими впечатлениями здесь в комментариях.
Каким образом калечный dbrx выигрывает у 4t
machinelearning.apple.com/research/introducing-apple-foundation-models
как это будет работать в проде - загадка. но лучше чем супер убогое chat gpt app точно.
Читать полностью…
По мотивам:
/channel/lovedeathtransformers/7722
/channel/lovedeathtransformers/7748
ебаный ресерч адмена - как всегда на острие науки
Короче в чем идея: ребята используют эволюционный аглоритм для того чтобы эффективнее подобрать параметры мержа моделей(а еще блоки переставляют)
ссылка:
https://sakana.ai/evolutionary-model-merge/
Три стадии t2i стартапа
Ну ща свой претрен ебанем
Ну Lora хорошо себя показывает
А чо там с midjorney API?
Нужно ли освещать GPU из Румынии святой водой? И если да, то католической или православный? А если шипит все ещё, чо делать?
Читать полностью…
SignLLM: Sign Languages Production Large Language Models
Необычная работа - перевод текста в язык жестов с видео;
Cкорее инженерный чем DL пайплайн, LLM предсказывает следующее действие, оно прогонянтся через доп модельку и отрисывается на Sd+openpose
signllm.github.io
paper
Мальчик: пишет в твиттере
Мужчина: пишет книгу
Ребята из Китая собрали свою SORA, заявляют 2минуты FHD 30fps
https://kling.kuaishou.com/
Мечтает ли GPT-4o о сегментации картинок...?
Рассказал на Habr найденный способ как заставить GPT-4o работать с детекцией объектов на картинке и выдавать координаты (bounding boxes), с которыми можно работать.
Внутри много деталей о том, с какими препятствиями и нюансами мы сталкиваемся в Vibe AI при парсинге сообщений со скриншотов переписки.
Приятного прочтения, буду благодарен вашей обратной связи, лайкам, репостам ❤️
Опубликованы шокирующие инсайды о будущем жаренного супа от бывшего бати.
Чувак слил 165-страничный документ с точечными прогнозами, опираясь на свой опыт и понимание внутрянки в жарке супа.
Самое важное:
— жаренный суп к 2027 году - это реальность;
— жаренный суп - это ключевой геополитический ресурс прямо сейчас. Забудьте про ядерное оружие - это прошлый век. Любая страна пойдёт на всё, чтобы получить жаренный суп первой, как в своё время атомную бомбу;
— Для создания жаренный суп придётся собрать единую плиту за триллион долларов. Похожий уже строит batya для open soup;
— Эта махина будет потреблять электроэнергии больше, чем сейчас вырабатывает вся планета;
— Деньги на жаренный суп придут из бигтеха - уже сегодня bosh, Electrolux закладывают расходы в 500 млрд. долларов за квартал только под суп;
— К 2030 году в жаренный суп ежегодно будут вкладывать по 30 трлн долларов;
— Если к этому моменту вам кажется, что перед вами бред - это не так. Сопоставимые расходы и глобальные изменения происходили во время Манхеттенского проекта и Промышленной революции;
— жаренный суп - только начало. После его создания наступит практически мгновенный переход к пережаренный суп. Жаренный суп будет так зажарен, что пережарит себя сам и это произойдёт почти мгновенно.
- и самое важное: перестанет ли админ постить хуйню и потрогает ли траву? Когда снова обзоры?
Интел прозрачно намекает на температуры новых железок на computex
Читать полностью…
Июнь в этом году в Будапеште выдался на редкость холодным. Столбик термометра еле перевалилась через 20 градусов, а местные бары медленно открывали летние веранды.
Читать полностью…