4253
❤️☠️🤗 идейная миграция небытия
https://habr.com/ru/companies/sberdevices/articles/790470/
Читать полностью…
https://ium.mccme.ru/s24/s24.html
на следующей неделе начинается весенний семестр в НМУ; подробности — по ссылке
в т.ч. для 1 курса читают топологию — К.В.Логинов, алгебру — А.И.Ильин, анализ — И.В.Вьюгин
для 2 курса теорию вероятностей — С.В.Шапошников, топологию — А.Д.Рябичев и Ф.Е.Вылегжанин, дифф. геометрию — Г.И.Шарыгин
Обнаружена серьезная проблема в VAE StableDiffusion 1.x, 2.x и других, использовавших его латентное пространство.
Суть такова: в идеале, латентное представление должно быть пространственно связано с кодируемой картинкой. То есть пиксели в углу картинки влияют только на тот же угловой кусок латентного вектора.
Но из-за ошибки при обучении KL-F8 VAE, информация обо всей картинке протекает через некоторые локальные пиксели.
То есть если вы измените пару латентных "пикселей" в том самом неудачном месте, вся картинка изменится - например, станет ярче или менее контрастнее. (рис.1) При этом если вы захотите привести картинку по яркости и контрасту к исходной, получите те самые артефакты VAE с "прожогами".
Поэтому уже сама диффузионная модель при обучении в латентном пространстве бракованного VAE учится обходить эту проблему, что приводит этим самым прожогам, и, вероятно, к менее эффективному использованию параметров.
SDXL этой проблеме не подвержен, так как там VAE учили уже нормально, а вот DALLE3, опенсорснутый VAE которого совместим с SD 1.x, страдает теми же прожогами.
Так что если будете учить свою foundation model, учите с нуля вместе с VAE, либо берите SDXL :D
подробнее
@derplearning
Действительно призошла утечка, я в ахуе, гпт4 level waifus goes brr.
А кто то знает способы конвертации ггуф в fp16? Мне для друга.
деквант версия
cайт
Ты пидорас или сноубордист? Не дай бог я не увижу сноуборда под окном.
Читать полностью…
Принес вам кринжатины:
Чувак в твиттере подумал, что дейтинг это сложно, и поэтому лучше ChatGPT за меня пообщается на всем этом рынке мяса, и он буквально, цинично и по айтишному прагматично, описывает как из 5239 свайпов получил 1 девушку, которая строит с ним отношения и которой он сделал предложение.
В треде есть логические несоответствия — мотивация сделать бота для дейтинга, у автора, это «чтобы было время заняться чем-то еще», но при этом времени этот проект занял явно намного больше чем обычный человеческий способ знакомств.
В итоге, девушка встречается с ChatGPT оболочкой в виде кожаного мешка, и я бы ей конечно посоветовал хорошо подумать стоит ли выходить за него (да и в целом одного года отношений мало чтобы жениться, но это уже другая тема):
https://twitter.com/biblikz/status/1752335415812501757
Забрутфорсить до отношений тиндер это не тактика, а говно какое-то, потому что за каждой анкетой живой человек время которого тратится на эксперимент автора о котором он конечно же не рассказывал девушкам.
Если дейтинг дается сложно, то возможно стоит использовать самые передовые технологии чтобы понять как быть, изменить что-то в себе, а не устраивать прагматичный мясо-лайк.
Осуждаю провдинутый кэтфишинг, мог бы и свои фотки в Midjorney сделать, а чо нет.
Из-за таких вот «экспериментаторов» нас будет ждать регуляция AI на каждому углу как только это все начнет обретать популярность.
Разбираемся с cuda kernels без скуфизации.
Если вы когда то начинали разбираться с cuda kernels то знаете - чаще всего речь про голый C, без встройки кода в pytorch ради которого и имеет смысл что то делать(если вы ds)
Вот курс который я сам начал смотреть недавно, понятно и подробно от человека который pytorch на работе пишет.
CUDAMODE">канал
repo
Возможный лик mistral medium
Очень странный лик, не думаю что он верный, лежит тут
https://huggingface.co/miqudev/miqu-1-70b
ну или решили сделать каноничных вайф? 🐾
Читать полностью…
Начну-ка я год с токсичности 😈
Мы с коллегами недавно выпустили новый классификатор токсичности для текстов и аудио - MuTox.
Статья, код, блокнот в колабе с примерами.
Для обучения этого классификатора мы организовали разметку 160К коротких аудио на 21 языке на предмет токсичности (датасет тоже опубликован).
Сам классификатор - маленькая моделька поверх эмбеддингов SONAR, которые недурно представляют тексты на 200 языках в общем семантическом пространстве (также есть энкодеры речи для ~50 языков, и их число будет расти). Поэтому есть основания надеяться, что и для других языков, поддержаных SONAR (список примерно совпадает со списоком FLORES-200 и NLLB), моделька будет показывать какой-то приличный уровень качества.
Меня всегда забавляло что для sd like с клипом можно пропускать слои и брать более глубокие представления для инфернса, но для обучения так лучше не делать.
К слову, кто то занимался ресерчем этой темы?
у админа кончились деньги на h100, я разогнал v100 и теперь две карты всего лишь в 4 раза медленнее чем h100. горужусь собой
если вы думаете что я обсуждаю хуйню вы не шарите(вы правы)
когда нибудь опен аи начнет выпускать SOTA эмбедеры, но не сегодня.
а, gpt3.5 подешевела
блог
Длинный текст про то, как я сходил с ума от отчаяния в последние 8 месяцев и начал учить древнегреческий.
Выше уже мелькали посты про непонятные белые буковки и шутки про ленивых древнегреческих писцов. Настало время собрать всё в цельную картинку и объясниться. Я не могу из-за правил публиковать и в деталях рассказать техническое решение (оно в процессе ревью), но порассказываю всякое другое.
Соревнование называется Vesuvius Challenge. Когда извергался Везувий и уничтожил Помпеи, он уничтожил еще и город Геркуланум, который находился тоже у его подножия. Нас интересует Геркуланум из-за того, что там откопали виллу, в которой была очень богатая библиотека. И в этой библиотеки уже нашли/ожидают найти около 4-5 тысяч свитков. Важное уточнение: до нас из Античности дошло очень небольшое количество текстов: Одиссея, Иллиада, вся философия — лишь небольшой процент от всех существовавших тогда текстов. Представьте, сколько знания и истории хранится в этих тысячах свитков. Но разумеется есть проблема: они выглядят как сгоревшая на углях картошка из-за консервации в лаве и пепле (но именно благодаря этому они и пролежали в земле 2000 лет).
На сцену выходит профессор из Кентуки Dr. Brent Seales, который всю карьеру потратил на пропихивание следующего метода: давайте мы сделаем этим свиткам МРТ, а потом как-то хитро попытаемся восстановить все и прочитать. План — надежный, как швейцарские часы, если бы не одно но: чернила, которые там были, не содержат металла (carbon-based) и на результатах МРТ не видны. Были еще попытки отсканировать один и тот же свиток с разной фазой пучка и вычтя результаты этого получить какие-то буковки. Буковок хватило на статью в Nature, но выглядит это довольно паршиво. Что же с этим делать дальше?
На сцену выходит ex-CEO Github’a Nat Freedman: меценат, организует всякие AI гранты и инвестриует в AI-стартапы. Очень приятный дядечка, который помог организовать это соревнование и завалил деньгами призовой фонд. Вот его частный фонд и вообще он мне пока кажется Илоном Маском здорового человека.
В феврале прошлого года стартует само соревнование с призовым фондом в 1M USD. Сначала на Kaggle, а потом это все продолжается в Дискорде. Есть МРТ-сканы свитков и нужно прочитать оттуда текст. Сам (предложенный организаторами) процесс виртуального разворачивания текста довольно сложный и хитрый, а данных сейчас уже примерно на 7-8Tb, что устанавливает довольно высокий технический барьер для входа.
После Kaggle’овского соревнования все немного затихло до момента, пока в августе два студента (один из штатов, второй из Берлина) независимо друг от друга глазками(!) нашли какие-то непонятные рельефы, которые подтвердили изначальную идею: не смотря на то, что чернилы не видны, бумага осталась деформированной в местах написанных букв. В итоге задачей стало пытаться программно научиться определять вот эти деформированные места (иногда глазу и незаметные) и читать буковки. Где-то в этот момент (начало августа) я и ушел в соревнование с головой.
Очень много бессонных ночей, переживаний и всего остального было на протяжении этих месяцев. Я приходил и надоедал к каждому, кто мог мне хоть как-то помочь советом/идеей (спасибо вам всем, друзья. Без вас я бы не справился). Когда обсуждал новости и произошедшее за день с девушкой, я десятки раз думал про то, что у меня не произошло вообще ничего: я решал свитки. Как и вчера. Как и продолжу завтра.
И не смотря на то, что я не смог выполнить официальные требования для главного приза (4 куска текста по 140 читаемых символов каждый), мне кажется, что никто не смог. Со слов организаторов, всего они получили около дюжины сабмишнов. И вот уже где-то месяц мы с другими участниками ждем результатов анализа папирологов. За эти полгода я познакомился с кучей интересных людей, выиграл промежуточный приз в 5200 USD, начал учить древнегреческий и сильно прокачался в решении таких вот непонятных проблем.
MobileDiffusion
Очень странный крутой релиз от гугл:
- latent (скоро два года будет, в Гугле наконец перестали обучать каскады)
- unet с трансформер блоками и последовательными свертками вместо обычных блоков
- swish вместо glu
- всего 150м датасет
- 512 разрешение картинки
- ufogen single step generation, лень читать, мб завтра
- fine-tune soft max into relu 🤩
Папир
Неожиданно релизнулась llava1.6, теперь картинки до 1344*336, 30В+ модели и перфоманс близкий к gpt4v.
blogpost
Демка llava.hliu.cc
Dear colleagues, we are happy to announce AINL 2024! It will be held at Almaty, Kazakhstan, April 24-25, 2024. Please find first call for papers attached!
Читать полностью…
Mistral AI подтвердил, что это их модель утекла:
https://venturebeat.com/ai/mistral-ceo-confirms-leak-of-new-open-source-ai-model-nearing-gpt-4-performance/
Чат, дискас. С одной стороны я считаю что взлом системы это хорошо, с другой стороны это нарушение правил и тиндера и ToU
Читать полностью…
СНГ итшке будет хуже.
Если вы забыли то высокие зарплаты на рынке ИТ в снг были сформированы следующим фактом: большое количество высококвалифицированных низкооплачиваемых(для сша и ес) челов, за счет чего нанимать людей со специфичным акцентом и softskills было экономически оправдание чем нанимать людей у себя. Под эти долларовые зарплаты подтягивались зарплаты снг Ит компаний, а в какой то момент были годы когда в снг платили сильно больше чем на западе. В то время как национальные валюты проседали и зарплаты по стране в среднем падали в ит зарплаты росли по курсу доллара.
Что же сейчас? Сины по 3k usd, мидлы по 2500, на рынке джунов резня.
ИТ сожрало не только тех кто хотел заниматься прогой, но и просто ОЧЕНЬ умных чуваков(физики, математики, инженеры). просто потому что получать 6к за кручение джейсонов в ит ты будешь через два года, а в инженерке лет через 10.
Вангую что рынок зарплат в снг в среднем по больнице просядет еще сильнее за год, в первую очередь в России и Беларуси.
что может нарушить предикт: фриланс оживет нормально снова быстрее чем за три-пять лет, резко выратстет ИТ во всем мире до той степени что зажирать будут все что умеет кодить.
Сирион, привет. Вчера, просматривая старые подписки в тик-токе, нашел тебя. Провёл некоторое время за поиском твоего актуального канала и хочу сообщить следующее:
Пока ты находился в информационном поле супер плотно (тик-токе), моя жизнь была успешной и счастливой - спасибо. Честно сказать, я особо не задумывался об этом в моменте, но по прошествию времени осознал, что ты бы тем самым атрибутом (интеллекта), который вносил плюсы в мою жизнь.
Что сейчас? Я уже два года потерян. У меня даже есть ебучие грейды и бабки за какие-то там заслуги, но это похуй. К сожалению, у меня нет главного - тебя в ленте =[
Порой, я подумываю о переходе в мангу, так как все другое настоебенило и просто хочется лежать где-то выгоревшим, но потом вспоминаю те моменты, когда я искренне смеялся с аллюминия и сразу становится тепло на душе.
Спасибо.
Stability AI последний год такие типа:
- А не ебунуть ли нам ...
- Да, делайте, вот компьют
- Я же не договорил
- Ну все равно делайте
Челы выпустили очень странную StableLm 1.6b которая лучше чем mpt 7b и tiny llama но жуже чем mistral и phi2.
Учили на 2T redpijama+starcoder
релиз блог
Давно руки чесались выложить датасет, наконец дошли.
Датасет
на сто реакций выложу аналогичную разметку нормально гаррипотера
на очень много реакций вспомню как запускать фронт и переподниму на свежих сетка(мейби)
Привет!
Хочу обратиться за помощью. Я в поисках работы, software engineering, бекенд, Go/Java/Python/C++, 5 лет опыта. Могу и код хорошо писать, и в архитектуру, и с людьми выстраивать диалог, налаживать процессы в команде.
В прошлом работал в Uber, Yandex, всякие стартапы по крипте и AI. Из прошлых мест работы есть хорошие рекомендации от тиммейтов и руководства.
Если кто-то сейчас нанимает или знает где нанимают, мб каких-то рекрутеров \ талент-соурсеров - поделитесь плиз. Я живу в Амстердаме уже 2 года и планирую оставаться здесь, High-Skilled Migrant виза. Так что ремоут / голландская компания
https://www.linkedin.com/in/a37h/
еврейское лобби учит нлп 17-21летних девочек
Читать полностью…
Сам двач есть одна LLM, не влезает в ноду, как ей сказать чтобы худела?
В bnb4, int8 ее рвет (
А ллм с 14в можно обучать?
полноприводные гпу для полноприводных llm
Читать полностью…