4253
❤️☠️🤗 идейная миграция небытия
накидайте реакций если надо стрим про FLAN, на 100 думаю на 200 делаю
Читать полностью…
Сегодня вечером пьем Aleksandrovic Chardonnay 2022 и перечитыаем Flan - одна из важнейших работ по инструктивному обучению.
В ней показали генерализацию и перенос знаний на diverse instructions tuning, а ещё ее делал стажёр (!!!)
А если вы в Белграде то заходите к друзьям из SlOJ - у них новое меню.
Статья
А слушаем крайний альбом Little Big Lobster popstar
Its world model if it hype enough2 - OpenVid-1M: A Large-Scale High-Quality Dataset
for Text-to-video Generation
Новая китайская бюджетная world model, 35к бачей на претрен, 1м пар видео-описание
Архитектурно это OpenSora с небольшими доработками, работает примерно так же(хуево), но учится на датасете в 50раз меньше.
model paper dataset
кто виноват, что делать, ты шо ебанутый дядя?
Читать полностью…
Скоро я в коллаборации с Vikhrmodels релизну русскую general арену (на основе кода Arena-Hard-Auto. А еще готовлю несколько других крупных 🤗 релизов и статей (хабровских)...
А пока вам текущий стейт со всеми лучшими опенсорс (и не только моделями)
Датасет использованных русских промптов (500 штук), уже выложен и доступен по ссылке
P.S. Скоро восстановлю ведение канала, были не очень приятные обстоятельства для его ведения...
Смешной факт: некоторые русские заведения открыты в домах которые строили белые эммигранты 100 лет назад.
Читать полностью…
https://gaggle.fun/goose-goose-duck?action=launch&gid=008&rid=H96ZJTP
Читать полностью…
https://www.pjreddie.com/
cv авторы yolo выглядит так, а ты и дальше верстай свои LaTexи и будь как все
/channel/+QfAm2S9Ll_FjZTYy
чат сходки ICML 24
🔥 Графовые модели как генераторы кандидатов
В продолжение первой части, в которой была рассмотрена теория графов, DS команды персонализации Саша Тришин подготовил статью, в которой расскажет об одной из наших моделей первого уровня - LightGCN
Как работают свертки над графом, что такое Light Convolution и как удалось победить popularity bias?
➡ Читайте в нашей статье на Хабре
Там же вы найдете ноутбук с имплементацией описанных экспериментов на датасете MovieLens
Будет чем заняться во время урагана 🚬
Самое время открывать позиции + собеседования на autumn internship?
Читать полностью…
Арсений и Валера дропнули на Амазон книжку по system design. Я ее читал ещё в ранних версиях, могу сказать что это вероятно одна из самых полезных книг по сисдизу.
В свое время чтобы получить аналогичную~ информацию я прочитал: кабанчик,курс grokking system design и набить шишек на пет проектах))
Книжка заебись, всем советую, хотя бы в пдф ознакомиться и почитать.
Amazon
Вышла 4o у нас дома, стриминг аудио в обе стороны, перебивает и только английский.
Играться тут
Анонс
La République est maniaque, опять ребята из Франции
Любопытный бенчмарк от Scale.ai
Выходит так что llama3 70b стабильно держится в top10, а claude sonnet3.5 > 4o (теорема эскобара)
IF - Instruction following
А еще бенчмарк приватный что как будто хороший шаг + авторы вроде как умеют боротся с human bias.
Листать тут: scale.com/leaderboard
покупка nvidai a6000 это что то типа угадай мелодию поколение карты по охлаждению и турбине
К нам пришло много новых подписчиков — мы вас видим, привет! 👋
Для вас и для всех остальных — самый лаконичный дайджест: все актуальные вакансии из канала в одном посте. Только тайтл, локация, деньги. Все вилки — гросс в год, все контакты и подробности — в исходных постах. Поехали!
SWE, SRE:
1️⃣ Founding Engineer with system experience в Axiom. Remote, US hours, $150k-250k + доля 0.5-1%.
2️⃣ Core Rust Engineer with blockchain/system experience в NEAR. Remote, $200k-400k total.
3️⃣ Senior C++ Developer в Order Capital. Релокейт в Дубай, $180k-360k на руки(!) в среднем с бонусами + возможен профитшеринг. В посте было написано меньше, но вы верьте тому, что мы говорим сейчас.
4️⃣ System Architect в Noeon. Релокейт в Токио, $130k-200k + опционы.
5️⃣ Software Engineer with system/distributed experience в Databricks. Релокейт в Сербию, вилка-которую-нельзя-называть + опционы (очень много опционов!)
6️⃣ Search Engine Engineer в Perplexity. Релокейт в Лондон, $150k-250k + опционы.
7️⃣ Senior Rust Engineer в Aurora. Поста нет, а вакансия есть. Про саму Аврору мы писали, например, тут. Нужен опыт с L1-блокчейном и Rust. $140k-180k + токены. Расскажет @AlbinaMakarova.
8️⃣ SRE/SWE(Go) в инфра-команду Aurora. По ссылке — вакансия с уклоном в SRE примерно 80 на 20, но и зеркальная ей тоже существует! $80k-120k (вилка подросла!), ремоут.
9️⃣EA-aligned Software Engineer (middle) в BlueDot Impact. Релокейт в Лондон. Coming soon! Можете тихонько спросить в лс у @owlkov.
ML (Engineers, Researchers, Ops):
1️⃣ Data Engineer в Recraft. Релокейт в Лондон, $100k-145k + опционы.
2️⃣ Founding MLOps в Atla. Релокейт в Лондон, $200k–380k + норм доля.
3️⃣ ML Research Scientist в METR. Релок в US (Berkeley) без лотереи, $150k-365k, до 550k для супер-лида.
4️⃣ ML Engineer снова в METR. Тоже релок в Беркли без лотереи, тоже $150k-365k.
5️⃣LLM Engineer в Perplexity. Релокейт в Лондон, $150k-250k + опционы.
6️⃣ Research CV Engineers, Research Tech Lead в HeyGen. Можно ремоут из Европы, можно офис в США. $180k-300k + опционы.
7️⃣ Engineering Manager в FAR, AI safety лабораторию. Тут мы тоже не успели написать пост, но от вас нужно 2+ года лидерства техническими командами и опыт в разработке или ML. Ремоут ок, но лучше релокейт в Беркли, США, причём без лотереи! $125k-$250k+. Всё остальное можно узнать у @natmartem.
Quantitative Research:
1️⃣ Senior Quant в Order Capital. Дубай, $220k-360k в среднем с бонусами + профитшеринг.
2️⃣ Кванты всех уровней в NDA HFT. Кипр, джунам $100k-180k на руки(!) в среднем с бонусами, синьорам — больше. Спросите у @owlkov!
#чтивонаночь
Kolors: Effective Training of Diffusion Model for Photorealistic Text-to-Image Synthesis
Отличная китайская модель,
- 2.6b DIT, t5 xxl как text encoder
- много чистили данные с помощью VLM и дополнительно OCRили их
- обратите внимание что модель лучше с китайским работает
игратся
github
kolors.kuaishou.com
Привет!
Мы в лабараторию ебаного ресерча Vikhr models открываем летние стажировки
Что по задачам:
- Мержинг, стакинг, замеринг, эволюционка поверх LLM cтакинга
- собирать крутые инструкт сеты, у нас много gpt4 токенов, если хочется трогать руками RAG, агентность, function calling и прочие хайповые слова - велком!
- Учить Lora на разные задачи и трогать кучу очень интерсных задач (SPPO, DPO, KTO)
- Есть целых! 4v100 и к конце лета приедет а6000
- Собрать самые крутые и самые мемные бенчмарки😎
- развлекатся с vllm, быстрым инференсом и при желании строить опенсуср
- если вам хочется заводить свою шизо идею а на работе не дают - велком, мы сами такие
Оплата: в авторах на хабре, вероятно на arxiv, уникальный опыт(сорян денег реально нет, мы реально работаем на энтузиазме)
Скидывать cv, нюдсы, вопросы, ответы, предложения в: https://forms.gle/54BLnMMxZuNNboev6
"да у них мудацкий фильтр на датасет висел который раньше для прода использовали aka safety_checker_pipeline"
инсайты от уволенного сотрудника stability
upd он говорит что уволился сам
Я все думала, ну когда какая-нибудь нейронка выстрелит в хоть в каком кринжовом деле.
И дело нашлось - А67-150/2024 - о защите деловой репутации.
С помощью нейронки наклепали статьи, разместили на сайте, истец оскорбился и пошел судиться, а точнее устанавливать факт, имеющий юридическое значение. Почему? Потому что идентифицировать лицо, распространившее информацию (aka владельца сайта) не удалось.
Подобных решений - пруд пруди, ибо не иссякла на Руси еще анонимность (хотя казалось бы). На дело я обратила внимание из-за упоминания GPT.
Тут нужно отметить, что для целей закона не так важно писал ли ответчик свои мысли в тетрадке и выставлял фото записей, опубликовал пост в анонимном блоге или генерил тексты с помощью своего ИИ сервиса - важен факт распространения и качество распространяемой информации (порочащая или не соответствующая действительности).
Надлежащими ответчиками по искам о защите деловой репутации являются авторы не соответствующих действительности и умаляющих репутацию сведений, а также лица, распространившие эти сведения.
Допустим, что в этом кейсе автора могло не быть (ибо ИИ сервис не автор, но и юзера мы таковым назвать не можем), но владелец сайта - это распространитель информации, что позволяет предъявлять требования и к нему.
Такие дела, ребята.
#чтивонаночь
MobileLLM: Optimizing Sub-billion Parameter Language Models
for On-Device Use Cases
ахуеть, наконец интересный аблэйшн?
Нужно гонять llm на девайсах, гонять 3b+ на vivoz довольно проблемно, поэтому нужны llm без первой буквы, 350-500m параметров, бонусом их можно гонять ondevice С ОЧЕНЬ БОЛЬШИМ tps(100-200 токенов в секунду)
Инсайты которые фейсбук вывел для <500m
- swiglu докидывает
- Глубокие модели значимо(4-5%) лучше чем широкие(!)
- Embeding share докидывает
- LayerShare докидывает (копируют слои)
- Претрен на 1т токенов это осмысленное действие для 350m lm
Бонус: модель вышла сопостовимой по качеству function calling c llama7b2 (x20 параметров)
paper
Как правильно распределить соискателей на ресерча с фотками в cv/профиле/гитхабе по категориям:
1. Котик (крайне редко другое животное) - скуф лет 40+, имеет минимум одну вышку, крайне силён в плюсах и сишке, дикий байтоёб, очень сильный в алгосах. В детстве был олимпиадником
2. Аниме - зумер 14+ лет, скорее всего олимпиадник, скорее всего нет (и не будет) друзей, забитый чмошник. Либо дрыщара либо жиробас, с детства ходит только на кружок по информатике, учится в топ-вузе на бесплатке т.к поступил по олимпиадам.
3. Личное фото. Тут делится на два типа. Если человек выглядит ухоженным, то это 100-ый пиздабол не написавший строчки самостоятельно без chatgpt. Если всратан 0/10, то титан которому похуй абсолютно на всё, кроме кодов.
🗯 Aeonium v1.1 Chat 4B
Дообученная на диалогах базовая языковая модель с нативной поддержкой русского языка.
Нейронная сеть сильно галлюцинирует, но иногда пишет хорошие стихи 😎
- HuggingFace
- Онлайн-демо
@hikonon
Феменистка - до первого достойного мужа
Атеист - до первой тряски в самолёте.
Необитаемый остров - до первого немца, русского и американца.
Ресерчер - до первой необходимости сделать что то рабочее
Llm fan - до первого деплоя
Блогер - до первой работы
🎬 Челлендж по видеоморфингу от Nim!
Присоединяйтесь к 72-часовому марафону креативности с Nim! Создайте как можно больше потрясающих видео, используя наш инструмент Video Morphing.
🗓 Проект завершается 6 июля в 20:00 по Москве
Что вас ждет:
Создание коротких видеоклипов (1-5 секунд)
Неограниченное количество работ
Возможность использовать Nim и любые другие инструменты
Общая папка для просмотра работ и настроек других участников
Шанс попасть в финальную подборку из 50-100 лучших клипов
Почему стоит участвовать:
✅ Познакомитесь с другими AI-видеокреаторами
✅ Получите мотивацию создать что-то новое за короткий срок
✅ Научитесь у других, улучшите свои навыки
✅ Возможность попасть в финальное видео и найти новых поклонников
Как участвовать:
1)Зайдите на страницу проекта
2) Войдите в Nim через Google-аккаунт
3) Присоединитесь как участник
4) Начните творить!
Погрузитесь в мир плавных трансформаций с инструментом Morphing от Nim!
Участвовать тут
Подробные правила
Наш Discord
Вопросы? Пишите в комментариях или на hello@nim.video
Удачи в создании шедевров! 🚀🎨
тьфу блять fp16 отрубился, я думаю чо 400 часов
Читать полностью…
мальчик: у меня нет компьюта
мужчина: 50м модель на llama1 token/parametr соотношении