4254
❤️☠️🤗 идейная миграция небытия
Кхм
КОД КРАСНЫЙ, КОД КРАСНЫЙ, AGI ACHIEVED EXTERNALY
Cо стороны подвала раздался крик postdoc_a - А как же, Ai safety for foundation multi-agent multiscale multimodal multitask language models !!!
Читать полностью…
Пост для вопросов
Ссылка на поддержку алкоголизма адмена, все деньги мы поделим поровну и пропьем.
господин @danokhlopkov будет ведущим, и как не DSный человек будет задовать вопросы
Читать полностью…
Эта пятница. 20 по москве. Стрим про флан.
Читать полностью…
Я к слову спиздел слегка, авторы используют majority voting для выбора лучшего.
Хочу новые форматы и хочу спать нормально.
А step DPO это личная хотела админа не у кого в реальности оно не работает офк, просто красивая идея.
А ну и sft ебет
Задача protein folding примерно такая - у нас есть аминокислоты, сами по себе мы умеем их определять и знаем, мы знаем их последовательность. Мы хотим предсказать как именно белок свернется, что позволит предсказать его свойства.
Тема далекая от меня, читайте материал про alphafold в частности тут
сидим болтаем в кофейне с челом из heidelberg university про protein folding.
вечер среды набирал обороты, а лед в матча бамбле таял на июльской жаре
Заходите к друзьям из rocket coffe они классные.
ЭЙ ПАРЕНЬ? ЧТО СИДИШЬ СЛОЖА РУКИ??? БЕРИ СВОЮ 3060 И БЕГИ ОБУЧАТЬ LLAMA MERGE ASUKA AYANMI RAY HORNY EDITION!!!!
а выяснить можно ли обучить такую модель достаточно воспользоваться
huggingface.co/spaces/Vokturz/can-it-run-llm
пост писался ради картинки
покупка nvidai a6000 это что то типа угадай мелодию поколение карты по охлаждению и турбине
К нам пришло много новых подписчиков — мы вас видим, привет! 👋
Для вас и для всех остальных — самый лаконичный дайджест: все актуальные вакансии из канала в одном посте. Только тайтл, локация, деньги. Все вилки — гросс в год, все контакты и подробности — в исходных постах. Поехали!
SWE, SRE:
1️⃣ Founding Engineer with system experience в Axiom. Remote, US hours, $150k-250k + доля 0.5-1%.
2️⃣ Core Rust Engineer with blockchain/system experience в NEAR. Remote, $200k-400k total.
3️⃣ Senior C++ Developer в Order Capital. Релокейт в Дубай, $180k-360k на руки(!) в среднем с бонусами + возможен профитшеринг. В посте было написано меньше, но вы верьте тому, что мы говорим сейчас.
4️⃣ System Architect в Noeon. Релокейт в Токио, $130k-200k + опционы.
5️⃣ Software Engineer with system/distributed experience в Databricks. Релокейт в Сербию, вилка-которую-нельзя-называть + опционы (очень много опционов!)
6️⃣ Search Engine Engineer в Perplexity. Релокейт в Лондон, $150k-250k + опционы.
7️⃣ Senior Rust Engineer в Aurora. Поста нет, а вакансия есть. Про саму Аврору мы писали, например, тут. Нужен опыт с L1-блокчейном и Rust. $140k-180k + токены. Расскажет @AlbinaMakarova.
8️⃣ SRE/SWE(Go) в инфра-команду Aurora. По ссылке — вакансия с уклоном в SRE примерно 80 на 20, но и зеркальная ей тоже существует! $80k-120k (вилка подросла!), ремоут.
9️⃣EA-aligned Software Engineer (middle) в BlueDot Impact. Релокейт в Лондон. Coming soon! Можете тихонько спросить в лс у @owlkov.
ML (Engineers, Researchers, Ops):
1️⃣ Data Engineer в Recraft. Релокейт в Лондон, $100k-145k + опционы.
2️⃣ Founding MLOps в Atla. Релокейт в Лондон, $200k–380k + норм доля.
3️⃣ ML Research Scientist в METR. Релок в US (Berkeley) без лотереи, $150k-365k, до 550k для супер-лида.
4️⃣ ML Engineer снова в METR. Тоже релок в Беркли без лотереи, тоже $150k-365k.
5️⃣LLM Engineer в Perplexity. Релокейт в Лондон, $150k-250k + опционы.
6️⃣ Research CV Engineers, Research Tech Lead в HeyGen. Можно ремоут из Европы, можно офис в США. $180k-300k + опционы.
7️⃣ Engineering Manager в FAR, AI safety лабораторию. Тут мы тоже не успели написать пост, но от вас нужно 2+ года лидерства техническими командами и опыт в разработке или ML. Ремоут ок, но лучше релокейт в Беркли, США, причём без лотереи! $125k-$250k+. Всё остальное можно узнать у @natmartem.
Quantitative Research:
1️⃣ Senior Quant в Order Capital. Дубай, $220k-360k в среднем с бонусами + профитшеринг.
2️⃣ Кванты всех уровней в NDA HFT. Кипр, джунам $100k-180k на руки(!) в среднем с бонусами, синьорам — больше. Спросите у @owlkov!
#чтивонаночь
Kolors: Effective Training of Diffusion Model for Photorealistic Text-to-Image Synthesis
Отличная китайская модель,
- 2.6b DIT, t5 xxl как text encoder
- много чистили данные с помощью VLM и дополнительно OCRили их
- обратите внимание что модель лучше с китайским работает
игратся
github
kolors.kuaishou.com
Привет!
Мы в лабараторию ебаного ресерча Vikhr models открываем летние стажировки
Что по задачам:
- Мержинг, стакинг, замеринг, эволюционка поверх LLM cтакинга
- собирать крутые инструкт сеты, у нас много gpt4 токенов, если хочется трогать руками RAG, агентность, function calling и прочие хайповые слова - велком!
- Учить Lora на разные задачи и трогать кучу очень интерсных задач (SPPO, DPO, KTO)
- Есть целых! 4v100 и к конце лета приедет а6000
- Собрать самые крутые и самые мемные бенчмарки😎
- развлекатся с vllm, быстрым инференсом и при желании строить опенсуср
- если вам хочется заводить свою шизо идею а на работе не дают - велком, мы сами такие
Оплата: в авторах на хабре, вероятно на arxiv, уникальный опыт(сорян денег реально нет, мы реально работаем на энтузиазме)
Скидывать cv, нюдсы, вопросы, ответы, предложения в: https://forms.gle/54BLnMMxZuNNboev6
"да у них мудацкий фильтр на датасет висел который раньше для прода использовали aka safety_checker_pipeline"
инсайты от уволенного сотрудника stability
upd он говорит что уволился сам
Я все думала, ну когда какая-нибудь нейронка выстрелит в хоть в каком кринжовом деле.
И дело нашлось - А67-150/2024 - о защите деловой репутации.
С помощью нейронки наклепали статьи, разместили на сайте, истец оскорбился и пошел судиться, а точнее устанавливать факт, имеющий юридическое значение. Почему? Потому что идентифицировать лицо, распространившее информацию (aka владельца сайта) не удалось.
Подобных решений - пруд пруди, ибо не иссякла на Руси еще анонимность (хотя казалось бы). На дело я обратила внимание из-за упоминания GPT.
Тут нужно отметить, что для целей закона не так важно писал ли ответчик свои мысли в тетрадке и выставлял фото записей, опубликовал пост в анонимном блоге или генерил тексты с помощью своего ИИ сервиса - важен факт распространения и качество распространяемой информации (порочащая или не соответствующая действительности).
Надлежащими ответчиками по искам о защите деловой репутации являются авторы не соответствующих действительности и умаляющих репутацию сведений, а также лица, распространившие эти сведения.
Допустим, что в этом кейсе автора могло не быть (ибо ИИ сервис не автор, но и юзера мы таковым назвать не можем), но владелец сайта - это распространитель информации, что позволяет предъявлять требования и к нему.
Такие дела, ребята.
#чтивонаночь
MobileLLM: Optimizing Sub-billion Parameter Language Models
for On-Device Use Cases
ахуеть, наконец интересный аблэйшн?
Нужно гонять llm на девайсах, гонять 3b+ на vivoz довольно проблемно, поэтому нужны llm без первой буквы, 350-500m параметров, бонусом их можно гонять ondevice С ОЧЕНЬ БОЛЬШИМ tps(100-200 токенов в секунду)
Инсайты которые фейсбук вывел для <500m
- swiglu докидывает
- Глубокие модели значимо(4-5%) лучше чем широкие(!)
- Embeding share докидывает
- LayerShare докидывает (копируют слои)
- Претрен на 1т токенов это осмысленное действие для 350m lm
Бонус: модель вышла сопостовимой по качеству function calling c llama7b2 (x20 параметров)
paper
Симпатичная open source книжка DevOps for Data Science полезная для всех кто сисадминит и хочет развиваться в сторону дата инфраструктуры. Не охватывает платформы, охватывает большую часть фундаментальных вопросов. Полезное и для дата инженеров тоже.
Читать полностью…
Сидят научник и аспирант, название для статьи придумывают. Научник записывает:
Foundation multi-agent multiscale multimodal multitask language model
Аспирант: У нас в название статьи место есть, может чет про ai safety добавим?
Научник, прикидывая:
— Да не, хуйня какая-то получится
⚡️⚡️ Arxiv заблокируют в сентябре — об этом сообщает «Вестник науки.ру», ссылаясь на источник, близкий к администрации президента, который ссылается на тред на дваче⚡️⚡️
📍По информации источника, доступ к Arxiv получат только блогеры с аудиторией более 1000 человек и зарегистрированные в базе РКН, РПЦ, сдавшие ПЦР, у них будет возможность пересказывать содержание видеороликов статей после предваривательного согласования с АП
🤔 «Сейчас для нас главная задача — взять под контроль админов нишевых каналов с мемами про говно. А Arxiv мы прикроем тупо потому что папиры про llm заебали в рекомендациях"
По мотивам
Вот я юзаю LLMки и радуюсь. А ведь когда-то я сам обучал разные жосткие мл модели, читал научные статьи, но сейчас я вообще не шарю, что там под капотом бурлит.
Flan называют одной из важнейших работ по инструктивному обучению, где показали генерализацию и перенос знаний на diverse instructions tuning. Что это все значит? Сложна? Сложна?
Сегодня в 20 по мск, в 6PM по Лондону будет стрим на канале @lovedeathtransformers, где я буду задавать тупые вопросы в попытках хоть что-то понять. Присоединяйтесь 👩🏫
AI’s $600B Question
Если вы знакомы со мной достаточно давно - вы знаете мою позицию про GENAI и пузырь который раздувается.
Собственно ребята из sequoia capital тоже имеют глаза и калькулятор. И прямо сейчас есть проблема - в сумме должны зарабатывать 600B usd, а заработок сейчас 100 + нет четкого понимания а как вообще заработать сильно больше, точек где текущее поколение genai полезно не очень много по прежнему, но количество уволенных будет увеличиваться - переводчки duolingo и cheap assets makers - первые в этом ряду
Кину кости и скажу следующее: за этот год вы увидим лажовый релиз одного из крупных игроков(модели будут значительно хуже прошлой версии) и схлопнется средне крупная AI контора(leonardo, runway, pika ) на ваш вкус
Нашел свой старый пост /channel/lovedeathtransformers/4865 wiki
article
опубликовали топ-1 решение AIMO
https://www.kaggle.com/competitions/ai-mathematical-olympiad-prize/discussion/519303
Aesty: Pocket AI Stylist теперь в AppStore! 🎉😎
Релизнули аппку Aesty, которая поможет собрать образ с нуля или оценить уже готовый. Никаких абстрактных советов, только конкретные и прозрачные рекомендации 🫡
С чем поможем?
1️⃣ Как стилизовать: Оценим ваш лук и дадим советы, как его улучшить, основываясь на ваших предпочтениях.
2️⃣ Персональные рекомендации: Покажем, какие цвета, бренды и вещи из вашего гардероба лучше всего соответствуют вашим запросам.
3️⃣Цифровой гардероб: Оцифруем вещи по любым фоткам, в том числе на человеке. Определим их стили и сезон.
Го тестить и скорить аутфиты! 🏄
Промик EARLYBIRD на первые 2 недели с премиумом!
накидайте реакций если надо стрим про FLAN, на 100 думаю на 200 делаю
Читать полностью…
Сегодня вечером пьем Aleksandrovic Chardonnay 2022 и перечитыаем Flan - одна из важнейших работ по инструктивному обучению.
В ней показали генерализацию и перенос знаний на diverse instructions tuning, а ещё ее делал стажёр (!!!)
А если вы в Белграде то заходите к друзьям из SlOJ - у них новое меню.
Статья
А слушаем крайний альбом Little Big Lobster popstar
Its world model if it hype enough2 - OpenVid-1M: A Large-Scale High-Quality Dataset
for Text-to-video Generation
Новая китайская бюджетная world model, 35к бачей на претрен, 1м пар видео-описание
Архитектурно это OpenSora с небольшими доработками, работает примерно так же(хуево), но учится на датасете в 50раз меньше.
model paper dataset
кто виноват, что делать, ты шо ебанутый дядя?
Читать полностью…
Скоро я в коллаборации с Vikhrmodels релизну русскую general арену (на основе кода Arena-Hard-Auto. А еще готовлю несколько других крупных 🤗 релизов и статей (хабровских)...
А пока вам текущий стейт со всеми лучшими опенсорс (и не только моделями)
Датасет использованных русских промптов (500 штук), уже выложен и доступен по ссылке
P.S. Скоро восстановлю ведение канала, были не очень приятные обстоятельства для его ведения...
Смешной факт: некоторые русские заведения открыты в домах которые строили белые эммигранты 100 лет назад.
Читать полностью…
https://gaggle.fun/goose-goose-duck?action=launch&gid=008&rid=H96ZJTP
Читать полностью…