4253
❤️☠️🤗 идейная миграция небытия
Ребят, тут такая тема.
Помимо алгосов, на чем мы концентрировались последнее время и будем в ближ будущем
наша мечта стартовать разработку на rust
В этом году есть офигенная возможность.
На физтехе есть курс по rust в весеннем семестре.
Они сейчас не нашли преподавателя. Мы думаем, помочь им с этим + дать возможность участвовать не только физтехам
Ставьте огоньки, кто хотел бы стать частью самой сильной rust команды в мире. Добавим вас в чатик по поводу всех апдейтов
Чуваки, не обновляйте свой торч какое то время
Ссылка
22 год был пиздецовйй, но ты молодец если справился и читаешь этот пост, особенно я рад видеть тут лица людей с которыми мы встречали прошлый новый год.
Тред встречи нового года начинается тут, пишите что хотите чтобы получилось, кидайте фото ёлок и вообще начинаем поздравляться.
С новым годом мои чуваки! 🐸
Илья Гусев выпустил клёвый блогпост по статьям с EMNLP
Внутри:
- PoeLM: A Meter- and Rhyme-Controllable Language Model for Unsupervised Poetry Generation
- Draw Me a Flower: Processing and Grounding Abstraction in Natural Language
- Dungeons and Dragons as a Dialog Challenge for Artificial Intelligence
habr
Было дело❓
🔥Огонек, если собесился и не получилось
❤️Сердечко, если работаешь в Яше
GPT тайно файнтюнит себя через attention во время инференса (by Microsoft)
Авторы немного поколдовали над формулами этэншна и смогли свести их к SGD — оказалось, что трансформеры сами осуществляют внутри себя градиентный спуск и используют механизм внимания в качестве неявного оптимизатора!
Теперь понятно, почему few-shot learning так круто работает, ведь модели полноценно учат себя пока смотрят на контекст. К тому же эксперименты показали, что активации при файнтюнинге и при few-shot демонстрации примеров обновляются примерно одинаково.
А раз attention ≈ SGD, то почему бы не попробовать добавить в него momentum? И это действительно помогло! Модель стала обучаться быстрее, тестовая перплексия получилась ниже, а few-shot заработал ещё лучше.
Статья
очень полезно говорить языком что хочешь от людей
Читать полностью…
#чтивонаночь
Ваше дело деньги давать и завалiти ебало - не знаю кто это сказал, но кто то в дискорде EleutherAI в этот момент воскрикнул - Эврика!
Деньги на карточки!
И с этими словами поставили учиться пачку моделей семейства pythia в следующих размерах: 19M, 125M, 350M, 800M, 1.3B, 2.7B, 6.7B, 13B.
В чем соль:
Ставим учиться модели в разных размерах, делаем много чекпоинтов, смотрим что выучила модель.
Папины пока нет, а вот модели уже есть, в том числе очень интересная 13b(влезает в 1а100 на файнтюн)
Цитирую:
What do LLMs learn over the course of training? How do these patterns change as you scale? To help answer these questions, we are releasing a Pythia, suite of LLMs + checkpoints specifically designed for research on interpretability and training dynamics!
The Pythia suite of models currently contains 16 LMs (8 different sizes x 2 different datasets). The models have sizes [19M, 125M, 350M, 800M, 1.3B, 2.7B, 6.7B, and 13B], contain 143 intermediate checkpoints, and were trained on the same exact data in the same exact order.
HF
2016:
Huggingface - we're going to make a chatbot
OpenAI - we're going to do open AI
2022:
Huggingface - we're making AI open
OpenAI - we made a chatbot
зашел в код трейна, увидел pandas без multithread, вышел
Читать полностью…
Подъехал рождественский подарочек от испанских властей для всех нас, фаундеров, удаленщиков, номадов и сочувствующих - наконец-то в Испании приняли закон о стартапах! 🥳 Вступает в силу СЕГОДНЯ!
Полный текст закона, а вот “краткое” резюме от юристов.
Вчера мы для вас внимательно почитали закон с Денисом - самым-опытным-подавателем-на-стартап-внж-Испании (вот наш пост для фаундеров, а еще двухчасовой суперподробный видеоразбор бизнес-плана для внж, со многими деталями процесса).
В законе довольно много интересностей, остановлюсь на главных для фаундеров и удаленных работников.
Для фаундеров стартапов процедура почти не изменилась, можно подать из Испании, все как и прежде. Есть три главных новшества:
1️⃣ Теперь внж будут выдавать на три года! С последующим продлением на два.
2️⃣ Теперь “Закон Бэкхема” (специальный налоговый режим) могут применить не только высококвалифицированные сотрудники по найму, но и предприниматели. И что самое главное - члены семьи (партнер и дети до 25 лет).
3️⃣ Налог на прибыль стартапа - 15% на четыре года, начиная с первого прибыльного.
Как я понимаю, все кейсы на внж, поданные с сегодня, будут идти по этому пути. Но не исключаю, что и уже поданные могут попасть туда же.
И грядет революция для удаленный работников - фрилансеров/номадов! Суть в том, что если есть контракт с зарубежной (не испанской) компанией 3+ месяца, компании более года от роду, а общий стаж сотрудника - 3+ года, то можно подать на годовую визу удаленщика (visado de teletrabajo), по которой:
1️⃣ Можно постоянно жить в Испании и через год подать на трехлетний внж.
2️⃣ Платить IRNR - налог на доходы нерезидентов, 24% при доходе до 600к в год.
Проще говоря, выполнив достаточно нехитрые условия, можно стать полноценным резидентом Испании. Навскидку, по тексту закона, она является одной из лучших виз удаленных работников на сегодня. А учитывая качество жизни в Испании - лучшей!
На визу можно будет подать и приехав Испании по шенгену, и в своем консульстве.
Как будут выдавать в Москве - непонятно, потому что в марте россиянам визы предпринимателей выдавать перестали. Но вероятно будет работать схема “внж третьей страны —> европейские визы”.
Не исключаю, что еще появится требование минимальной зарплаты удаленного сотрудника - такое есть почти у всех “виз фрилансеров”.
В целом, если для фаундеров скорее всего будет работать хорошо сразу, на старых рельсах, то для удаленщиков - совершенно новая виза, и шестеренки бюрократической машины будут какое-то время не смазаны практикой. Я такое (с редкими визами) проходил сам в Италии и Франции - на всех этапах никто вообще не знал, что существуют какие-то стартап-визы. Но ничего, объяснял в консульствах-квестурах-префектурах, показывал - с фразами "ого, что бывает!" выдавали.
Мы с Денисом как будем знать лучше практику - сможем говорить более предметно. Возможно сможем что-то дельное посоветовать, в том числе согласно конкретному кейсу.
Если кто-то хочет переехать в Испанию по новой визе удаленного работника, то вот форма, пожалуйста опишите свой кейс: https://airtable.com/shrHgAGw1qLlAkp5j
В законе еще много интересностей для собственно испанских стартапов - напишу детали в другой раз.
А пока давайте возрадуемся новому закону! Это можно рассматривать в том числе как очередное подтверждение тренда на послабление иммиграционных законов приятных для жизни стран. Я уверен, что похожих нововведений будет все больше и больше. Ура!
@kyrillic
Фекально дендральная sota архитектура
Читать полностью…
Эмигрант! А ты подал свою налоговую декларацию?
Помни, если не подашь - придет он.
«Сказка становится веселой, только когда ее рассказывают веселые люди»
Команда Вечернего Урганта жестко высмеивает происходящее в России
Главный новогодний проект, что характерно, запрещенный к показу
Смотреть можно тут
Два чела взяли кредиты на GCP, взяли код compvis, сунули aethtetic (вероятно) LIAON и получилась vintedois-diffusion-v0-1.
Prompt: photo of an old man in a jungle, looking at the cameraПочему это важно: стабилити как бы выпустили модели, да, но есть нюанс: там довольно геморная лицензия которая в целом блочит использование модели под NSFW штуки, ну и в целом ощутимо режет возможности применения. А в "V2" версии ещё и сиськи зарезали, что вообще кощунство.
Hf🤗
Colab 😎
Зачем тебе большая плохая модель? На тех же флопсах можно обучить пусть сильно меньше, но сильно лучше и качественнее, в чем смысл учить 20b на сете 800гб? Она его частично выучит, но для тюнинга будет хуже, а значит смысла в ней будет меньше.
Downstream tasks > pretrain tasks
Чёт горелым пахнет, гирлянда что ли?
А не, тимлид сгорел, все хорошо
Если датасаентист строит дом, он у него либо течет либо взрывается
Читать полностью…
Как шарить за DL не на уровне: пупук вот linear, вот логрег.
Есть пачка Стэнфордских курсов по ML, DL, NLP, выбираем по необходимости и проходим.
Мои фавориты:
DL in NLP - трансформеры и хайп included, благо лекторы делают их
NLP - ну это база, много стат методов и всякого около ml
Cs2289 - классический мл
CS230 - классический DL
Большая часть курсов на русском - в лучшем случае перевод этих, иногда ещё и плохо обновляемый. Ну и есть классическая теорема - хочешь чему-то научиться - учись у того кто это делает.
Подписчик намутил датасет русской капчи
Kaggle
#чтивонаночь
P-Tuning v2: Prompt Tuning Can Be
Comparable to Fine-tuning Universally Across Scales and Tasks [ACL2022]
Да кто такой этот ваш p tuning...
у v1 версии ptuning была очень "забавная" проблема, он слабо работал на моделях 2б + параметров, о чем авторы умолчали.
Что нового в v2
- докинули эмбединги в начало, а не в конец, добавили эмбединги на все слои в итоге качетсво выросло на 1-2 пункта на почти всех задачах
- Э, ну все, это бустануло скоры почти до уровня обычного FT
github
arxiv
СЛОВНО ХУЙ ДРОЧЕНЫЙ В ЖОПУ ПИДОРА!!!
ПРЯМ В АЙТИ ДЕБИЛОВ НЕЙРОСЕТЬ ВОШЛА!!!
НЕ ОСТАВИВ МАРТЫХАНАМ ВЫБОРА!!!
КОДА ГЕНЕРАЦИЯ ПОШЛА!!!
СКОРО ВЫ УЕБИЩА ОТВЕТИТЕ!!!
ЗА ЗАРПЛАТЫ ВАШИ И ЗА ГОВНОКОД!!!
ЕСЛИ НЕ ИЗДОХНИТЕ ПОЕДЕТЕ!!!
ЧИСТИТЬ ЦЕХ НА РОДНЕНЬКИЙ ЗАВОД!!!
ВЫ МОЛИТЕСЬ СУКИ О ПРОЩЕНИИ!!!
ЧТОБ НА КАССУ ВЗЯЛИ ВАС В МАКДАК!!!
НЕЙРОСЕТЬ УМЕЕТ В ОБУЧЕНИЕ!!!
БОЛЬШЕ НАМ НЕ НУЖЕН ДЖУН-МУДАК!!!
ВСТАНЬТЕ НА КОЛЕНИ СУКИ ЁБАНЫ!!!
ПРИГОТОВЬТЕСЬ ГАЙКИ В БОЛТ ВБИВАТЬ!!!
ВАШИ РЫНКИ БУДУТ ЖЕСТКО ВЪЁБАНЫ!!!
БОЛЬШЕ КОД НЕ НАДО ПОКУПАТЬ!!!
ВСЕ КРИЧАЛИ ЧТО РАБОЧИХ ВЫЕБУТ!!!
А ТЕПЕРЬ ЖЕ ВСЕ НАОБОРОТ!!!
ЕСТЬ У ВАС УЕБИЩ ПРАВО ВЫБОРА!!!
В ШАХТУ ТОПАТЬ ИЛИ НА ЗАВОД!!!
С УВАЖЕНИЕМ GPTCHAT, КОМПАНИЯ OPENAI
Чо чуваки, какое у вас самое большое разочарование года?
Читать полностью…
Друзья, если вы хотите вступить в коллектив Baby Kagglers, начать побеждать в соревнованиях, расти профессионально в среде лучших инженеров, то пишите мне в личку, но сначала убедитесь, что вы соответсвуете всем следующим критериям:
- Возраст: 12+
- Опыт в мл: 2 years +
- Kaggle Competition Expert +
- Проектов на гитхабе: 10+
- Кубков в Clash Royale: 6000+
- Кубков в Brawl Stars: 14000+
- Кубков в Clash of Clans: 3500+
- Лига в Hill Climb racing: легендарная+
- Средний балл на русском медвежонке за последние 5 лет: 90+
- Лига в Duolingo: Diamond+
- Жим лежа: 80 кг +
- Становая тяга: 100 кг +
- Присед со штангой: 90 кг +
- Расстояние за час бега: 10 км +
- Индекс массы тела: 18.5 - 24.9 (для девушек), 20 - 25.9 (для парней)
- Количество песен MGMT / LXST CXNTURY в плейлисте на спотифае: 20+
- Количество lo-fi миксов в плейлисте на ютубе: 50+
- Количество отжиманий от пола: 100+
- Количество холодных душей в день: 3+
- Количество прочитанных книг в месяц: 10+
- Средний балл на ЕГЭ по математике: <= 70
Вышел главный отчет и прогноз на будущее для крипто от Messari. Я потом сделаю из него какую-то выжимку-рассказ наверное, а пока для тех кто готов читать оригиналы - вот вам полный текст отчета. Если вы работаете в сфере крипто или финтека - вам надо бы его прочитать
Читать полностью…