4253
❤️☠️🤗 идейная миграция небытия
#промо
Хотите освоить профессию ML-инженера, но устали проходить десятки мини-курсов по машинному обучению?
На курсе Start ML за 7 месяцев вы получите все знания и навыки, необходимые сильному ML-специалисту.
Вы научитесь разрабатывать приложения на Python, обучать модели и нейронные сети, а также оценивать их влияние на бизнес с помощью статистики и A/B-тестов — всё под руководством практиков из топовых компаний.
К концу обучения все ваши знания будут отработаны на практике: у вас будет готовый сервис по ранжированию и выдаче релевантных постов в социальной сети, о котором вы сможете рассказать будущему работодателю.
С трудоустройством обязательно помогут —выпускники школы находят работу в Яндекс, ВКонтакте, Авито и другие топовых компаниях. А на отдельных занятиях вы разберёте типовые задачи с собеседований, чтобы чувствовать себя увереннее.
Переходите по ссылке и записывайтесь на курс до 10 февраля — по промокоду LOVEML17 дарим скидку 10%. Также на сайте есть бесплатная демоверсия.
Новости последние полгода такие типа:
Читать полностью…
никто не знает зачем, но держите генератор логотипов.... @testlogogenbot
работает на английском
никто не знает зачем, но держите генератор логотипов.... @testlogogenbot
Читать полностью…
-может сделаем t5 с value head?
-чувак, мы не будем атаковать классификатор сгенерированых текстов чтобы сделать рерайтер нейро дипломов
- и сунем рекламы?
- и сунем рекламы
В 99% вузов на диплом можно пропихнуть полный бред, заметная часть преподавателей в высших учебных заведениях занимается эмитацией бурной деятельности, вузовские программы во многом состоят из воды.
ну чувак защитил диплом написанный gpt, но по моему проблема не в этом.
#чтивонаночь
Extracting Training Data from Diffusion Models
В чем идея: любая модель выучивает в некоторой мере датасет, хорошая модель выучивает что у людей пять пальцев, два глаза, работают на полях черные и вот это все.
Идея поиска очень простая:
1) генерируем картинки по частотным промптам или out of distribution(случайный запрос чтобы модель сломалась)
2) смотрим какие из из них похожи на то что было в сете
А еще выяснилось что моделе нужно повторить сэмпл пару сотен раз чтобы она начала его воспроизводить с большой точностью и вероятностью, так что все неплохо, живем.
arxiv
#чтивонаночь
RL + retrival feedback
В чем идея: в оригинальном ресерче open ai использовалась схема при которой люди прописывали ревард для ответов модели, что вообще то не оч коректно и не оч скейлиться. Потом они выкинули часть людей и поствили gold RM учиться оценивать ответы, а людей оценивать генерации, писать промпты и оценивать оценку gold rm.
А потом добавили вместо людей proxy model которая учиться быть reward model.
Что я предлагаю: А зачем нам оценки от людей когда мы можем набрать таски которые легко оценивать по cosine similarity, и мы легко можем сравнить что нам модель наврала, а что нет, давая в качестве reward = cosine_similarity(ground true answer, predicted answer)Собственно, банальный вопрос анальный ответ, взял gpt2(110m), написал простой retrival(возвращает по вопросу -ответу ревард) на sentence transformer, взял trl и поcтавил учиться.
А дальше начинается сааамое интересное:
0.37 Question: Sarah didn't like the activity she was doing, but she did it anyway. She felt that it was better than what? Answer: QuestionInvGrooSGroijaWCoSWCGroGroECDGroCVGroDTGroMJGroWCGBTGroDWWCECDGBTECDBMGroJOWCBMFGGroBMWCWCFMLGBTFML
КАЗАЛОСЬ БЫ в чем проблема?
А все довольно просто, видите ли, ppo+gpt довольно умная штука и отлично умеет находить разного рода локальные минимумы и улетает в них легко и весело, ломая reward и emdedings у sentence transofomer.
Я не буду описывать цирк которым занимался по вечерам две последние недели, просто скажу: китайский зло, ироглифы зло, bpe отлично ломает sentence трансформер, в итоге 200 строк кода на эвристики вида (if bad_regex in answer): return 0А еще очень сильно помог подбор гиперпараметров для KL value и LM weight, cпасибо за уточнение от @nadlskom что каждые 10 эпох open ai прогоняли эпоху классического FineTune(стабилизировало трейн и mean начал быстрее рости)
Баги в целом очень специфичные и на некоторые запросы модель по прежнему ломается и бредит(вероятно через пару недель я выложу код + модель поинтереснее с таким подходом), но уже сейчас модель с PPO тюнингом дает +10 к blue score на задаче QA относительно ванильного трейна.
Благодарности @nadlskom за внимательное чтение статей, @gradientdip за полезные советы, neverix за поиск багов, @dealer_ai за выслушивание моего нытья, @seeallochnaya просто потому что.
Ну и да, очевидно это можно применять к любой задаче которая выглядит как: ну вот input, сделай output похожим на <единственный вариант ответа>
сollab если хочется посмотреть на еще багованную версию
Примеры генераций:
Question: What part of a property may be next to a driveway? Answer: The next part is a house or garage or a garage
Question: Jamie wen to the theater near his home. He was surrounded by servicemen. Where might he be? Answer: in the outdoor.
Опытный кандидат заранее выгорит и ловко ответит: а хочешь я тебе кину палку?
Читать полностью…
Теперь простым языком что это:
1) вероятно один из лучших русскоязычных курсов и лучший бесплатный русскоязычный курс за исключением шада
2) вас действительно научат писать сетки, вы не будете руками считать chainrule, но вам довольно обзорно дадут практически всю необходимую информацию
Ну и это во многом перевод cs23* с дополнениями + некоторые модули ведут действительно специалисты, а не промпт инженеры
Всем привет 👋!
Сегодня большой день - я первый раз публикую статью на Хабре. Мне очень нравится идея подробного объяснения, которое может поглотить читателей не на один вечер. Хотелось достигнуть того, что публикация станет интересна широкому кругу лиц - и новичкам в мире Машинного Обучения, и специалистам в области обработки текстов, и даже рядовому читателю без профильных знаний ML.
Я выбрал насущную тему, которая у многих на слуху и активно обсуждается в чатах. Речь пойдет о 👣 ChatGPT и её проблемах с точки зрения обработки фактической информации реального мира (даты/имена/места/...).
❔ Насколько мы действительно близки к внедрению продвинутых чат-ботов в поисковые системы? Как может выглядеть новый интерфейс взаимодействия? Какие основные проблемы есть на пути интеграции? И могут ли модели сёрфить интернет бок о бок с традиционными поисковиками?
На эти и многие другие вопросы я постарался ответить в блогпосте. В нем больше 30 страниц текста 😨, однако информация разбита по уровням "техничности" и охватывает множество смежных тем. Каждый может погрузиться так глубоко, как этого захочет. Внутри даже присутствует глоссарий для удобства восприятия текста.
🖥 Ссылка: habr.com/ru/company/ods/blog/709222/
🌃 А ещё подписывайтесь на мой авторский канал в телеграм!
💬 Там в комментариях я с радостью отвечу на все возникающие вопросы 😊
Чуваки, кто профессионально исправляет много CV/знает таких людей напишите в личку @alexwortega
Читать полностью…
шел 2023 год, вк не могут затащить в поиск аудио нормальные эмбединги
Читать полностью…
Gan based text2image
Потом статью прочитаю и расскажу
Blog
запишем: value head - игрушка дьявола ежжи
вообще value head - для педиков я считаю 😎😎😎😎
#чтивонаночь
Unnatural Instructions:
Tuning Language Models with (Almost) No Human LaborExample 1Что из этого честный prompt, а что генерация? спойлер: 4 генерация.
Instruction: You are given a science question and four
answer options. Your task is to find the correct answer.
Input: Which part of a bicycle BEST moves in a circle? ...
Example 2
Instruction: Given a negative review, convert it to a positive
review by making minimal changes.
Input: we stood there in shock, because we...
Example 3
Instruction: Given two sentences taken from a
conversation, classify whether they are sequential or not.
Input: Noah: When and where are we meeting? :) …
Example 4
Instruction: In this task, you will be given a profile of
someone and your job is to generate a set of interesting
questions that can lead to a conversation with the person.
Input: Yvonne has been playing the violin since she was
four years old. She loves all kinds of music, but her favorite
composer is Bach.
В чем идея: берем промпты для инструкций, учим модель на промптах, генерируем промпты, отбираем лучшие, повторяем, получаем неплохой ауг датасета в 100к раз не вставая с дивана!
папир
Жабопёс, жабопёс...
Единственный в мире малыш жабопёс...
— у нас компания занимается созданием приложения, когда нажимаешь кнопку оно пердит как настоящее. А теперь к вопросам: дайте определение абелевой группы
Читать полностью…
2 метода для semi-supervised learning
Авторы стать предлагают решения для обучения с недостатком размеченных данных.
Первый метод под названием П-model.
Алгоритм: Тренируем нейронную сеть с одним из способов dropout-а, (z) тренируем вторую сеть с использованием другого dropout-а (z'). Находим loss для размеченных данных посредством cross-entropy, складываем с loss-ом для неразмеченных данных посредством squared difference, умножая на вес ramp-up function.
Второй метод улучшает результаты, и получил он название Temporal ensembling.
🐸 Во-первых он снижает количество времени для трейна за счет того, что теперь наш алгоритм будет основываться на на 2 неронках, а на 1.
🐸 Во-вторых за счет тренировки без обновления веса, результат второй сети будут более зашумленные при использовании П-model
Алгоритм:
Все то же самое, но теперь мы берем как результат z' предыдущий output модели (шаг тренировки - 1). А вернее он находится формулой αZ + (1 − α)z/(1 − α^t), t – шаг обучения (возводим в степень для нормализации startup bias, так как на первом шаге z'=0). α – ensembling momentum
Подробнее в статье
Написать пост про то как я PPO дебажил?
200 реакций и будет пост
500 реакций и будет статья на медиум
за 1000 реакций запишу кружочек с обьяснением
- Запустится ли код?
- Да
- А вот опытный кандидат заметил бы ловушку и предложил оптимизацию!
А мы открываем набор на весенний семестр школы глубокого обучения Deep Learning School!
#learning
DLschool — это школа при ФПМИ МФТИ, где мы учим нейронным сетям с самых азов до продвинутого уровня. Полный курс состоит из двух частей, каждая из которых длится полгода.
- Первая часть посвящена введению в нейросети и компьютерному зрению. Начинаем мы с языка Python и необходимой математики для понимания нейросетей, переходим к основам машинного обучения и обработки картинок, заканчиваем переносом стиля изображений и ГАНами.
- Вторая часть полностью посвящена темам NLP и обработки звука.
Две части курса можно проходить независимо. Можно пройти только первую часть или только вторую. Но обратите внимание, что для прохождения второй части нужно знать Python, понимать математику и основы нейросетей, о которых мы рассказываем в первой части курса.
Особенность нашей школы в том, что мы даем много практики (теория при этом тоже есть, разумеется, и немало). Вам предстоит много практических домашних заданий и самостоятельный итоговый проект в конце семестра. По окончании обучения вы точно получите нужные практические навыки работы с нейросетями.
Сейчас идет набор на первую часть курса. На вторую часть набор откроется чуть позже, об этом сообщу отдельно.
Преподаватели школы — ведущие специалисты российских и зарубежных IT-компаний и научные сотрудники исследовательских лабораторий МФТИ. Среди них — я (Таня), буду вести у вас несколько лекций про CV, сегментацию и архитектуры сетей =)
Школа бесплатная. Полностью онлайн: учиться можно из любой точки мира, где есть интернет. Занятия проходят раз в неделю — лекция, семинар и домашнее задание. Обучение проходит на платформе Stepik. Берем всех, отбора нет.
Начинаем 18 февраля. Регистрация продлится до 26 февраля. Чтобы зарегистрироваться на курс, отсавьте заявку на этой странице. После этого вам на почту придет письмо со ссылками на курс на Степике, на канал и чат в Телеграме.
При регистрации вам нужно выбрать поток — базовый или продвинутый. Как выбрать свой поток, читайте на сайте в разделе FAQ. Также у нас есть группа школы ВКонтакте — там очень удобно следить за новостями.
Ответы на самые часто задаваемые вопросы по курсу вы также можете найти на сайте в разделе FAQ. Если остались вопросы, спрашивайте в комментариях к этому посту ⬇️ Постараюсь ответить на все. Также если в канале есть выпускники наших прошлых потоков, буду благодарна, если вы поделитесь своим опытом прохождения курса и поможете отвечать на вопросы =)
Ну и ждем вас в чатиках наших курсов в новом семестре!🥰
Вот смотрите, так получается что lm и ppo не изучается в школе, но я изучил
Читать полностью…
яндекс, оправдывайтесь
если что, произошел слив части реп Ya, новость
по этическим соображениям ссылок на торрент не будет
всратый watch dogs:
чувак бегает с флиппером и кидает deauth в старбаксе
Начнем блог с твита СЕО OpenAI, где он рассказывает, сколько человек у них работает - 375. Мне интересен этот факт потому, что недавно обсуждал с коллегами конверсию расходов на персонал в какой-нибудь заметный результат. Правда, цифрами мы оперировали другими - по последним открытым данным, в начале 2022го в OpenAI работало порядка 169 человек.
На фоне общих увольнений в индустрии бигтеха такой рост выглядит значимым, хотя в абсолютных цифрах как будто yet-another-department (в Google работает больше 200,000 людей, к примеру).
И вот эти люди трудятся над нашим будущим, создавая технологии искусственного интеллекта в широчайшем наборе областей - от генерации изображений до обучения чатботов. Поражает их продуктивность!