Small Data Science for Russian Adventurers

16 May 2023 17:21

#термин
Как меняется значение термина со временем...

Сейчас термином cross-validation (перекрёстная проверка / скользящий контроль) называют практически любой способ "честной оценки её качества" (см. wiki). Более 20 лет назад под этим понимали, в основном, тестирование с равномерными разбиениям выборки:
- Leave-p-out cross-validation,
- Leave-one-out cross-validation,
- k-fold cross-validation.
А вот когда мы выборку делим на две части, на одной обучаемся, на другой контролируемся, называлось отложенным контролем (Holdout method) - видите, тут даже в названии нет "cross-validation".

И вот что написано на Wiki: "many sources instead classify holdout as a type of simple validation, rather than a simple or degenerate form of cross-validation".

На русской Wiki, кстати, вообще радикально отождествляют cross-validation = k-fold cross-validation (что соответствует старой терминологии).

Small Data Science for Russian Adventurers

04 May 2023 18:39

#интересно
На ArXiv-е есть раздел статистики:
https://info.arxiv.org/help/stats/
Больше всего на него заливают препринтов в области Computer Science (в среднем сейчас более 200 в день), на втором месте - Math (более 100). И есть ещё раздел с отчётами:
https://info.arxiv.org/about/reports/index.html
Скачивают с ArXiv-а в день в среднем 1.5 млн статей (это по всем областям)!

Small Data Science for Russian Adventurers

26 Apr 2023 14:41

#ссылка
Учебные материалы по теории хаоса. В полном доступе выложена авторская книга (более 1000 страниц) и материалы курсов.
https://chaosbook.org/

Small Data Science for Russian Adventurers

14 Apr 2023 12:26

#опрос
Мне сейчас актуальны проблемы качества образования. Поэтому я попробую использовать аудиторию канала для опроса. Какие-то общие выводы опроса я, конечно, в канале напишу...

Нас обычно привлекают
- преподаватели (которые отличаются от других харизмой, манерой подачи и т.п.),
- курсы (которые оказываются полезными и запоминаются),
- приёмы (ну какие-то фишки, которые редко встречаются, но вызывают "вау-эффект": интересные формы контрольных, неформальные обсуждения материала и т.д.)

Если у Вас что-то такое было, напишите в форму. Там всего несколько полей, можно заполнять несколько раз, за одно заполнение можно указать что-то одно (преподавателя, курс или приём). Также желательно кратко объяснить, а что Вас зацепило... Это НЕ обязательно должно быть связано с DS или MATH образованием! Любопытно всё интересное.

Заранее всем спасибо!

Small Data Science for Russian Adventurers

05 Apr 2023 16:25

#приёмы
На своих курсах я часто сообщаю такой приём: не выбрасывать плохие данные, а примерить их пусть не для моделирования, но для служебных задач. Например, у Вас есть кусок данных, где много неизвестных значений, а в целевых значениях много выбросов. Можно изъять его из обучения (допустим это повышает качество), но использовать, например, для mean target encoding категориальных признаков (и утечки не будет и кодирование будет вполне нормальным).

Small Data Science for Russian Adventurers

30 Mar 2023 20:28

#к_вопросу
В одной из статей авторы добавили к названию предложенной нейронки (трансформеру) такой забавный значок. Ниже вопрос;)

Small Data Science for Russian Adventurers

17 Mar 2023 09:51

#конференция
Года 3 назад постил эту ссылку, но если кто-то не добавил в закладки...
Список научных школ по машинному обучению (в том числе будущих):
https://github.com/sshkhr/awesome-mlss

Small Data Science for Russian Adventurers

12 Mar 2023 20:47

#визуализация
Немного красоты свёрток перед первым рабочим днём на неделе;)
https://animatedai.github.io/

Здесь не изображены векторы смещения (bias), но это не значит, что их нет;)

П.С. Спасибо коллеге Сергею за ссылку.

Small Data Science for Russian Adventurers

07 Mar 2023 17:35

#забавно
Как в том анекдоте (хочу поехать в Новгород - в какой? - а что их несколько?). На коротком промежутке времени нескольким коллективам авторов пришло в голову назвать их метод "DEAR" (и на скриншоте далеко не все работы, остальные просто не вынесли это в заголовок). Если так подумать, то кризис свободных запоминающихся аббревиатур уже начался...

Small Data Science for Russian Adventurers

03 Mar 2023 14:41

#длясправки
Есть несколько стандартных модификаций метода k-средних, наиболее известная - алгоритм Ллойда, именно он реализован в scikit-learn. А вот на R реализованы:
* Lloyd,
* Forgy,
* MacQueen,
* Hartigan and Wong.
И много чего ещё. Там отличия в инициализации и пересчёте, очень неплохо написано здесь (хотя это не прям ценные знания). Но в очередной раз поражаюсь, сколько всего в разных библиотеках языка R...

Small Data Science for Russian Adventurers

28 Feb 2023 11:11

#термин
Есть такой феномен "Банерная слепота" - если человек долго пользуется сайтом с рекламой, то его внимание к рекламе притупляется и она перестаёт на него эффективно действовать. Постоянно появляются исследования подтверждающие, уточняющие или опровергающие этот эффект. Например, в работе Small percentage of users is able to reliably distinguish between ads and organic results утверждается, что пользователи не особо различают рекламные и органические ссылки в поисковой выдаче, а в работе Investigating the influence of ads on user search performance, behaviour, and experience during information seeking, что наличие рекламы сильно вредит работе (притупляется внимание и т.п.)

Small Data Science for Russian Adventurers

17 Feb 2023 12:39

#забавно
Заинтересовался темой - как генерировать бессмысленные входы для нейронок, которые не воспринимались бы ей бессмысленными. Отсюда родилась игра - придумать последовательность букв, которая не является словом русского языка, но переводится переводчиком в слово английского языка, это свойство сохраняется при удалении любого количества букв из последовательности.
Тут можно ещё конкретизировать:
- какие буквы допустимо удалять,
- потребовать, чтобы все слова в переводах были разными,
- потребовать, чтобы при добавлении любой буквы, это свойство уже терялось,
- найти максимальное по длине / по числу задействованных букв слово
и т.п.
Пример с гугл-переводчиком на картинке, с ним правда есть совсем вырожденная стратегия в составлении подобных слов:(

Small Data Science for Russian Adventurers

02 Feb 2023 14:18

#книга
Есть такая немного старенькая (2016 года), но классная книга «Как стать современным учёным». Очень полезна, причём не важно, в какой области Вы специализируетесь. В ней кратко и по делу:
- как и где читать статьи,
- как и где их публиковать,
- как их писать, выкладывать код и данные,
- как докладывать о результатах и многое другое.
Много ссылок на конкретные инструменты, начиная с волшебного Overleaf, заканчивая платформами для личного блога (хотя некоторые инструменты уже устарели и нет учёта последних трендов типа онлайн-конференций). Всем молодым исследователям рекомендую хотя бы посмотреть;)

Small Data Science for Russian Adventurers

25 Jan 2023 14:09

#обзор
Подборка затравок и ответов ChatGPT. Удобна для ответа на вопрос "а что она вообще может?"

Small Data Science for Russian Adventurers

24 Jan 2023 20:29

#интересно
Многие знают про игру "Жизнь", в которой наблюдают за поведением клеточного автомата. Есть много обобщений, например "непрерывная жизнь". В ней получаются очень красивые визуализации, можно посмотреть, например, здесь.

Small Data Science for Russian Adventurers

04 May 2023 19:14

#курс
По машинному обучению может быть "стандартный" курс - в нём излагаются задачи и методы (kNN, SVM, LogReg и т.п.), "практический" - в нём больше идут от прикладных задач и библиотек (часто практическая часть интегрируется в виде семинаров в стандартный курс), а ещё "математический" (в нём учат теоремы и доказательства в ML). Интересно, что современных обучающих программах почти нет "математического ML", когда-то в ШАДе Червоненкис читал что-то похожее, но всё-таки с большим уклоном в область своих научных интересов.

Смотрел курсы MIT-а, там как раз есть "Математика в ML". Не знаю, доступно ли видео (не нашёл), но в pdf-ках темы прописаны хорошо. На картинке курса нарисована иллюстрация базового понятия в теоретическом ML (подсказка: связано с VC-размерностью).

Small Data Science for Russian Adventurers

28 Apr 2023 20:52

#жзл
Вчера не стало молодого талантливого математика - Александра Кулешова, но в память о нём осталась замечательная книга о математическом анализе.

Small Data Science for Russian Adventurers

21 Apr 2023 10:09

#книга
Jakub M. Tomczak "Deep Generative Modeling"
По ощущениям это как раз книга для продвинутого ML, т.к. в стандартных программах не всегда глубокие генеративные модели подробно излагаются. Автор довольно известен, у него очень симпатичный сайт и доклады о генеративных моделях на разных научных школах. Там и блог есть, но в нём излагаются главы книги.

Минус у книги один:
- не смотря на объём, глубоко в специфику отдельных методов автор не погружается.

Зато много плюсов:
+ обзор всех популярных классов генеративных моделей;
+ для каждого класса даётся перечень приёмов/улучшений со ссылками на первоисточниками;
+ даны примеры кода.

Small Data Science for Russian Adventurers

11 Apr 2023 21:58

#чужие_блоги
Есть такой не очень часто упоминаемый блог Amit Chaudhary. С 2021 года он, к сожалению, не пополняется, но там есть очень неплохие посты с качественными авторскими рисунками. Вот, например, рисунок из поста про подсчёт Average Precision (AP).

Small Data Science for Russian Adventurers

04 Apr 2023 20:35

#забавно
Потестил новую отечественную генеративную модель.
Слева генерация по запросу "Сотрудница Cбера пишет ruDALL-E", справа - "Сотрудник Сбера не пишет ruGPT4".

Small Data Science for Russian Adventurers

29 Mar 2023 14:49

#история (которую я часто рассказываю в своём курсе)

На одном из хакатонов, который проводила крупная нефтяная компания, в финале участники выступали с презентациями о своих решениях задачи прогнозирования дебита нефти... Почти все настраивали бустинг (различались лишь библиотеки), генерировали признаки, искали лики и т.п.

Предпоследним вышел парень из Уфы, который занял 2е место в лидерборде, и сказал: я не очень понимаю смысл всего, что тут говорилось, такие слова как "бустинг" я слышу в первый раз. Я учусь "в нефтянке", нас учили, что есть такая формула для дебита (выводит на слайд небольшую формулу), я просто в неё подставил известные значения, а неизвестные прикинул, какими они могли бы быть.

Small Data Science for Russian Adventurers

17 Mar 2023 08:36

#книга
Наконец-то я дочитал книгу Яна Лекуна "Как учится машина: Революция в области нейронных сетей и глубокого обучения" (вышла давно, но я к ней возвращался урывками).

Что касается названия, то, на мой взгляд, в книге не раскрывается полностью и ясно "как учится машина". Есть некоторые наброски - как может быть устроен сильный ИИ, что для этого потребуется, но тут собраны довольно известные (для специалистов) мысли.

Но самое ценное в ней - автобиографичность, автор подробно рассказывает, где работал, чем занимался и как. Хотелось бы, чтобы её прочитали все "организаторы науки". Я многое узнал, например, о происхождении некоторых фото или крылатых фраз в ML.

Много чего можно процитировать из книги. Вот лишь один фрагмент...
"Если вы сталкиваетесь со стартапом, руководители которого заявляют, что они обладают какими-либо секретными результатами, относящимися к ИИ чуть ли не человеческого уровня, они или лгут вам, или обманывают сами себя. Не доверяйте им!"

Читать обязательно!

Small Data Science for Russian Adventurers

08 Mar 2023 21:02

#поздравление
Всех читательниц канала с праздником! Весеннего настроения и удачи! 🌹

П.С. На рис. "девушка в DL" по версии генеративной нейронки;)

Small Data Science for Russian Adventurers

05 Mar 2023 15:55

#соревнования
Самые популярные показатели качества, которые были использованы в соревновательных задачах на платформе Kaggle. В лидерах - площадь по ROC-кривой. [источник]

Small Data Science for Russian Adventurers

01 Mar 2023 21:25

#забавно
Есть такая старая картинка с колодой карт, на которой изображены математики. Интересно, что есть и другие подобные колоды в интернете, довольно качественно оформленные.

Small Data Science for Russian Adventurers

20 Feb 2023 08:45

#термин
Есть такое интересное понятие - Цена анархии. По простому, это во сколько раз эгоистичное поведение хуже согласованного. Например, есть 3 грибника и 2 удалённых грибницы в разных сторонах, в одной ~ 300 грибов, в другой ~ 150. Согласованное поведение: двое идут к первой, третий ко второй, в результате все набирают по ~ 150 грибов. Эгоистичное поведение: все бросаются к большей грибнице и каждый набирает по ~ 100 грибов. Цена анархии = 150/100 = 1.5.

Это понятие возникает в и DS-задачах. Часто бизнес-продукты оптимизируются в рамках "идеального мира" (скажем, прогнозируем продажу N единиц товара - и столько завозим на склад), но пользователи не будут действовать согласованно, они чаще эгоистичны (приходит перекупщик и скупает все N), поэтому нужно заранее уметь оценивать, насколько меньше может быть их удовлетворённость, наши доходы и т.п.

Иногда цена анархии появляется и в совсем ML-ных статьях, например в статьях про RL.

Small Data Science for Russian Adventurers

06 Feb 2023 17:27

#код
Забавляет, что в библиотеках, которыми пользуется DS сообщества, при более-менее стандартных именах функций на ровном месте возникают несогласованности. Например, конкатенация матриц / датафреймов / тензоров:
в нумпае - numpy.concatenate,
в пандасе - pandas.concat,
в пайторче - torch.cat.

Некоторые особенности разного именования вызваны разными концепциями средств программирования (например, пометка inplace-методов с помощью аргумента inplace или с помощью знака подчёркивания).

Некоторые просто авторские (например, последний слой предобученных нейросетевых моделей: fc / classifier / head).

Но вот зачем конкатенацию по-разному называть? :)

Small Data Science for Russian Adventurers

01 Feb 2023 14:15

#новости
Президент в прошлом году побывал на конференции Artificial Intelligence Journey 2022, и вот по итогам подписал перечень поручений.

Там много интересного: обязательные программы по ИИ, рейтинги вузов, премии учёным и поддержка компаний, открытые данные. Вообще, примечательно, что всё это по итогу конференции.
Из забавного: в официальных документах впервые появилось слово «датасет», вот точная цитата: «формирование открытых баз больших данных (дата-сетов) обезличенных медицинских данных пациентов в целях их использования для развития технологий искусственного интеллекта в здравоохранении». Так скоро и «переобучение» появится;)

Small Data Science for Russian Adventurers

25 Jan 2023 11:03

#забавно
Игра, в которой надо стрелять в противников, описывая уравнение кривой полёта снаряда, т.е., исходя из желаемой траектории, Вы учитесь придумывать для неё уравнение.
www.graphwar.com

Кстати, аналогичное и в стиле ML можно сделать (итерационно делить своих/чужих, выбирая классификатор и гиперпараметры, за ошибки - штрафы).

Small Data Science for Russian Adventurers

18 Jan 2023 15:13

#забавно
В прошлом году на reddit-е в разделе ML cамая популярная заметка - об "ИИ", который наказывает, если человек отвлекается от работы.
В лидерах также машинный перевод speech2speech и прикреплённая картинка с типами ML-статей.
А уже потом идут Stable Diffusion, ArcaneGAN и т.п.