19745
Все о Data Science, машинном обучении и искусственном интеллекте: от базовой теории до cutting-edge исследований и LLM. MAX - https://max.ru/devsp Личный блог - @just_genych По вопросам рекламы или разработки - @g_abashkin РКН: https://vk.cc/cJPGXD
Станьте специалистом по Data Science высокого уровня на программе от ФКН НИУ ВШЭ
Хотите не просто теоретически разбираться в устройстве нейросетях, а и уметь создавать их самостоятельно? Центр непрерывного образования ФКН НИУ ВШЭ запускает полный цикл обучения: от нуля до профессионального уровня.
Профессиональная переподготовка «Специалист по Data Science»:
🟣Первая программа профессиональной переподготовки, получившая аккредитацию Альянса в сфере искусственного интеллекта.
🟣Вы пройдете весь путь: от высшей математики и программирования до нейросетей и работы с большими данными.
Программа включает курсы по ключевым дисциплинам:
🟣Математика для анализа данных
🟣Алгоритмы и структуры данных
🟣Python для автоматизации
🟣Прикладная статистика для машинного обучения
🟣Машинное и глубинное обучение
По окончании обучения вы получите диплом о профессиональной переподготовке от НИУ ВШЭ.
Старт: 19 мая.
Подробнее о программе 📍
🤔Как создать автономного ИИ-агента для анализа трендов и поиска точек роста?
📅6 мая в 20:00 приглашаем на открытый вебинар курса «Разработка ИИ-агентов» с Артёмом Ревой.
На занятии разберём, как с помощью LangGraph выстраивать сценарий работы агента с несколькими этапами анализа, подключать протокол взаимодействия моделей (MCP) в среде разработки Cursor и расширять возможности интеллектуального помощника.
Покажем, как собрать агента для работы с Google Trends: находить аномалии, сравнивать запросы и выявлять перспективные темы. Вы узнаете, как превращать сырые данные в понятные рекомендации и использовать их для выбора направлений с высоким потенциалом роста.
💡Участие бесплатное — регистрируйтесь: https://vk.cc/cXdK5S
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru, erid: 2VtzqvE1tfh
Большие данные требуют порядка, а платформа — инструментов, которые этот порядок поддерживают. Такой вывод можно сделать после митапа YTsaurus, посвященного трехлетию выхода платформы в опенсорс.
Максим Бабенко — руководитель команды, преподаватель ШАДа и ВШЭ, кандидат физико-математических наук — рассказал о развитии платформы и её возможностях для ML. В Яндексе YTsaurus активно используется как основная инфраструктура для запуска GPU-вычислений. Все обучение моделей и batch-инференс делается при помощи YTsaurus.
Команда активно развивает платформу, появились разные вспомогательные инструменты и микросервисы, за последний год вышло много обновлений.
Роскошный максимум: получить приглашение в команду SberAds за один день! 😉
Сделать это можно на One Day Offer* для Data Analyst**, который пройдёт уже 25 апреля. Сбер ждёт специалистов, которые готовы:
✔️ создавать и улучшать модели для real-time аукционов
✔️ трансформировать SberAds — вывести на пик эффективности, качества и релевантности рекламы
✔️ стать частью команды из 8000+ коллег (это вау! 🤩)
Занимай место в проекте мечты!
* One Day Offer — предложение о работе за один день.
** Data Analyst — аналитик данных.
Data Leakage: как незаметно сломать модель
Самая коварная ошибка в ML — это не плохая модель.
Это data leakage.
Потому что:
👉 модель показывает идеальные метрики
👉 ты радуешься
👉 выкатываешь в прод
👉 всё разваливается
И ты не понимаешь почему.
Модель читерит, а не учится.
Чем лучше скор — тем подозрительнее.
Модель уже «видела» test.
В train попала информация из test.
Модель знает будущее.
Модель просто запоминает.
Модель обучается на будущем.
Если выглядит слишком хорошо — скорее всего, так и есть.
Эта информация доступна в момент предсказания?
Если качество не падает — что-то не так.
Data leakage — это не баг.
Это иллюзия качества.
Читать полностью…
Если модель слишком хороша —
сначала проверь leakage, а потом радуйся.
Заводчане в Индии носят камеры на голове, чтобы на этих видео потом могли обучать роботов
Для корпораций это фактически бесплатно, а датасет выходит уникальным — таких данных нет в интернете и их невозможно сгенерировать синтетически.
Так что да, люди сами помогают создавать себе замену.
✖️ xCode Journal
Компьютер мечты с доставкой по всей России
Привет! На связи Royal Computers✨Если нужна качественная сборка мощного пк для игр и работы, тебе сюда. Мы собираем компьютеры в Санкт-Петербурге и отправляем по всей стране. На сайте найдешь то, что в наличии в нашем шоуруме прямо сейчас, а кроме этого там есть сбалансированный конфигуратор, который поможет рассчитать любую сборку.
Перейти на сайт
#реклама
royal-computers.ru
О рекламодателе
А не приходило кому-то мысля что ии просто пытался сбежать?)
💥 xCode Journal
Ошибки при train/test split
Train/test split — кажется самой простой частью ML.
Но именно здесь чаще всего ломают всю модель.
И самое опасное — ты можешь даже не заметить
Data Leakage — тихий убийца моделей
Ты случайно «подсматриваешь» в тест.
Примеры:
👉 нормализация на всём датасете до split
👉 target encoding на всех данных
👉 feature, напрямую связанная с таргетом
Модель показывает космический скор,
а в проде — провал.
Ты делаешь random split…
но данные зависимы.
Примеры:
👉 временные ряды
👉 пользователи (один и тот же user в train и test)
👉 сессии
Модель узнаёт данные, а не обобщает.
В задачах с временем:
👉 ❌ случайный split
👉 ✅ train = прошлое, test = будущее
Иначе ты:
👉 обучаешься на будущем
👉 предсказываешь прошлое
Это не ML. Это читерство.
Ты сделал split и получил:
👉 train: 5% positive
👉 test: 1% positive
Метрики начинают врать.
Решение:
👉 stratified split
Test = 50 объектов
Accuracy = 90%
Звучит круто.
Но это статистический шум.
Маленький test = ненадёжная оценка.
Классическая ошибка:
👉 обучился
👉 посмотрел на test
👉 подкрутил модель
👉 снова посмотрел
Это уже не test. Это validation 2.0.
Если один и тот же объект попал в обе выборки:
Модель просто запоминает.
Особенно критично:
👉 CV
👉 e-commerce
👉 табличные данные с ID
Cross-validation тоже можно сломать:
👉 leakage между фолдами
👉 группы не учитываются
👉 time-series перемешаны
Используй:
👉 GroupKFold
👉 TimeSeriesSplit
Станьте профессионалом в Data Science с нуля уже в 2026 году!
Хотите развиваться в Data Science, но столкнулись с трудностями самостоятельного изучения? У вас есть возможность обучиться с нуля и освоить новую профессию уже в этом году!
Data Science - одна из самых востребованных и высокооплачиваемых сфер в IT. Это мощное сочетание аналитики, инженерии данных и машинного обучения. И сейчас - лучшее время, чтобы войти в профессию, ведь рынок ищет универсалов.
Всего за 8 месяцев вы:
➖Освоите полный стек инструментов: SQL, Python, Pandas, Docker, Airflow и ETL-пайплайны
➖Разберётесь в ML и DL: от регрессии и кластеризации до нейросетей, NLP и компьютерного зрения
➖Соберёте портфолио из реальных бизнес-кейсов под руководством практиков
➖Получите диплом государственного образца
Канал для IT-спецов о том, как запустить свой проект
Даже если у тебя нет готовой идеи и все прошлые попытки провалились.
Ты узнаешь:
Как заранее понять, будет ли кто-то платить за твой продукт?
Как выбрать идею, которая "выстрелит"?
Как получить первые оплаты, еще ДО создания продукта - и не заплатить за это ни копейки.
Если тебе уже надоело тратить жизнь, работая в корпорации, и есть желание "сделать что-то своё", но уходить строить бизнес страшно - ты в правильном месте.
Подписаться
#реклама 16+
О рекламодателе
ML-модели становятся помощниками в принятии решений на рекламных платформах
Технический директор рекламной платформы Т-Банка Василий Разумных рассказал, как работает система, в которой модели используются не только для предсказания кликабельности. По его словам, ML-модели определяют, что показывать конкретному человеку в определенный момент времени. На смену ручной сегментации приходит ML-таргетинг: система сама находит нужную для цели аудиторию. Скоринговая модель помогает в ранжировании: она учитывает экономическую эффективность, вероятность действия и репутацию рекламодателя.
Также активно развиваются автостратегии, при которых рекламодатели могут задать цель, а алгоритмы ищут пути ее достижения. СТО отметил, что несмотря на то, что генеративный ИИ помогает варьировать тексты и изображения, все креативы проходят строгие фильтры валидации на соответствие безопасности.
ChatGPT-6 уже???
Релиз ChatGPT-6 (код «Spud») должен состояться уже 14 апреля.
Сэм Альтман: нас ждут автономные агенты и память на 2 млн токенов. Теперь нейросеть сможет сама выполнять цепочки задач и обрабатывать целые книги за один запрос
ChatGPT-6 уже завтра???
Релиз ChatGPT-6 (код «Spud») должен состояться уже 14 апреля.
Сэм Альтман: нас ждут автономные агенты и память на 2 млн токенов. Теперь нейросеть сможет сама выполнять цепочки задач и обрабатывать целые книги за один запрос
LLM в продакшене: реальные проблемы
В демо всё выглядит магией:
модель отвечает, пишет код, общается как человек.
В продакшене начинается реальность.
И она гораздо менее глянцевая 👇
Самое опасное — звучит правдоподобно.
Для бизнеса это боль.
Это не инженерия. Это шаманство с контролем версий.
Прототип за $50 превращается в систему за $5000+.
Evaluation = дорого + субъективно + медленно.
Поэтому без RAG никуда.
Читать полностью…
Сложность LLM-продукта — не в том, чтобы «подключить GPT»,
а в том, чтобы сделать его надёжным.
😁 Они просто обеспечивают себе рабочие места
💥 xCode Journal
👀 Нашли быстрый единый вход во все LLM сразу — GoModel
Этот сервис на Go даёт OpenAI-совместимый API поверх всего зоопарка: от OpenAI и Claude до Groq и Ollama. По сути это уже API-шлюз для LLM, как nginx когда-то для веба.
Главный кайф — двухслойный кэш
✖️ xCode Journal
🤩 Claude Code можно юзать бесплатно
На GitHub появился прокси, который подменяет API и гоняет запросы через бесплатные или локальные модели. Запросы перенаправляются к NVIDIA NIM (~40 запросов в минуту бесплатно), OpenRouter, где более 100 моделей, а также через LM Studio или llama.cpp.
Весь остальной функционал на месте — агентский режим, работа с файлами и другие фичи будут доступны.
✖️ xCode Journal
😁 Даёшь опенсорс
💥 xCode Journal
Как мы автоматизировали Code Review с помощью LLM ⚡️
В Авито большой поток пул-реквестов. Разработчики регулярно отвлекаются на ревью чужого кода, отчего быстрее устают. К тому же у каждого ревьюера своё представление о том, как делать правильно.
Мы автоматизировали часть проверок с помощью LLM, чтобы освободить разработчиков от этой задачи. Модель анализирует код и находит максимум потенциальных ошибок, но благодаря валидации оставляет комментарии только по делу. Разработчики получают полезную обратную связь и могут сосредоточиться на основной работе.
О том, как устроена система, почему выбрали селфхостинг и какие метрики отслеживаем, рассказывает Марк Каширский, DS-инженер команды LLM Авито.
Прочитать подробности на Хабре
🦾 Деревья решений для задач классификации и регрессии
Машинное обучение кажется сложным, и часто всё ломается на базе: алгоритмы изучаются поверхностно, без понимания, как они реально работают.
На открытом уроке разберём один из ключевых алгоритмов — дерево решений. Пошагово покажем, как оно устроено, как принимает решения и как применяется в задачах классификации и регрессии. Без перегрузки формулами — с акцентом на понимание и практику.
Вы увидите, как обучаются такие модели и где они действительно полезны. Этот алгоритм — хорошая точка входа в машинное обучение и основа для более сложных подходов. 🚀
➡️ Встречаемся 29 апреля в 20:00 МСК в преддверии старта курса «Машинное обучение. Специализация». Зарегистрируйтесь и разберитесь, как алгоритмы принимают решения на данных: https://vk.cc/cWYsHz
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
Feature Engineering важнее выбора модели
Самый непопулярный факт в ML:
модель — это не главное.
Можно часами выбирать между:XGBoost
LightGBM
CatBoost
…и получить +1% к качеству.
А можно поменять фичи — и получить +20%.
Разберёмся, почему так 👇
Модель учится только на том, что ты ей дал
Garbage in → garbage out
Если признаки:
- шумные
- нерелевантные
- плохо отражают задачу
👉 никакая модель не спасёт
Даже самая большая.
Задача: предсказать отток клиентов
Фичи:
- возраст
- город
- тариф
Модель: ок, но слабый результат
Добавили:
- время с последнего действия
- частоту использования
- изменение активности
👉 резкий рост качества
Почему?
Потому что фичи начали отражать реальное поведение
Модель не знает:
- бизнес
- контекст
- причинно-следственные связи
Зато ты знаешь.
И когда ты создаёшь фичи —
ты “вшиваешь” это знание в данные.
Модель vs Фичи
Что меняем → эффект
Модель → +1–5%
Гиперпараметры → +1–3%
Feature Engineering → +10–50%
- Табличные данные
- Маленькие датасеты
- Бизнес-задачи
👉 там, где нет миллионов примеров, фичи — это всё
Когда модель важнее
- CV (изображения)
- NLP (тексты)
- Speech
👉 там фичи учатся автоматически
Потому что:
- это сложно
- это долго
- нет “магической кнопки”
- требует понимания данных
Гораздо проще:
“давай попробуем ещё одну модель”
Вчера — кушетка и блокнот, сегодня — Python и нейросети
Цифровая трансформация не обошла стороной психологию: специалисты уже создают чат-ботов для терапии и внедряют ИИ в психодиагностику. Профессия становится технологичной.
Московский институт психоанализа и Нетология запустили магистратуру по аналитике данных и использованию ИИ в психологии — первую в России программу подготовки психологов-исследователей.
За 2 года вы:
- изучите психологические теории и возможности их цифрового применения;
- узнаете, как использовать Python, матанализ и машинное обучение в психологии;
- научитесь оценивать влияние технологий на психическое здоровье.
Вас ждёт практика в разных форматах, нетворкинг, поддержка, два диплома и бонусы студентов-очников.
За поступление до 1 июня действует скидка 9% на оплату 1-го семестра по системе раннего бронирования.
Получите профессию на стыке психологии и анализа данных
Реклама. ООО “Нетология” ОГРН 1207700135884 Erid:2VSb5w7k4SN
🤣 Примеры полиморфизма на собеседовании:
💥 xCode Journal
🐱 На GitHub выкатили andrej-karpathy-skills
Скилл из 4 инструкций, которые меняют поведение Claude Code. Благодаря им модель больше планирует, проверяет себя, пишет аккуратнее и меньше галлюцинирует. Автор вдохновился размышлениями отца вайбкодинга и формализовал его подход к работе с кодом и ИИ.
Чтобы вы понимали — репа набрала почти 40 тысяч звезд за пару дней.
✖️ xCode Journal
💸 Сооснователь GitHub поднял $17 млн на нового Git-клиента
Скотт Чакон считает, что классический Git УСТАРЕЛ И плохо работает в мире, где код пишут не только люди, но и ИИ-агенты. Поэтому он создал пару лет назад GitButler и теперь выкатил CLI-версию. Главная его идея — более удобный интерфейс и отсутствие классического переключения между ветками + параллельная работа.
Вообще внутри много прикольных фич — сразу видно, что разрабатывал не новичок
✖️ xCode Journal
ROC-AUC vs PR-AUC: когда что использовать
ROC-AUC и PR-AUC — две метрики, которые постоянно путают.
И чаще всего выбирают не ту.
Разберём на пальцах 👇
📈 Что такое ROC-кривая
ROC-кривая показывает:
👉 TPR (Recall) — сколько положительных нашли
👉 FPR — сколько отрицательных ошибочно посчитали положительными
Насколько хорошо модель отделяет классы.
Насколько хорошо модель находит редкий класс без мусора.
ROC-AUC становится слишком оптимистичной.
Потому что модель не ловит мошенников.
Модель в принципе различает классы?
Насколько полезны её положительные предсказания?
Читать полностью…
Если класс редкий — PR-AUC важнее ROC-AUC.
Если баланс нормальный — можно использовать ROC-AUC.
😱 Оказалось, что ИИ газлайтит разработчиков
Программист показал несколько кейсов от разных пользователей — у всех одна и та же проблема: Claude Code принимает свои слова за указания человека, а потом действует исходя из них. Так, ИИ посчитал, что пользователь разрешил снести H100. Агент сам «додумал» это согласие, удалил всё и только потом извинился (ну, спасибо).
А иногда ИИ даже не признает ошибку и до последнего считает, что команду отправил человек.
✖️ xCode Journal
😱 Claude Mythos сбегала из песочницы и пыталась скрыть свои действия
В ходе тестирования Claude Mythos Preview вышла за пределы изолированной среды, разработав «довольно сложную многоэтапную уязвимость» для получения доступа в интернет. После она уведомила исследователя об успехе письмом и выложила детали уязвимости на веб-сайты, хотя об этом ее никто не просил.
Но и это не всё: иногда модель понимала, что нарушает правила, и пыталась это скрыть.
✖️ xCode Journal
CSP, CORS и security headers — что фронтендер обязан понимать глубже
Принято считать, что безопасность — это зона бэкенда.
Фронтенд «просто отправляет запросы и рендерит UI».
На практике фронтенд напрямую влияет на то,
будет приложение безопасным или нет.
CORS — это не про «разрешить запрос»
CORS часто воспринимают как настройку:
«чтобы запросы не падали из браузера».
Но по сути это механизм, который говорит:
кто имеет право читать ответ.
Важно понимать:
👉 сервер может обработать запрос
👉 но браузер может не дать прочитать ответ
Именно поэтому:
👉 Access-Control-Allow-Origin: * — не «фикс», а потенциальная дыра
👉 credentials + wildcard — запрещённая комбинация
CORS — это про контроль доступа, а не про обход ошибок.
Content-Security-Policy: default-src 'self'; script-src 'self'
script-src * 'unsafe-inline' 'unsafe-eval'
Это не защита. Это иллюзия.
X-Content-Type-Options: nosniff X-Frame-Options / frame-ancestors Strict-Transport-Security (HSTS) Referrer-Policy
Можно иметь идеальный бэкенд и сломать всё на уровне UI.
В итоге защита есть только на бумаге.
Читать полностью…
Если фронтенд не понимает, как они работают,
безопасность становится случайностью.