3571
Тут вы найдете всё, что связано с Data Science, AI и Machine Learning, как для начинающих, так и для бывалых специалистов. Также, для вас, мы переводим зарубежные статьи. Сотрудничество: @Seyfme
Математические бланки // Часть 1: введение в проблему
Данная статья описывает проблему математических бланков и демонстрирует, на что способно её решение.
Читать | DATApedia
Миф о чистых данных: почему ваш аналитик похож на сапёра
Представьте: вы — аналитик данных, перед вами — гора необработанных данных, и каждый неверный шаг может привести к катастрофическим последствиям для бизнеса.
Эта статья прольёт свет на эту извечную проблему и подчеркнёт критическую важность подготовки данных для получения достоверных и полезных бизнес-инсайтов.
Читать | DATApedia
Инфраструктура для Data-Engineer форматы файлов
В этой статье мы рассмотрим наиболее популярные форматы, научимся с ними работать и поймем, когда какой формат лучше использовать.
Читать | DATApedia
Человек и LLM: как построить метрики для оценки моделей
В этой статье предлагаю найти ответ на вопрос: есть ли универсальный метод оценки работы LLM‑моделей? Для этого я расскажу, какие для этого существуют бенчмарки и почему нельзя полагаться только на них, как работает Chatbot Arena LLM Leaderboard, кто такие AI‑тренеры и может ли одна модель правильно оценить другую.
Читать | DATApedia | #DS_AI
Хорошо ли искусственный интеллект пишет программный код и как мы в Fix Price используем ИИ в наших решениях
Сегодня поговорим о том, как мы используем ИИ в разработке. Начну с краткого ответа на интересующий многих вопрос, который вынесен в заголовок. ИИ отлично справляется с написанием кода, но лишь определенного кода, а именно: отдельных его фрагментов.
Читать | DATApedia
Нет у меня никакого выгорания, наверное
Читать полностью…
Повышаем Data Quality: щепотка Soda для ваших данных
Привет! Меня зовут Александр Кудрявцев, я аналитик данных в команде Data Platform Банки.ру. Недавно мы озадачились вопросом контроля качества данных (Data Quality) и стали искать комплексное решение. Один из инструментов, который попал в поле зрения, — Soda Core. О нем и пойдет речь в материале.
Читать | DATApedia
Топ-10 ошибок Бизнес-Аналитиков
Присоединяйтесь к нашему открытому уроку самых частых ошибок бизнес-аналитиков и как их избежать
Ждем вас на открытом вебинаре 21 ноября в 20:00 мск.
🚀На вебинаре обсудим распространенные ошибки, которые совершают бизнес-аналитики, и дадим практические советы как их избежать или как из них выходить. Вы узнаете:
- Как устранить недопонимания с заказчиком и создавать то что “заказчик хотел”;
- Как сделать так, чтобы вы управлять требованиями, а не они вами;
- Как при этом оставаться в хороших отношениях с командой разработки вместо “опять аналитики навыдумывали”.
🎯 Вебинар будет полезен как начинающим, так и опытным аналитикам, которые хотят повысить свою профессиональную компетенцию и избежать типичных “ловушек” в работе.
🛡Спикер Валентина Уржумова — Ведущий Системный Аналитик.
Встречаемся в преддверии старта курса «Системный и бизнес-анализ».
На курс действует скидка 15% до 24.11, успейте приобрести!
Регистрируйтесь прямо сейчас, чтобы не пропустить мероприятие: https://otus.pw/IQst/
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
Data catalog: от истории до сравнения решений
В этой статье автор подробно разбирает, что такое каталоги данных и какие они бывают, а также рассказывает об их выборе инструмента для построения каталога под запросы аналитиков данных.
Читать | DATApedia
Как избежать провалов: эффективное выявление и работа с рисками IT продуктов
Присоединяйтесь к нашему открытому уроку для обсуждения рисков IT продуктов
Ждем вас на открытом вебинаре 14 ноября в 20:00 мск.
🚀В рамках вебинара рассмотрим категоризацию рисков и способы работы с ними
Структура вебинара:
1. Что такое риск. Категоризация рисков
2. Влияния рисков на работу
3. Способы митигации рисков
🎯 Вебинар будет полезен бизнес-аналитикам, системным аналитикам, начинающим продактам или руководителям проектов. Появилось понимание что такое риски, как выявлять и управлять ими.
🛡Спикер Иван Селиванов — Ведущий Системный Аналитик.
Встречаемся в преддверии старта курса «Системный и бизнес-анализ». Все участники вебинара получат специальную цену на обучение! Регистрируйтесь прямо сейчас, чтобы не пропустить мероприятие: https://otus.pw/6OWL/
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
Как создать датасет для машинного обучения за 6 шагов
Сегодня мы обсудим шесть шагов для создания наборов данных, которые идеально подойдут под ваши задачи, и разберем их на примере датасета, который мы собрали в Data Light.
Читать | DATApedia
GigaChat MAX — новая, сильная модель GigaChat
Данная статься позволит познакомиться с новой версией GigaChat и узнать ее особенности
Читать | DATApedia | #DS_AI
Подключение к GigaChat API на Java: пошаговое руководство
Всем привет! В этой статье я расскажу о том, как подключиться к API GigaChat в IntelliJ IDEA на Java и настроить безопасное соединение с использованием SSL-сертификатов, чтобы получать ответы от GigaChat в своем приложении.
Читать | BApedia
FlexiPrompt: Удобное создание динамических промптов в Python
Эта статья будет полезна Python-разработчикам, работающим с языковыми моделями (LLM).
Читать | DATApedia | #DS_AI
Как оценить LLM модель
В этом блоге я предложу общую структуру, которая будет служить минимальной рекомендацией для тестирования приложений, использующих LLM, включая разговорные агенты, расширенную генерацию поиска и агентов и т. д.
Читать | DATApedia | #DS_AI
Машинное обучение: Линейная регрессия. Теория и реализация. С нуля. На чистом Python
В этой статье я рассказываю про линейную регрессию, свойства, которыми должны обладать данные для модели, процесс обучения, регуляризацию, метрики качества. Кроме чистой теории я показываю как это все реализовать.
Читать | DATApedia
Машинное обучение: общие принципы и концепции
В этой статье я рассказываю про основные концепции, типы обучения, типы задач в машинном обучении и также делаю постановку задачи машинного обучения (МО). Все это я рассказываю в своем стиле и понимании.
Читать | DATApedia | #DS_AI
⚡️ Успей принять участие в идеатоне Форума Инновационных Центров 2024! Мы продлили регистрацию до 28 ноября 23:59! 🔥
🔭 Если ты специалист по data science, веб-разработке, аналитике данных, кибербезопасности, DevOps или архитектуре ПО, то советуем принять участие в кейсе №2: Архитектура высоконагруженного распределенного веб-приложения.
В нём тебе предстоит:
⚙️ Разработать концептуальную архитектуру веб-приложения, способного обслуживать не менее 100 000 одновременных пользователей, с учетом требований к безопасности, защитой от кибератак, масштабируемости и высокой доступности на всей территории России.
Ожидаемые результаты:
📌 Аналитический отчет по архитектурному решению
📌 Визуализированные схемы архитектуры и диаграммы.
📌 Документация по выбору технологий, существующих платформ и баз данных по каждому из финальных решений.
📌 Рекомендации по обеспечению безопасности и защиты от кибератак.
Идеатон проходит в 2 этапа: отборочный этап — онлайн, финал — оффлайн.
❗️Важно: участие можно принять ТОЛЬКО командой, от 2 до 6 человек.
🏆Призовой фонд: 6 000 000 руб.
🔥Окончание регистрации: 28 ноября, 23:59
📅Даты отборочного этапа: 29 ноября - 2 декабря
🦾Даты финала: 3 - 4 декабря
🔗 Регистрируйся по ссылке: https://фиц2024.рф/hackathon/#idcase2
Как ухватить LLM за хвост: эффективные стратегии тестирования AI-моделей
Как убедиться, что ваша LLM не выдаст полную чепуху в самый неподходящий момент? Как проверить, что она действительно понимает контекст, а не просто генерирует красивые, но бессмысленные фразы? И самое главное — как сделать это эффективно, не тратя недели на ручную проверку тысяч ответов?
Читать | DATApedia
Разработка и управление едиными контрактами API
Пол года назад на AnalystDays #18 я рассказывал про API-контракты, и доклад вызвал большой интерес у аудитории. Пока видео не опубликовали, решил адаптировать материал в формат статьи.
Читать | BApedia
📢 Хотите стать востребованным системным и бизнес-аналитиком? 🚀
Пройдите короткий опрос из 12 вопросов и получите 3 бесплатных урока по ключевым темам системного и бизнес-анализа! Эти темы помогут вам освоить самые важные аспекты профессии:
- Нефункциональные требованиями глазами бизнес-аналитика
- Трассировка и ведение реестра требований
- Управление изменениями требований
Представьте, что вы сможете улучшить процессы и повысить свою ценность на рынке труда! Наши бесплатные уроки помогут вам сделать первые шаги к этим результатам.
После прохождения опроса вам на почту придут все три урока! 📧
Пройти опрос: https://otus.pw/KLEz/
Также сейчас действует скидка 15% на покупку курса "Системный и бизнес-анализ" до 24.11.
Успейте приобрести курс со скидкой: https://otus.pw/EQJO/
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
Дообучаем языковую модель GPT2 с помощью Torch
В этой статье я хочу поговорить о дообучения языковых моделей. В интернете уже много информации на эту тему, но большинство подобных статей затрагивают ее поверхностно. Сегодня я попробую разобраться в этом подробнее.
Читать | DATApedia
Вот что ждет в Т-Банке аналитиков DWH, кроме ДМС, крутых офисов и других плюшек:
✔️Актуальный стек. Здесь следят за трендами и быстро внедряют новое.
✔️Улучшения может предложить каждый. Здесь знают, как устроен продукт, и влияют на его развитие.
✔️Прозрачная система роста. Вы всегда будете знать, какие навыки нужно подтянуть и как получить повышение.
✔️Вы окажетесь среди профессионалов, у которых можно многому научиться. А если захотите — можете стать ментором для младших коллег.
Устраивайтесь в Т-Банк на позицию аналитика DWH до 23 декабря 2024 года и получайте приветственный бонус в размере одного оклада.
Инхаус-разметка с нуля. Реально ли это и насколько полезно?
Стоит ли создавать собственные отделы по разметке данных внутри компании или можно ограничиться краудсорсингом или аутсорсингом, расскажу о некоторых рабочих кейсах.
Читать | DATapedia
Создание плагина для IntelliJ IDE с подключением GigaChat для проверки качества кода
При разработке рабочего проекта, локальный запуск которого дело достаточно ресурсоемкое, у меня возникла идея попробовать облегчить себе работу путем создания плагина, который налету при разработке может анализировать блок кода, тем самым выдавая рекомендации по оптимизации или находя ошибки.
Читать | DATApedia
Сверточные нейронные сети. Создание нейросети для распознавания цифр на языке программирования Python
В этой статье я расскажу о том, как создать свою собственную сверточную нейронную сеть, способную распознавать цифры на изображениях, будь то рукописные или машинописные. Мы рассмотрим основные принципы работы CNN, изучим архитектуру моделей, а также пошагово разберем процесс разработки и обучения нейросети.
Читать | DATApedia | #DS_AI
Необычные вкусы покупателей: что такое товарные пары и как их исследовать
В этой статье расскажем:
- с чем обычно покупают лапшу быстрого приготовления, а с чем — детское питание;
- как география, время суток и другие факторы влияют на выбор покупателей;
- как все эти полученные знания можно применить в ассортиментных матрицах дарксторов и бизнес-процессах ритейла.
Читать | DATApedia
Как нужно укомплектовать команду ML для решения задачи?
🔹Расскажем на открытом уроке «Структура и построение ML команды» про композицию ML команды, различные роли в ней и их зоны ответственности
✅ Поговорим о том, зачем нужны ролы Data Scientist, Data Analyst, BI Analyst, ML Engineer, Data Engineer. Как организовать работу команды и взаимодействие внутри нее.
Урок приурочен новому курсу «ML Team Lead» от Otus.
👉 Регистрация и подробности:
https://otus.pw/seJIf/?erid=LjN8KUyew
#реклама
О рекламодателе
Какую архитектуру конвейера данных следует использовать?
Данные извлекаются, обрабатываются и преобразуются в несколько этапов в зависимости от требований нижестоящей системы. Все этапы обработки и преобразования определяются в конвейере данных. В зависимости от требований конвейеры могут быть как простыми, состоящими из одного звена, так и сложными, включающими несколько этапов преобразования и обработки данных.
Читать | DATApedia
Stability AI представила Stable Diffusion 3.5: Тестируем новую модель на реальных задачах и сравниваем с SDXL и FLUX
Привет, друзья, 22 октября Stability AI представила долгожданное обновление своей флагманской модели — Stable Diffusion 3.5. После не самого удачного релиза SD3 Medium в июне этого года, команда взяла паузу для серьёзной переработки архитектуры. Вместо быстрых фиксов разработчики потратили четыре месяца на фундаментальные улучшения. Меня зовут Илья, я основатель онлайн-нейросети для создания изображений ArtGeneration.me, техноблогер и нейро-евангелист и сейчас мы с вами вместе разберемся, что изменилось и действительно ли стоило так долго ждать.
Читать | DATApedia | #DS_AI
