14338
IT предприниматель и препод 🧑🏫 ex-ML лидер в Dodo Brands 🦤🍕 Прокачиваю людей в Data Science 🚀 Победитель Stepik Awards 🏆 Kaggle Expert 🤹♀️ Создатель mnogo-reels.ru и @big_llm_course РКН https://clik.now/datafeeling Алерон @Ale_v2
Фейлы Спикадоры или как я занимался благотворительностью
Основная работа забрала мой фокус, поэтому мы немного забросили интенсивную разработку.
Пока тушил пожары на работе и продолжал фиксировать убытки, Спикадора почти два месяца не принимала оплату и разговаривала с пользователям без ограничений. Вот умничка! 😭
🥲 Мы это заметили и починили. Попросил Спикадорушку больше так не делать. Платежи начали медленно капать.
😐 Потом заметили, что платежи подключены только карточные. Включили все варианты. Типо SberPay/T-Pay и тп. Оплаты резко выросли .
🙂 Далее мы заметили, что не списываем повторные платежи. Починили и тоже немного вернули платежей.
😃 Тут же дошли руки подрубить скидки за покупку подписки в первый день. И это тоже добавило платежей.
И так, реклама внезапно начала окупаться. Вот же магия 🙌
Станьте профессионалом в области Data Science и машинного обучения в магистратуре от Центрального университета!
Центральный университет — современный вуз, созданный при поддержке ведущих компаний России: Т-Банка, Авито и других. Получите диплом магистра в области математики и компьютерных наук и обучайтесь на основе реальных кейсов ведущих ИТ-компаний у профессоров из МГУ, МФТИ, РЭШ и практиков из индустрии. Хорошая новость для тех, кто уже имеет опыт в Data Science и машинном обучении — вы можете пропустить базовое обучение и закончить магистратуру за 3 семестра.
У каждого студента будет:
• личный ментор по траектории обучения;
• доступ к карьерному центру с коучами и консультантами;
• опыт работы в проектах партнеров уже во время обучения.
Участвуйте в онлайн-отборе, чтобы выиграть грант на обучение до 1,2 млн рублей. Больше подробностей про университет и конкурс грантов по ссылке!
Реклама, АНО ВО «Центральный университет», ИНН 7743418023
🏆 Ozon Tech запускает E-CUP — масштабное соревнование для ML-разработчиков в сфере e-com! Реши реальную бизнес-задачу и поборись за призовой фонд в 1 200 000 рублей!
Смотри подробности и регистрируйся до 18 августа: https://cnrlink.com/ozonecupdatafeel
Приглашаем специалистов по Data Science, ML-инженеров, разработчиков. Твои суперсилы:
🔸 гуру машинного обучения и работы с ML-фреймворками;
🔸 мастер ETL-процессов, SQL, Spark и подобных систем;
🔸 ас в компьютерном зрении.
Решай задачи в стиле команды Ozon Tech — минимум ручных действий, максимум автоматизации. Everything as code! Эксперты хакатона расскажут, как максимально эффективно применять этот подход в своей работе.
🚀 На выбор — одна из задач, основанных на реальных бизнес-кейсах Ozon Tech:
1️⃣ Создать ML-модель для улучшения пользовательского опыта клиентов, которая с помощью названий, атрибутов и картинок определит, одинаковые ли товары на изображении.
2️⃣ Разработать алгоритм для модерации карточек товаров с признаками нарушений правил площадки. Модель должна распознавать сигарету на любых изображениях: от фотографий до аниме-фреймов.
Ключевые этапы E-CUP:
🔹 1 июля — старт регистрации
🔹 19 августа — публикация задач
🔹 8 сентября — окончание приёма решений
🔹 13 сентября — оглашение победителей
Призовой фонд — 1 200 000 рублей. Зарегистрируйся и узнай первым про секретный подарок от команды Ozon Tech, который поможет лучшим участникам прокачать навыки и построить карьеру в e-com-бигтехе!
Решай задачи в нашем стиле! Не пропусти грандиозное ML-соревнование — присоединяйся к E-CUP: https://cnrlink.com/ozonecupdatafeel
Опа!
Дуров открыл российским телеграм-каналам монетизацию. Вот же красавчик!
Найти её можно в разделе «Статистика» — если у вас такой вкладки нет, обновите приложение. Выводить прибыть с рекламы можно во внутренней валюте ⭐️.
Монетизация доступна каналам от 1к подписчиков 👀 Прям жутко интересно стало, как это все будет
Новый феймворк Congnita для RAG систем
🤔 Системы RAG (Поисковая дополненная генерация) — это мощные инструменты, но их создание и развертывание может оказаться сложной задачей.
🚀 Cognita стремится стать удобным и модульным решением, решающим общие проблемы RAG.
Проблемы с текущими фреймворками:
⚙️ Задания по фрагментированию и внедрению часто требуют отдельной настройки, но не встроены в существующие платформы, известные мне на данный момент.
💻 Развертывание сервисов запросов для производства может оказаться сложной задачей.
🤖 Для управления развертыванием моделей (языковых моделей, моделей внедрения) отсутствует встроенная поддержка.
🗄 Векторные базы данных могут оказаться сложными для масштабирования.
Нет единого готового шаблона, который можно было бы легко адаптировать.
Как Cognita решает эти проблемы
🎯 Cognita сочетает в себе настройку и простоту использования.
🧠 Масштабируемый дизайн для интеграции прорывных решений по мере их возникновения.
Cognita — библиотека для создания модульных приложений RAG с открытым исходным кодом для производства.
Модульная конструкция: разбейте RAG на этапы для упрощения управления и обновлений.
♻️ Многоразовые компоненты: парсеры, загрузчики и т. д. для экономии времени в проектах.
🚀 Оптимизированное развертывание: Cognita справляется со всеми тонкостями производственных систем.
⚖️ Масштабируемость: компоненты масштабируются независимо, чтобы справиться с возросшим трафиком.
✨ Удобный интерфейс: даже нетехнические пользователи могут играть с настройками RAG.
🔌 На основе API: Cognita хорошо работает с другими системами.
Компоненты Когниты
Индексирование задания
1) Загрузчики данных 🚚
Что: Извлекать данные из разных мест (папок, баз данных и т. д.).
Почему: RAG нуждается в данных для работы!
2) Парсеры 🗂️
Что: Преобразовать различные типы файлов в общий формат.
Почему: упрощает обработку всей информации системой RAG.
3) Эмбеддеры 🔎
Что: создавать кодовые представления текста для быстрого сравнения.
Зачем: помогает найти наиболее актуальную информацию по вашему вопросу.
Хранилище метаданных 🧠
Что: «мозг» системы, хранящий детали конфигурации.
Зачем: сохраняет вашу RAG организованной и простой в управлении.
LLM Gateway 💬
Что: «Переводчик» для разных языковых моделей.
Почему: позволяет переключаться между моделями, не перекодируя все.
Векторные БД 🗄️
Что: хранит встроенные файлы для сверхбыстрого поиска данных.
Почему: Эффективный поиск имеет решающее значение для больших наборов данных.
API-сервер ⚙️
Что: Координатор, который обрабатывает вопросы пользователей и генерирует ответы.
Почему: Он соединяет все части системы RAG вместе.
💡 Появилась нейронка, которая генерирует CAD-модели из текстовых запросов.
Шестеренки, детали, запчасти и различные конструкции — ИИ спроектирует почти что угодно. Готовые файлы можно скачать и импортировать в любой софт.
Пользуемся здесь.
🎚️ Кажется, это первая такая нейронка в своем классе.
Открыт прием заявок на Лето с AIRI!⚡️
В этом году мы запускаем Школу совместно с Передовой Инженерной Школой ИТМО. Программа пройдет в Санкт-Петербурге с 20 по 30 августа.
🗓 Подать заявку можно по ссылке до 23:59 14 июля 2024 года.
Школа включает в себя лекции, семинары и практическую работу по направлениям:
— Мультимодальные архитектуры и генеративный ИИ в промышленности
— Модели воплощенного ИИ и обучение с подкреплением в робототехнике
— Искусственный интеллект и химия
— Доверенный искусственный интеллект
📍Питание, обучение и проживание бесплатное, оплатить самим нужно будет только проезд.
Подавайте заявки и делитесь постом с друзьями и коллегами!
Второй год запускаю соревновательный ML бут кемп. В этом году на кегле летом много посильных сорев. Рекомендую участвовать пока идет лето и есть свободное время 😉
К чему можно присмотреться?
- LMSYS - по сути текстовые таблички
- ISIC - бинарная классификация на картинках
МТС х ВШЭ открыл магистратуру для AI предпринимателей.
🚀 Новая очная программа магистратуры “Исследования и предпринимательство в искусственном интеллекте” в партнерстве с МТС. Программа готовит будущих исследователей и AI предпринимателей.
🙋 Выпускники программы смогут:
- вести научную деятельность
- работать аналитиками данных или разработчиками в сфере AI.
- заниматься машинным обучением
- стать AI предпринимателями
🎯 Эта программа подойдет тем, кто закончил бакалавриат/специалитет, с сильной математической подготовкой и знанием хотя бы 1 языка программирования.
👉 Почему стоит идти на программу?
На программе есть бюджетных 30 мест, финансируемых МТС. Фундамент для исследовательской и предпринимательской работы: обеспечивают знаниями, которые можно применять на практике при проведении исследований и запусках собственных стартапов.
🏃 Уже захотели поступить? Тогда вступайте в чат абитуриентов, чтобы не пропустить самую важную информацию о поступлении, принять участие в вебинарах по подготовке к вступительным испытаниям, лекциях от экспертов из индустрии и многое другое.
И оставляйте заявку на программу на сайте
Вы знаете, что моя работа напрямую связана с умением конвертировать данные в доп доход. Мне за это платят.
А еще, вы знаете, что утечка персональных данных является крайне нежелательным событием. Хотя утекают часто.
🧠 Кейс на подумать.
Вот если вам все-таки достались перс данные. Что вы будите с ними делать? Сможете хотя бы копеечку с этого поиметь?) А миллион? уверены что, да?!
Допустим вам достался 1М строк всевозможных персональный данных людей из одного города
(ФИО, ДР, ГОРОД, НОМЕРА, ПОЧТА, деятельность, привязанные номера документов и прочая мета инфа)
Ограничение:
- перепродажа запрещена
- спам и обзвоны запрещены
- скам запрещен
Сможете ли для себя придумать хотя бы 3+ рабочих способа, как вы смогли вытащить из этого для себя пользу? Подумайте!
Полезное и сложное упражнение для дата-спецов.
Картинка меня в любимом худи как заглужка для картинки)
Смотрите, как Спикадора сейчас затащит каточку…
Я прям кайфую, когда так четко отрабатывает. И так почти в 99% случаев
Нативное изучение языка) А еще она идеально решает задания из экзаменов по английскому, но хорошо, что школьники про это не знают)
🐍 А вы знали, что в python аж 50 строковых метода?!
Оказывается, я знал не все! Видимо упустил, потому вот вам видео для повторения на 20 минут.
Ссылка
🧠 Ловите Pandas задачку на подумать )
Предлагаю решить ее двумя способами:
- Самим, написав код по старинке.
- С помощью любой LLM-ки
Бонусом можно еще через PandasAI решить - это такой LLM агент с Pandas знаниями под капотом. Вот хороший гугл колаб с примерами кода.
🏄 Ловите подгон
Есть такой феномен «информационный пузырь» - когда вокруг происходит крупный классный движ, а вы этого не знаете, т.к алгоритмы соцсетей и поисковиков сами подбирают, что вам показывать.
🫧 Из-за «пузыря» вы не видите, как прямо сейчас рядом с вами кто-то:
- «седлает» взлетающий стартап
- поднимает очередные $100к инвестиций
- попадает в топ IT компанию с ростом в х10 от стандарта в РФ
- посетил 60+ стран или учится заграницей
- ведет крупный бизнес с капитализацией выше $100🍋
- попал в Forbes
- руководит командой в 600+ человек
- просто криптоманит в Лондоне.
Удивительно, но все выше перечисленные таланты когда-то закончили Физтех (МФТИ).
Как пробить «пузырь»? Вдохновляться другими! Удалось собрать подборку тг каналов таких выпускников в одной папке. Собрать было непросто, возьмите из паки для себя лучшее!
Задание на аудирование. Что говорит Дженнифер Лопес?
🔹Подсказка: 🤖⛔️
🔹Ответ: You can't trust any AI.
#listening #ai
🦙 Опубликована мощнейшая опенсорс модель Llama-3
Статья уже на Хабре
🔥Судя по бенчмаркам, Llama 3.1 даже лучше GPT-4o (!)
Ссылка на HuggingFace
«4 моих первый миллиона, которые чуть не свели меня с ума»
Продолжаю серию рассказов. Как обещал, добавил сразу вторую и третью части. Истории для вдохновения. Постарался написать интересно. Все по порядку:
🍋 Часть 1 - Мой самый первый миллион
🍋 Часть 2 - Теряем работу в обмен на рост.
🍋 Часть 3 - Миллион на инвестициях
А если мы все-таки добьем бустами до 9-го уровня, и я смогу поменять обои на канале на свой любимый ламповый фиолетовый цвет, то сразу выпущу последние две части. Они отражают меня актуального.
🍋 Часть 4 - закапываем, кредитуемся и снова взлетаем 🛫
🍋 Часть 5 - цель в 100М выручки или почему я не ушел с работы
Кидайте /channel/datafeeling?boost если интересно узнать продолжение 💪
Т-Банк открыл доступ к собственной русскоязычной языковой модели T-lite
Статья уже на Хабре
Моделька бьет третью ламу (Llama3-8b-instruct). Чекайте
Ссылка на HuggingFace 🤗
⚡️ Монополизм Nvidia хотят прекратить.
OpenAI планирует выпускать свои чипы.
Альтман ведёт переговоры с американским полупроводниковым гигантом Broadcom. На данный момент Nvidia производит 80% чипов, на которых произошла нейрореволюция и развитие ИИ.
Проблема в том, что Хуанг почти монополист и контролирует рынок, задавая на нем дефицит и диктуя цены. Альтман в коллабе с Broadcom хочет положить конец этой диктатуре...
За 9 месяцев Open AI схантили большое количество народу из Google, которые занимались в бигтехе разработкой чипов.
👀 Кажется, техническая игра престолов только набирает обороты.
🌐 @datafeeling
Встречаемся и обсуждаем.
Центральный университет организовывает серию встреч, где представители приемной комиссии и руководители направлений обучения ответят на все вопросы абитуриентов: начиная от аккредитации и этапов поступления до наличия столовой в кампусе.
Встречи проходят каждый четверг и субботу до 15 августа. Выбирайте удобную дату, формат (очный или онлайн) и регистрируйтесь по ссылке.
Реклама. АНО ВО "Центральный университет", инн 7743418023, erid: 2RanyoFtaB2
Центральный университет приглашает на день открытых дверей всех интересующихся ИТ-программой в магистратуре!
На мероприятии расскажут больше про университет, в котором можно учиться одновременно с бакалавриатом и помогают попасть на работу в биг-тех, а преподаватели — топовые специалисты ИТ-компаний и профессора ведущих вузов. На мероприятии также будет:
— информация про направления обучения в университете;
— лекции от ведущих экспертов ИТ-индустрии;
— Q&A-сессии с магистрантами ЦУ и разбор задач отбора;
— прогулка по офису Т-Банка;
— знакомство со множеством классных людей и пицца.
А еще среди всех, кто зарегистрируется на ДОД и пройдет отбор в магистратуру до 16 июля, ЦУ разыграет новенький MacBook.
Начало 17 июля в 17:30. Вход свободный, но количество мест ограничено. Регистрация здесь.
Реклама, АНО ВО «Центральный университет», ИНН 7743418023
Кстати, вот альтернатива. Летняя школа от AIRI 🔥
Читать полностью…
Voice2Order в Dodo Pizza
🍕 Еще год назад придумали с командой фичу - быстрый голосовой заказ. В приложение не добавили т.к кастдев показал себя не очень. И только сейчас дошли руки поднять качество и найти, где применить. Оказалось удобным для заказа через телеграм. Приложил пример работы, собранный на коленке для коллег.
🍔 Говорят, Макдоналдс закрыл эту опцию спустя год т.к Voice2Order у них отрабатывал некачественно. Вместо «трех чизбургеров» выдавал «72 картошки» 🫠
Скажу, что похожие фичи требуют определенной сноровки в реализации. Есть как минимум 3 тонких момента:
- Качественный few-shot и ранжирование
- Правильное переиспользование контекста
- Максимальное отсутствие галлюцинаций и умная реакция на них
Знайте в чем разница, если еще не определись кто вы.
Читать полностью…
🟠 Сегодня 3 июля - пройдёт Бесплатная онлайн-конференция DataStart по Data Science, машинному обучению и нейросетям. Вас ждут увлекательные доклады, море дискуссий и нетворкинга.
📍Скорей регистрируйтесь - тут
Более 1000 участников, крутой состав спикеров, возможность задавать вопросы, найти ментора и многое другое.
Что будет:
- 2 трека, 16 часов докладов;
- годнота от талантливых практиков;
- нетворкинг;
- бесплатная онлайн-трансляция;
- видеозаписи и презентации;
- высокий уровень программы.
Для кого:
- Data Scientist, Data Analyst и Data Engineer.
- Computer Vision Engineer и NLP Engineer.
- Machine Learning Engineer.
- Руководителям бизнеса.
Кейсы, практика и четкие схемы, которые вы можете применить уже сегодня. То, что актуально прямо сейчас. Знания, которые можно внедрить в любой бизнес, и при возможности масштабировать.
📍Встречаемся 3 июля (сегодня) - https://datastart.ru/
Круто! Чекнул некоторые решения их поста выше, многие реально шарят за Pandas )
Вот вам решение от PandasAI:
df = (df
.sort_values(by='score', ascending=False)
.groupby('book')
.head(3)
.groupby('book')['page']
.apply(list)
.reset_index()
)
Увидел еще одну магистерскую программу по Data Science и машинному обучению от Центрального университета!
🥋 Центральный университет — современный вуз, созданный при поддержке: Т-Банка, Авито и других.
💼 Получаете диплом магистра в области математики и компьютерных наук. Обучение на основе реальных кейсов ведущих ИТ-компаний у профессоров из МГУ, МФТИ, РЭШ и практиков из индустрии.
🤩 Фишка в том, что если ты уже имеешь опыт в Data Science и машинном обучении — можешь пропустить базовое обучение и закончить магистратуру за 3 семестра.
У каждого студента будет:
- личный ментор по траектории обучения;
- доступ к карьерному центру с коучами и консультантами;
- опыт работы в проектах партнеров уже во время обучения.
🏓 Онлайн-отбор на грант на обучение до 1,2 млн рублей.
Больше подробностей про университет и конкурс грантов по ссылке!
Найм и менторство часть //
Прошло 3 месяц с момента, как я впервые посадил своего двоюродного брата за ноутбук.
Спустя первую неделю совместной практики я вернулся в город. Однако, я хотел чтоб кто-то продолжал заниматься с Димой. Так я оформил его на онлайн курсы для школьников. С его слов ему понравилось то, как молодой преподаватель со старта начал энергично вести урок. Курсы стоят в месяц примерно 9к (4 занятия). Для моей родни это были большие деньги за какие-то там курсы в интернете - поэтому первое время я скрывал их стоимость и платил сам. Позже это вскрылось и платить продолжил уже не я. В третьем абзаце расскажу про результат.
Ближе к лету я столкнулся с новой сложностью. Мой план был подать Дмитрия на летнюю олимпиадную школу МФТИ. Однако, что вы думаете?! Дима напрочь отказался. Я не смог пока что замотивировать его. Для меня оказалось сверх сложным заинтересовать восьмиклассника. Зачем ему покидать деревню и ехать в Москву в лагерь на две недели ведь он планировал ходить с кентами на рыбалку. Это мы с вами знаем, насколько классно и полезно получить такой опыт, а школьник из глубинки не видит в этом ценности. Про то что это платно и стоит 80к+ я вообще промолчал, чтоб это не мешало и родители были на моей стороне. В общем, пока не хочется прибегать к силовым методам, попробую заинтересовать как-то иначе. Возможно через метод «социального одобрения».
И собственно, какие результаты у Дмитрия в программировании на python после 3-х месяцев в школе?! Если бы это был кто-то из моих ровесников - я бы посоветовал ему бросить это дело, но тут другой случай. Тут школьник 13-ти лет. И недавно мы с ним снова встретились. Я попросил его расспечать нечетный числа до N. И он с помощью мелких подсказок справился! На скрине его решение. Это прям зажгло во мне новый раунд мотивации. Юхуууу!
Да, задача простая, да, он решал её уже однажды на pythontutor.com, да, от 3-х месяцев обучения в онлайн школе ожидал большего, но все равно черт возьми приятно!
В общем, пока как-то так. Буду держать вас в курсе.
⚡️ Нашел ИИ-тулзу, использующую мощь 3-х лучших нейронок для выполнения вашей задачи — Maestro.
Это Python-скрипт, который использует до трёх LLM в качестве агентов. GPT-4o, Claude-3.5 и LlaMa 3 вместе объединятся, чтобы решать ваши задачи. Роли следующие:
• ORCHESTRATOR_MODEL — заправляет всем. Превращает ваш коротенький промт в комплексную задачу, разбивает ее на подзадачи и отдает следующей модели;
• SUB_AGENT_MODEL — в этом проекте является важным игроком, который пишет код, генерит текст и прочее;
• REFINER_MODEL — оптимизирует и улучшает результат, то есть фиксирует баги, делает текст более человечным и так далее.
При этом вы сами выбираете, какая модель что делает — имба же!
🎚️ Попробую!
😝 Если вы не верите в нейросети, просто посмотрите это 🔻
Чел подключил ChatGPT к камерам в умном доме.
Теперь он просто спрашивает «Где мои ботинки/ключи/носки/пульт?» и нейронка их находит. Вот к какому прогрессу лень приводит. Ждем такую же фичу в Алисе