434
Привет, это Настя 👋 Пишу тут про python, визуализацию, учебу, работу и просто новости @tokelau - можно мне написать
31 декабря!
Самое время подводить итоги года. И специально для этого мы приготовили для вас трушное ML-бинго.
Есть те, кто выбил 16/16? Закидывайте в комментарии свои результаты 🎅
Вот уже почти год я работаю тимлидом в Weeek. Мы адаптируем современные ИИ-решения для команд и бизнесов, использующих наш таск-менеджер. Я целенаправленно поступала в университет, чтобы уметь решать такие задачи. И обнаружила большой пробел в образовательных материалах на эту тему.
А как работать с данными? В университете мы просто загружали подготовленные бенчмарки, но такие данные мало кого интересуют. В реальности мы бесконечно создаем и тестируем собственные датасеты, и хотелось бы знать, какие в этой сфере есть хорошие практики. Как отслеживать версии экспериментов и самих данных? Что и как можно автоматизировать в процессе оценки?
Однозначного ответа у меня пока нет
а еще знаю, что кто-то предпочитает модельки Anthropic, эти ребята выпустили гайды по промптингу (тык) и оценке своих моделей (тык). Примеры часто приводятся в инфраструктуре Anthropic, но многие идейные моменты универсальны
Читать полностью…
Стартуем, открыта квалификация на Yandex Cup 24
Контест доступен в личном кабинете Yandex Cup: у вас есть ровно неделя, чтобы пройти задания чемпионата в одном или нескольких направлениях.
Выделите себе достаточно времени, сделайте небольшую зарядку, возьмите любимый напиток и перекус — и садитесь за комп.
Вас ждут сложные, но интересные задачи. Соревноваться можно в нескольких направлениях. 20 лучших участников в каждом направлении войдут в полуфинал.
Если вы ещё не зарегистрировались, успевайте.
еще один ресурс для генерации презантаций с помощью ИИ. Дизайн однотипный, но мне понравилось наполнение
Читать полностью…
хочется устроить большое обсуждение практических задач ИИ. На общие вопросы гпт отвечает прекрасно, у YOLO могут быть отличные результаты на бенчмарках, но когда дело доходит до применения на практике... расскажите, какие задачки вы пробовали решать на нейросетях? какие получились? какие есть проблемы?
Читать полностью…
gpt - это не только ChatGPT
Заметила, что не все отличают эти два понятия. GPT (Generative pre-trained transformer) - это целый класс нейросетей, использующих архитектуру трансформера. Первой стала всем известная модель от OpenAI, но есть разные модификации: YandexGPT, ruGPT-3.5 (в GigaChat), GPT-NeoX (в llama) и просто любительские.
Не думаю, что есть какие-то четкие правила, но, на мой взгляд, когда мы говорим гпт - мы можем иметь в виду любую из этих сеток.
Интересно, насколько для вас была очевидна эта разница?
Using the `Trainer` withg the `Trairequirese `Trainer` with `PyTo
у вас когда-нибудь возникала ошибка с accelerate, как на скрине?
Она решается добавлением !pip install accelerate в начало кода, но требует обязательного перезапуска всего ноутбука, обычно для библиотек этого не требуется. Наконец-то узнала почему так. Оказывается, в экземплярах моделей haggingface неявно создается экземпляр класса Accelerate и он реализован по шаблону одиночки (singletone). То есть при одном запуске вы можете создать только один экземпляр класса. Соответственно, чтобы окончательно решить проблему, приходится запускать все заново
Два месяца обучаю СуПеР-ПуПеР модель, на прошлой неделе она дала самые обычные результаты и обучалась 4,5 часа. Это разочарование, супер-модель должна давать супер-результаты. И побыстрее.
Можно было ускорить, если запустить на gpu, но это заканчивалось ошибками. И вот на этой неделе целенаправленно села разбираться с проблемой скорости. Если она собирается разочаровывать меня, то пусть делает это быстрее. И все заработало. Внесено ровно 0 изменений.
Что ж, и такое бывает
смотрю лекции по диффузионным моделям и идея превращать шум во что-то осмысленное и абсолютно воображаемое приводит меня в восторг. Особенно интересно смотреть визуализации
А когда сказали, что мультимодальность (например, текст в картинку) - это когда текстовый эмбеддинг сближают с эмбеддингом изображения, я чуть не подавилась. Это что получается, не важно, какая модальность, если у вас есть циферки, то их можно превратить хоть в текст, хоть в картинку, хоть в стул?
Может показаться "ну и что такого, модели уже и не такое умеют", но я еще не отошла от времен, когда токенизация на биграммы казалась мне заморочной задачей и хоть это было в далеком 2018 году, все равно ощущаю себя в меме "погоди как мы скакнули от 150 тысяч к 20 миллионам. Резковато для 30 секунд"
Источник изображения
Вчера была презентация OpenAl, сегодня Google.
Как будто у Google все сильно слабее, но. По-моему они просто делают упор на другие вещи, и с ходу их не оценишь. TPU6 меня вот очень заинтриговал
Послание Сэма Альтмана к сегодняшней презентации:
Из нашего сегодняшнего объявления я хотел бы выделить два момента.
Во-первых, ключевой частью нашей миссии является бесплатное (или по доступной цене) предоставление в руки людей очень мощных инструментов искусственного интеллекта. Я очень горжусь тем, что лучшая в мире модель доступна бесплатно в ChatGPT, без рекламы или чего-либо подобного.
Когда мы начинали OpenAI, наша первоначальная концепция заключалась в том, что мы будем создавать ИИ и использовать его для создания всевозможных благ для мира. Теперь же все выглядит так, что мы создадим ИИ, а другие люди будут использовать его для создания всевозможных удивительных вещей, от которых выиграем мы все.
Мы - бизнес, и мы найдем, за что брать деньги, и это поможет нам предоставить бесплатные, выдающиеся услуги ИИ (надеюсь) миллиардам людей.
Во-вторых, новый голосовой (и видео) режим - это лучший компьютерный интерфейс, который я когда-либо использовал. Это похоже на ИИ из фильмов, и меня до сих пор немного удивляет, что он настоящий. Достижение времени отклика и выразительности на уровне человека оказалось большим изменением.
Изначально ChatGPT показал намек на то, что возможно с языковыми интерфейсами; этот новый релиз ощущается совершенно иначе. Он быстрый, умный, веселый, естественный и полезный.
Разговор с компьютером никогда не казался мне естественным, а теперь это так. По мере добавления (по желанию) персонализации, доступа к вашей информации, возможности совершать действия от вашего имени и т. д. я вижу захватывающее будущее, в котором мы сможем использовать компьютеры для гораздо большего, чем когда-либо прежде.
Наконец, огромное спасибо команде, которая проделала столько работы, чтобы это произошло!
Второй год магистратуры МФТИ по Наукам о данных
#про_магу
Ура, лонгрид на эту тему готов. Отдельно ответила на ваши вопросы
Коротко:
- магистратура классная
- я ушла в академ
Открытие дня
Вы знали, что в Colab можно использовать @title, @markdown, @param прямо в ячейке кода и справа даже появится окошко для редактирования переменных?
Документацию не нашла, но таких команд вроде всего три
Всем привет! С наступающим новым годом 🎄
Расскажите про свои ИТ-достижения в этом году? В карьере, в обучении, в чтении книжек, открытии для себя новых языков программирования и все-все-все
передозировка нейросетями - это когда ты 10 раз за день пытаешься написать слово touch и 10 раз пишешь torch
Читать полностью…
вау, на гитхабе есть бесплатный курс по промпт инжинирингу - https://www.promptingguide.ai/ru/introduction/examples
Тут:
- техники промптинга
- примеры промптов для конкретных задач
- базовая инфа о разных моделях
- слабые места llm-ок
Курс настолько свежий, что многие статьи еще в разработке. Но уже содержит много полезной инфы, я бы сказала, что он очень хорош для ознакомления с прописными истинами сегодняшнего дня
Открыта квалификация Yandex Cup! Вот уже пару лет я регистрируюсь, а потом не хватает времени прорешать задания. Надеюсь в этом году совершить прорыв и хотя бы прочитать задачи
Вы участвуете? В каких треках?
from bertopic import BERTopic
быстрый-быстрый topic modeling с BERT-ом и визуализацией из коробки. Удобно, когда результаты нужны прямо сейчас, а Gensim окончательно разочаровал. Просто загружаете датафрейм и наслаждаетесь результатами
Еще мне нравится наблюдать, как из раза в раз, когда я пробую проанализировать тексты, мне попадается категория "время"
https://medium.com/geekculture/nlp-tutorial-topic-modeling-in-python-with-bertopic-da760e1d03aa
Документация: https://maartengr.github.io/BERTopic/index.html
Сарма-2024
На прошлой неделе ФБКИ ИГУ провел летнюю студенческую школу в Сарме (это деревня на берегу Байкала), где я была экспертом.
Что-то вроде интенсива. Ребята поделились на треки по разработке ПО и дизайну, первые писали систему построения бизнес-отчетов, а вторые изучали аналитику, визуализацию данных и рисовали дата-арты. Такое погружение на глубину профессионалов за 5 дней
А еще читали гостевые лекции. Гости из ИДСТУ рассказали про виртуальных ассистентов и задачи, которые они решают в институте. Ну а я рассказала немного по своей любимой теме - что мы можем понять о естественном языке, если просто посчитаем слова и буквы
И конечно же купались, гуляли по местным тропам, рассматривали эдельвейсы. В общем, получился классный нетворк разных поколений программистов ⚡️
я вы знали, что прямо в сообщениях в телеграмме можно делать поиск по картинкам?
работает так: набираете
@pic <ваш запрос>
и появляются подходящие варианты. Так же можно искать гифки через @gif
чат гпт похоже частенько задумывается о Римской империи
Читать полностью…
Добралась попробовать генерацию презентаций, веб сайтов, документов с помощью ИИ. Бесплатно и на русском можно попробовать тут: https://gamma.app/
-> Можно полностью сгенерировать контент, а можно создать из своих заметок/контента
-> Сама подбирает релевантные картинки (не всегда подходят по ширине/высоте/разрешению)
-> Можно выбрать тему: палитра, шрифт
-> Само собой, есть экспорт в pdf/power point, работает хорошо
-> Я бы пожаловалась на разнообразие палитр и шрифтов, но все же у сетки получается гораздо лучше, чем у меня
Попробовала задать случайные темы, получилось неплохо. Думаю, в реальности, конечно, нейросеть не сгенерирует 100% подходящую презентацию, но лично для меня большой плюс, что можно не страдать с подбором темы и сетка может подсказать содержание
Меня спросили в личке: "Привет! А как начать свой путь в ML и DS? Я в 9-ом классе :)"
Моя любимая рубрика: как заминмаксить эту жизнь.
Итак, вы в 9 классе и интересуетесь ML и AI. Хорошие новости: вы в самой лучшей точке для принятия правильных решений и у вас достаточно времени, чтобы достичь вершин могущества, которое и не снилось вашему отцу (в силу возраста вы не поймете эту отсылку).
Первым делом нужно изменить запрос. Когда я начинал свой путь в машинном обучении, я пошел на конференцию AI Journey. Там кто-то написал на маркерной доске: "прикладная статистика лучше машинного обучения." Этот сентимент тогда был достаточно популярен, все еще шел спор: победят ли нейросети и подход "stack more layers" классику статистических методов? На самом деле на тот момент классика уже проиграла, но еще не все это поняли. Что мы видим спустя всего несколько лет? Нейросети пишут музыку и рисуют лучше людей, трансформеры захватили мир, AGI через пару лет. В общем, если вы в 9 классе, то к вашему взрослению все может быть абсолютно другим. Прогресс экспоненциально ускоряется. Кто знает, может быть машинного обучения в нашем текущем понимании больше не будет. Но вот, что никуда не денется: математика, наука, программирование, инженерные задачи и необходимость превозмогать трудности. Сфокусируйтесь на основах и будете готовы ко всему.
Разобрались. Теперь о том, что именно делать. Первый приоритет: попасть в самый крутой технический лицей. Например: СУНЦ МГУ, Лицей НИУ ВШЭ, Физтех Лицей. Если эти варианты недоступны, то найдите лучший из доступных. Вам будет проще осваивать науки, если все вокруг осваивают науки и получают от этого удовольствие. Вы легко поступите в лучшие университеты, если для всех вокруг это будет очевидный путь. Лицей с крутыми преподавателями позволит вам нащупать направление развития. Чистая математика, программирование, физика, экономика - вообще неважно. Выберите такое, чтобы нравилось и получалось.
Учитесь для себя. Сидите в библиотеке и играйтесь с уравнениями. Мучайте преподавателей и ChatGPT вопросами: почему так? Способность к активному обучению это навык, который окупится миллион раз.
На этом этапе начните учить английский язык. Это откроет вам доступ ко всему миру. Изучение требует много времени, поэтому начинайте сразу.
Начинайте участвовать во всех олимпиадах и конкурсах по вашему направлению. Продолжайте эту практику и после школы, в университете и далее. Вы поймете когда надо остановиться.
Постарайтесь стать одним из тех, про кого в новостях пишут "школьник изобрел фотобиореактор который..." Лично знаю одного такого из Физтех Лицея. Все это в последствии позволит вам поступить в лучшие университеты страны и даже мира. Это создаст вам репутацию вундеркинда, являетесь вы им или нет, которая поможет во всем: поступлении в университет, поиске работы, фандрайзинге денег на стартапы. Никто не ожидает, что школьник действительно изобретет что-то прорывное. Но люди с удовольствием осветят любую попытку с презентабельным результатом, даже если он бесполезен. На этом этапе важнее что-то пробовать и демонстрировать форму интеллектуальной деятельности, а не достигать реальных результатов. В целом это верно для многих сфер жизни до самого конца. Время действительно прорывных результатов настанет позже. В общем, делайте то, что потом будет органично смотреться на вашей странице в Википедии.
Следующий шаг на пути героя: университет. Поступайте в ВШЭ, МГУ или МФТИ. Или топовые университеты зарубежом, куда не так трудно попасть одаренному школьнику, как может показаться. Вам нужен сильный бакалавриат с серьезной математикой, но, опять же, конкретное направление не принципиально. Главное, чтобы нравилось и получалось.
В университете нужны три вещи: хорошие оценки, активная учеба, движ. Первые две работают примерно как в школе. Оценки - для репутации и диплома с отличием. Требуют только выполнения очевидных правил: сдавай домашки, учи билеты, поднимай руку, не хами преподавателю. Активная учеба для ваших мозгов, важно постигать базу математики и других наук. Отдавайте предпочтение базовым предметам.
почему еще никто не создал библиотечную функцию split_train_test_val?
Читать полностью…
ахаха, смотрела подкаст про LLM. Посмотрите, на чем сидит ведущий. По-моему, очень жизненно
Вообще в подкасте обсуждаются принципиальные штуки вроде "а правда, что long context заменит RAG подход? А можно нейросети считать супер-человеком?" Прикольно, когда это обсуждают непосредственные разработчики. Один гость работает в Anthropic (разрабатывают Claude), другой занимался разработкой Gemini
Мало что понимаю, если честно, потому что смотрю на английском. Но если смотреть в Яндекс.Браузере, то он умеет делать озвучку на русском в реалтайме
Ссылка: https://www.youtube.com/watch?v=UTuuTTnjxMQ
Ну и ссылка на Сиолошную, там увидела подкаст
а еще в магистратуре я нашла новую работу и у меня даже взяли интервью на эту тему: https://blog.skillfactory.ru/programmirovanie-eto-lyubov/
Читать полностью…
Всем привет!
Давненько я не рассказывала как у меня дела, копила новости. Есть три большие темы, о которых хочу рассказать, одна из них магистратура, которую должна была закончить в этом году, но не закончу
Готовлю лонгрид на тему второго года в маге, если есть вопросы, оставляйте в комментариях
🌸Небольшое дополнение к посту про бесплатные курсы по NLP/LLM🌸
#nlp #про_nlp
Серия из 8 лекций на русском языке от Игоря Котенкова (Сиолошная):
"Полная история семейства GPT"
— история и мотивация создания GPT-моделей
— подробный разбор архитектур
— метрики оценки
— законы масштабирования и emergent properties
🟣Плейлист на Youtube