434
Привет, это Настя 👋 Пишу тут про python, визуализацию, учебу, работу и просто новости @tokelau - можно мне написать
раньше говорила "на питоне можно сделать все". Теперь "на питоне можно сделать все (кроме чтения qvd-файлов без боли)"
Читать полностью…
Docker
Пару дней назад по работе столкнулась с Docker. В самой работе он в итоге не пригодился, но уже третий день никак не нарадуюсь открытию
В чем идея. Проблематично переносить проекты на сервер клиента. Нужно устанавливать кучу зависимостей, правильные версии библиотек. Иногда есть строгое требование к операционной системе, например, clickhouse работает только на linux. Docker дает возможность упаковать в контейнер проект вместе со всеми этими зависимостями, включая операционную систему. И, теоретически, клиенту нужно будет ввести пару команд, чтобы ракета полетела
Что касается моих задач, требуется собрать необходимые питоновские библиотеки так, чтобы они устанавливались на Ubuntu, но на совершенно любую Ubuntu и без подключения к интернету. И формулировка «совершенно любую» требует тестов на нескольких ос, что и реализовано с помощью Docker
Надо сказать, я и раньше сталкивалась с docker, но вся эта схема с образами, контейнерами, портами, большим количеством непонятых команд терминала вводила в уныние. Нельзя просто взять и нажать кнопку, чтобы все работало
В общем, стандартная ситуация: не хочется читать инструкции, хочется пользоваться. И стандартное решение: сначала все же надо почитать инструкцию. Через пару часов из вселенского зла Docker превратился во вполне понятный и несложный инструмент благодаря этому туториалу https://www.youtube.com/watch?v=dNS61T4MmlM&list=PL0lO_mIqDDFX1c0JHogP5YuZdOVawoepS
Правда, говорят, на винде он не очень хорошо работает. Не проверяла
Немного окунулась в 2123 год. На работе поделились отчетом о применении ИИ в ритейле . Что уже есть и работает, помимо знаменитых курьеров Яндекса, голосовых помощников и персонализации рекламы:
⚡️Супермаркеты без кассы
В магазине помещаются камеры и с помощью компьютерного зрения отслеживаются товары в корзине. Перед выходом открываете приложение, проверяете список покупок и подтверждаете оплату. В Америке по такому принципу работают 29 магазинов Amazon Go, в России подобный магазин год назад открыл ВкусВилл
⚡️Умные холодильники Subway
Можно подойти к холодильнику и спросить «А что у вас есть? А можно без лука? А сколько калорий?» И холодильник ответит. Пока нашла информацию только об одном таком, он установлен в Калифорнийском университете
⚡️3D сканер тела для выбора одежды
Классная штука для тех, кто постоянно задается вопросом «а какой у меня размер?» Встаете на специальную подставку, ждете 60 секунд и получаете детальную 3D модель своего тела. Разработчик - российская компания Texel . Применений множество - от виртуальных примерочных до медицины и антропологических исследований
Про Sphinx и омонимию
Мне кажется, совпадение названий в программировании случаются редко. Однако время от времени вижу слово sphinx и начинаю гадать, о каком сфинксе на этот раз речь. Навскидку вот три варианта, возможно, их больше:
🤨Движок для быстрого поиска по текстам http://sphinxsearch.com/
🤨Генератор документации https://www.sphinx-doc.org/en/master/index.html
🤨Инструмент для распознавания речи https://cmusphinx.github.io/
И все так или иначе связаны с обработкой текстов. Так что будьте осторожны
Села изучать pytorch. Выяснилось, что тензоры = numpy-массивы. Времени на изучение потрачено 0.001 секунды. Едем дальше
Читать полностью…
Негативный отзыв ⭐️⭐️⭐️⭐️
#numpy_курс
В воскресенье случилось то, чего я очень боялась - первые 4 звезды. И я стояла перед дилеммой писать об этом или нет, потому что трудно не высказаться с негативной коннотацией, а негатив ничего хорошего не приносит. С другой стороны, это важное печальное событие для меня. Удар в сердце, если позволите немножко драматизировать. Решила все же поделиться и сразу дисклеймер: никаких обид, пост о том, что нужно было сделать лучше и что не поздно исправить сейчас
Кто-то скажет, Настя, но 4 звездочки - это не негативный отзыв. Но все же это значит, что чего-то не хватило
Содержание отзыва привела на скриншоте выше (отзыв выложен публично на платформе, поэтому считаю корректным также публично поделиться им на канале)
Орфографические ошибки
Не поняла, почему это понравилось. И совсем не уверена насчет орфографических ошибок, но в курсе есть опечатки. Это боль, с которой не знаю как бороться. Писала курс сразу на «чистовик», с целью на второй итерации исправить недочеты. Но правки просто не появляются на платформе. Слушатели раз за разом пишут об одних и тех же опечатках и раз за разом я их правлю. Ну и плюс мой личный недостаток, мне действительно трудно работать с деталями. Много экзаменов в моей жизни было провалено из-за «вижу, но не замечаю». Так что не знаю, дело все-таки в платформе или я сама каждый раз меняю шило на мыло
Что можно сделать? С этим курсом остается только принять поражение. А при написании следующего организовать этап тестирования
Ни о чем не жалею
Приятно, что слушатель все равно ни о чем не жалеет) однако напоминаю, в течение 30 дней после оплаты вы можете попробовать вернуть деньги, написав в поддержку stepik. Для меня, как автора, это лучше, чем печальные 4 звездочки. Звездочки каждый день будут громом на моем небосводе, а статистика возвратов забудется
Мало теории
Изначально ставила задачу дать знания коротко и структурированно. Не давать того, что может не пригодиться. Сложно выбрать именно то, что со 100% вероятностью пригодится 100% слушателей, но я старалась. Не хотелось перечислять ворох функций на все случаи жизни, чтобы увидеть один раз и забыть
Что можно сделать? Вот здесь мне важно мнение, тех, кто прошел материал, что скажете по поводу объема теории? В конце курса я провожу опрос, который проблемы в этом вопросе не показал
Мало задач
Еще одна ахиллесова пята. Задачи делятся на простые и не очень простые. Принцип был такой, что простые задачи присутствуют обязательно для отработки каждой функции/новой возможности/подводного камня
Дальше есть два варианта:
- Если их добавить больше, то начнутся повторы, это будет миссия сделать n раз одно и то же. И часть студентов просто заскучает
- Каждая задача, о которой нужно задуматься чуть дольше, вызывает много трудностей у другой части слушателей
Я понимала это, когда писала курс, и планировала скоррективаться под аудиторию
Что можно сделать? У меня снова вопрос к тем, кто проходил задания: расскажите, насколько комфортной для вас была выборка задач? Как считаете, стоит добавить больше? Каких: простых или не очень простых? Можно либо в комментариях, либо в форме обратной связи
Медленный фидбек
Об этом не писали, но вижу проблему в том, что недостаточно быстро реагировала в комментариях. Было много вопросов, которые увидела уже после отзыва. Не знаю, могу ли в этом вопросе надеяться на понимание, что фуллтайм + магистратура занимают много времени -> время ответа выросло. Но фидбек даю всегда и обязательно
Не устаю повторять, что курс по машинному обучению от Академии искусственного интеллекта идеальный для старта, на мой взгляд. Никакой рекламы. Не обращайте внимание, что сайт заточен под общение с ребятами школьного возраста, материал на 10 из 10 для любой аудитории
Предполагается, что вы с полного незнания начинаете работать в следующем порядке:
1. python
2. Анализ данных: pandas, основы визуализации (ну как основы, рассматривается даже plotly), numpy, как работать с математикой на python
3. Машинное обучение: линейная и логистическая регрессии, деревья и ансамбли. На пальцах объясняется, как все работает, забыть потом невозможно. И хотя моделей гораздо больше, в будущем вам на 1000% будет проще будет в них разобраться
Кстати, это особенность, из-за которой мне так нравится курс - он не перегружен информацией. Но когда понадобится, вы легко разберетесь что к чему (проверено)
И можно стартовать с любой темы (бросать тоже)
upd: забыла уточнить, что курс бесплатный
🎭 Может ли ИИ шутить?
Вот уже 7 лет я непрерывно учусь программировать и до сих пор регулярно недооцениваю современные технологии. Надо отдать должное, они развиваются с гиперзвуковой скоростью.
Следите за руками:
➤ Август-сентябрь 2022 - Яндекс перезапускает бесплатный сервис Балабоба, вдохновленный технологией GPT-3 от компании OpenAI. Балабоба может только одно - продолжать начатые вами предложения, хотя вы можете выбрать стиль повествования. Осмысленность текста, на мой взгляд, спорная. Он прекрасно сочиняет чепуху, но зачем вам чепуха?
➤ 30 ноября 2022 - на основе технологии GPT-3.5 от той же OpenAI выходит ChatGPT и он может вообще все. В этот день примерно все мы проснулись в будущем
Что такое ChatGPT?
Это чат-диалог, который вы можете вести с нейросетью на любую тему.
Из того, что я попробовала:
🔸 Пожаловаться на плохие оценки в школе и бессонницу - получила прекрасные советы и даже поддержку
🔸 Посоветоваться по поводу темы магистерской диссертации - получила вполне дельный совет
🔸 Построить графики и даже анимации на python - вышло идеально, он даже понимает, как сделать анимацию, похожую на море
🔸 Написать реализацию префиксного дерева на С++ - ладно python, но ЭТО. Некоторое время назад мне пришлось сильно помучиться с таким деревом
🔸 Подобрать цвета, сочетающиеся с желтым - получила список с точностью до оттенка в rgb формате
🔸 Написать сказку - вышло очень даже
🔸 Придумать шутку про утку и Аристотеля - думала, что нейросеть вообще не справится с этой задачей, а она взяла шаблон анекдота и перефразировала под заданные параметры. Так что шутить может, а придумывать шутки - скорее нет, чем да
🔸Слышала, что можно учить английский с его помощью
Что получилось не очень
🔺 Попросила дать саммари на книгу, в названии которой было слово космос, хотя тема книги совсем другая - чат без тени сомнения подробно расписал, как доступно автор рассказывает про черные дыры
Для чего это все
1. Читала, что Microsoft хочет встроить этот чат в свой поисковик Bing и составить конкуренцию Google. Представьте, вам больше не нужно перебирать ссылки, вы просто пишете запрос и получаете ответ
2. Можно больше не мучиться с задачами типа «напишите функцию поиска простого числа»
3. *место для фантастических теорий о захвате человечества*
Как попробовать
В идеальном мире вы можете просто открыть сайт, зарегистрироваться и бесплатно вести диалоги сколько угодно. На деле нужен иностранный номер телефона и впн. Вот инструкция
Послесловие
Читала про компанию OpenAI, оказывается, Илон Маск в числе сооснователей. Напомню, он же открыл Neuralink, уже не говоря о других всем известных компаниях. Ощущение, что Маск отчаялся колонизировать Марс и решил колонизировать Землю
#про_магу
Хочу рассказать о том прекрасном, что случилось со мной за первый семестр в МФТИ - о предметах гуманитарного цикла. В этом семестре я посещала:
✔️Английский
✔️Методику преподавания (факультатив)
✔️Язык и мышление: связи и разрывы (как философия) - сегодня о нем
Во времена бакалавриата я долго думала, возможно ли в рамках ВУЗа организовать философию так, чтобы это не было формальностью для галочки? МФТИ дал ответ - еще как.
Философия в Физтехе - это эталон, это идеал. Во-первых, был выбор из примерно 9 предметов, например:
🔸 Хороший, плохой, цифровой: онлайн этики и этикеты
🔸"Формульная литература" или "литература формул": Детектив, Horror, Love story, авантюрный, криминальный роман
🔸Методология искусственного интеллекта на современном этапе
🔸Язык, цивилизация и мышление: связи и разрывы, который я выбрала и не пожалела.
Не философия, в общем, а научпоп-обзор
Первый секрет успеха - преподаватели взяли интересные темы. Нам рассказывали о попытках научить говорить животных, как учатся говорить дети, как ориентируются в пространстве люди разных культур, про развитие понимания цвета в языке, системы счета, теорию вежливости и невежливости.
*Очень люблю слушать о всяких невероятных исследователях, которые поехали в джунгли и там учили язык народа аываролт.
К посту прикрепила слайд лекции, где мы разбирали понятие «спереди/сзади»
Затем преподаватели набрали всяких источников - от классических теорий и умных книг, до языка гептаподов из фильма «Прибытие» и статьи на Яндекс Дзене. И получился крутой субботний вечер.
Еще нам сразу обозначили, что не собираются давать объемные невероятные задания и пытать студентов. Уважение к нашему времени и высокой нагрузке - это вообще черта МФТИ, которую я для себя подметила. Никто не ворчит, что мы какие-то нерадивые, всем ясно, что в жизни есть не только учеба. Приятно удивило, что от преподавателя даже на следующий после экзамена день не было комментариев в духе «а где вы раньше были?» Что ж, сессия - время непростое, сделать сейчас можно то-то и то-то.
Фан факт: эта пара была настолько прекрасна, что записались примерно 230-240 слушателей, хотя ВУЗ ориентировал преподавателей на 9-10. Из-за этого возникли технические трудности при сдаче первого задания, но к экзамену преподаватели перестроились и поменяли формат
И это подводит к еще одному приятному моменту. Очень импонирует живость и актуальность материала. Не было формального чтения лекций, которые не менялись последние 10 лет. Нет, вот преподаватель на выходных был там-то и увидел прекрасный пример по теме лекции
Каждую пару поражалась, что это серьезно предмет, который серьезно преподают в ВУЗе. Еще больше я поражаюсь сейчас, потому что это был замечательный и даже ПОЛЕЗНЫЙ для меня опыт, так как я интересуюсь языковыми моделями и теперь чуть глубже представляю трудности в этой области
#про_магу
Планировала перед новым годом сделать один большой пост-итог про первый семестр в магистратуре, но слишком много хочется рассказать. Так что будут посты-заметки-вспышки-впечатления.
По профильным предметам в этом семестре ушла ровно с тем же, с чем пришла. И это отнюдь не показатель того, что учиться нечему.
По предмету "математика в ML" никто так и не понял, причем здесь математика. Оценка целиком зависела от того, насколько мы были способны правильно называть файлы, а в контрольной работе еще и столбцы. В начале курса преподаватель заявил, что математику мы должны знать уже, но он великодушно скинет нам блокнот с основными терминами.
Вот краткое содержание всех лекций: "разделим данные библиотечной функцией, возьмем библиотечную модель по теме пары, запустим фит и проверим все библиотечным скором". Главная мудрость: математику вам знать не надо, ее использует ну может сотня датасаейнтистов в мире, а не вы.
Из плюсов, преподаватель из области и мог поделиться опытом. Главное из этого опыта рассказала выше.
Итог: эффективнее было купить книгу и учиться по ней. Это не фантазия, из книги я действительно узнала намного больше
P.S. в комментариях спросили, что за книга, вот, именно 2 издание
Идеи подарков на новый год от Академии Яндекса.
Правда небанальные, мне понравилась маска
https://academy.yandex.ru/journal/8-nebanalnyh-podarkov-na-novyj-god
Еще недавно с коллегой обсуждали эффективность pandas, здесь тоже всегда рекомендовала использовать специальные функции вроде apply, но выяснилось, что я ошибалась. Вот интересная статья на эту тему.
Спойлер: и здесь оказалось, что numpy лучше всех
интересно поразмышлять над метрикой, по которой измеряли сложность песен. Наверное, было бы интересно оценить используемые в песнях слова с точки зрения частоты их употребления в русском языке
Читать полностью…
Мы с Колей сделали штуку! Очень давно хотела поработать с данными песен и сделать что-то типа проекта про сложность текстов от The Pudding. Коля (Left Join) помог собрать и проанализировать данные, а дальше уже датавииииз 🙈
⚡️Так что представляем вам анализ простоты текстов русских песен.
Русские песни, как оказалось, тоже упрощаются со временем. А шансон и рок – жанры с самыми “сложными” песнями. По ссылке можно посмотреть, какие жанры содержат в себе более простые песни, проанализировать песни любимого исполнителя и поисследовать самые сложные и простые песни десятилетий.
Тексты брали с сайта txtsong, а метрику простоты песен можно посмотреть двумя способами: через уникальные строчки в песне или уникальные слова. Песни с выскоим показателем “простоты” содержат в себе практически только припевы, а “сложные” – наоборот оригинальный текст, зачастую без припева совсем.
Буду рада комментариям и предложениям❣️
ps спасибо большое Роме за виз ревью 🐳
@nastengraph @leftjoin
*как писать посты, чтобы они не были похожи на рекламу или кому написать, чтобы заплатили за рекламу?*
Читать полностью…
Так вышло, что последние несколько недель мне пришлось провести без наушников и/или графического планшета. Как обычно, в моменты разлуки начинаешь сильнее ценить дружбу...
Решила отметить заслуги товарищей и представить их вам. Курсы, работа, магистратура - все только бок о бок с ними! 🔥
Тайм-менеджмент, атомные бомбы и самокорректирующиеся коды
#цикл_истории
На канале Yorko наткнулась на перевод лекции Хэмминга «Вы и ваша работа». Там Хэмминг рассуждает о том, какую роль удача играет в успехе, как создать великую работу. Рассказывает, что приходилось пренебрегать временем со своей семьей, но великая работа стоила того. Мне не близка концепция стремления к пъедесталу, ради которого можно было бы пренебречь родными, но в статье есть интересные мысли
В процессе чтения поняла, что устала восхищаться предыдущим поколением программистов в одиночестве, поэтому придумала написать цикл об ученых 20-го века и рассказать, что интересного они изобрели для нас сегодняшних. А может быть и сегодня есть чему у них поучиться? Давайте как раз с Хэмминга и начнем
Ричард Хэмминг - американский математик, в 1937 году получил степень бакалавра, так что начало его научной карьеры выпало на годы Второй Мировой и да, около года Хэмминг, в числе других передовых американских ученых, работал в Лос Аламосе над ядерной бомбой. <после этой фразы мне понадобилось некоторое время, чтобы понять, что написать дальше> Позже, в рядах тех же передовых американских ученых, он сожалел об этом. Подробнее биографию можно почитать здесь
Для нас важно, чем именно занимался математик Ричард Хэмминг. А занимался он программированием первых вычислительных машин, тех самых, которые еще считывали перфокарты. Перфокарта - это такая картонка, в которой пробивали отверстия (перфорации). В общем-то эти дырявые перфорированные картонки и были программами. И именно они поставили Хэмминга в очень неприятное положение. Считывались перфокарты долго, да к тому же с ошибками. Из-за этого приходилось постоянно начинать заново и тратить лишние дни своей жизни на дебаг, в котором тоже может случиться ошибка. Поразмыслив какое-то время Хэмминг изобрел способ решить проблему - код Хэмминга
Благодаря этому коду программа может сама в себе исправлять ошибки. На этом моменте представляется будто она сама знает, что в переменную нужно записать число 5, а не 8. Но скорее она может ответить на вопрос, а байт 0101010 правда 0101010 или все же 0101011? Но это не умаляет важности изобретения. Представьте, если к нам летят данные из космоса и есть большая вероятность, что где-нибудь в атмосфере потеряется единичка, и мы получим условный zip-архив с ошибкой распаковки. Больно
Идея кода очень простая. Вот здесь можно почитать подробности. Пару лет назад мы вполне удачно разобрали все по косточкам с ребятами из 5-7 класса. Коротко: давайте выделим парочку дополнительных бит, которые назовем контрольными, чтобы они контролировали правильность основного набора. Затем научим программу нехитрым образом суммировать биты и отправим все это из космоса на Землю. На Земле программа-приемник повторит это действие и если результаты не совпадут, то сделает, чтобы совпали. Ученый в это время может спокойно уйти на выходные домой и сэкономить комочек нервов
Где сегодня применяется
Приземленной фразы «код Хэмминга сегодня применяется в ноутбуках Apple», я не нашла. До определенных пор его применяли в операционках windows и процессорах Intel. Но сейчас и то, и другое стало достаточно надежным и необходимость отпала (дисклеймер: это мое предположение, не знаю точно, почему алгоритм вышел из широкого тиража)
Сейчас код Хэмминга (кстати, в первозданном виде, настолько он хорош), используется в низкоуровневых системах, где важно не словить ошибок: в самолетах, в космических аппаратах, на важных серверах. Ну и вроде как можно докупать специальные модули для домашних компьютеров, если очень хочется получить отказоустойчивое устройство. Даже нашла процессор Intel 2017 года с поддержкой ECC-памяти (error-correcting code memory, как раз за счет кода Хэмминга). Хотя мне кажется, что это скорее говорит о низком качестве этого процессора
Тем не менее, публикация алгоритма даже привела к патенту и оставила имя Хэмминга в истории как первопроходца в мире самокорректирующихся кодов. А для меня он еще модный старичок в клетчатом пиджаке
Видео-курс или не видео-курс? Часть 2
Пишу сейчас как слушатель курса, а не автор. Писала какое-то время назад в этом посте о форматах курсов, видео или не видео. Сразу скажу, я не сторонник этого формата. Потому что
👉🏼Если вы знаете 90% материала, то вам все равно нужно посмотреть 100% видео, чтобы не пропустить те самые полсекунды, когда говорили что-то новое
👉🏼Если нужно вернуться назад и посмотреть еще раз, то приходится сидеть и настраивать ползунок на идеальный кадр
Можно сопровождать видеокурс конспектами. Мне пока непонятно, что именно может дать в этом смысле движущаяся картинка со звуком. Плюс множество новых факторов дикции, скорости повествования, качества звука. Почти всегда есть недостаток хотя бы по одному этих пунктов
Наверное, есть смысл писать видео, когда нужно показать именно анимацию, увидеть условный переход от точки А к точке Б. Когда текстом это займет больше места и времени, чем картинкой
Upd: хотя на youtube есть несколько классных курсов. Но мне все же кажется, что "это другое"
itertools
Раз за разом возвращаюсь к этой статье на хабре о модуле itertools. Если вам нужны комбинации и перестановки, то вам нужна itertools
Стандартный пример задачи: есть два списка [1, 2, 3], [-1, -2 ] и мы хотим их комбинировать так, чтобы каждому элементу первого списка была сопоставлена пара из второго:
[1, -1]
[1, -2]
[2, -1]
[2, -2]
[3, -1]
[3, -2]
Списков может быть больше, как и элементов в них. Чтобы не писать циклы, можно как раз использовать itertools. Но рекомендую внимательно посмотреть, что делает каждый метод, чтобы не сгенерировать случайно не тот набор
Дано:
- Нейросеть TranSalNet, задача которой предсказывать по картинке, куда будет направлен ваш взгляд
- Вопрос, понимает она человека или генерирует рандомные черно-белые картинки?
Еще есть слайд презентации по ООП и вечный вопрос, как компоновать элементы, чтобы презентация была красивой, а еще желательно обучающей. На мой взгляд, именно с презентациями хорошо знакомиться в две итерации. На первой пробежать быстро и уловить общую мысль, здесь важна удачная компоновка. На второй уже прочитать, что там написано
Так что меня интересовал вопрос, какие элементы наблюдатель увидит на первой итерации? Хотелось, чтобы это был код и список справа (cм.картинки). И, как человеку, мне очевидно, что слайд справа лучше. А что скажет TranSalNet?
В общем-то, то же самое. По крайней мере она подсветила именно те элементы, на которые мне хотелось обратить внимание. Круто
Тренировки 3.0: новые лекции, задачи и возможность присоединиться к команде Яндекса
Тренировки Яндекса по алгоритмам возвращаются. Вас ждут 6 новых лекций, задания к ним, разборы решений и контест на время, чтобы набрать дополнительные баллы.
🎯 Тренировки делятся на два уровня сложности. Дивизион А подойдёт участникам, которые готовятся к олимпиадам по спортивному программированию, а дивизион B — тем, кто хочет пройти отбор в ИТ-компанию.
🏆 За решение задач вы поднимаетесь в рейтинге участников. У каждого дивизиона свой рейтинг, поэтому возможность проявить себя есть как у олимпиадников, так и у тех, кто только начинает изучать алгоритмы.
🎁 50 лидеров рейтинга каждого дивизиона пригласим на торжественное награждение в офис в Москве. Если живёте в другом городе России — привезём за счёт компании. Разработчикам предложим фаст-трек в Яндекс.
Все остальные участники, которые решат больше 50% задач, получат сертификаты о прохождении Тренировок.
Зарегистрироваться: https://clck.ru/33MJHB
9 февраля пройдет трансляция, на которой расскажем подробнее про формат новых Тренировок, вместе порешаем задачи на скорость и обсудим, как знание алгоритмов помогает пройти отбор в ИТ-компанию.
Скинули классный проект от Google – океан книг. Каждый автор – остров, а города на острове – книги автора.
Размер острова зависит от представленности автора в интернете, а расположены они в заисимости от того, как часто упоминаются друг с другом.
С новым годом 🎄
Всех с наступившим Новым годом! 31 и 1 число ушли на осознание года ушедшего и планы на год наступивший. Надеюсь, ваши праздники тоже проходят самым замечательным образом. В кругу семьи, друзей или в одиночестве, активно или в забвении на диване, кому как больше нравится.
В 2022 произошло многое, думаю, почти у всех если и не случилось заметных подвижек, то, как минимум, было о чем потревожиться.
Но еще в 2022 году началась история этого канала и вот нас здесь уже целых 300+ читателей, писателей и заинтересованных лиц. Спасибо вам за это. Кажется, это клише - говорить о том, как интерес к творчеству (а я именно так отношусь к python на завтрак) мотивирует, однако это абсолютная правда.
Что произошло в 2022?
✅ Поступила в магистратуру. Очень ОЧЕНЬ к этому стремилась
✅ Случилась идеальная работа в идеальной команде Infovizion. Искала долго и тщательно и усердие окупилось
✅ На курс записалось 100+ человек
Что планируется в 2023?
🔺В первую очередь, нравится моя работа и хочется делать ее лучше. Не говорю, что сейчас делаю плохо, я очень стараюсь, но еще чувствую себя новичком
🔺Планирую написать целых 2 курса: один пока секретный, второй по pandas. Работу начала над обоими, но перым выйдет, скорее всего, секретный. Его мы пишем в соавторстве с Зоей, боюсь, в другое время года не смогу отвлечь ее от интересных исследований
🔺Оставляю пространство под незапланированное и интересное
Еще подумала, что будет хорошо до конца января сделать скидку на изучение NumPy. Новый год и цена, как за новый NumPy. Так что вот промокод, по нему скидка 1000 руб: NEWNUMPY
Еще раньше я говорила, что не ограничиваю себя ожиданиями от магистратуры, а полностью доверяю ВУЗу. Исправляюсь, ожидания оформились сразу же, как не оправдались.
Хотела разобраться раз и навсегда с нулевыми гипотезами, p-value и бустингами. В другой раз(
#мнение
Нужен ли английский, чтобы программировать?
Давайте сразу с примера.
Какой текст понятнее?
if symbol in textили
sɛ agyiraehyɛde wɔ nkyerɛwee muМое смелое предположение, что первый. От того, что символы складываются в нечто знакомое, что вы встречаете постоянно, конечно, становится легче.
вау, юбилей, на курс записались 100 человек, и все отзывы по 5 звездочек 🎉
Читать полностью…
Эффективность инструментов numpy в сравнении с циклами
В своем курсе в уроке про циклы я рекомендую избегать их использования. Недавно мне пересказали один интересный диалог, в котором один собеседник усердно избегал циклов, а другой считал это неправильным. Мол, не всегда без циклов задача решается быстрее, да еще и непонятно ничего. Что за np.where такой?
Аргументы против функций numpy и за for сводились к вопросу а известно ли, как работает GIL? Про параллельность вычислений в numpy? После наступила гробовая тишина и дискуссия закончилась. А меня несколько дней не покидала мысль, либо мы все зря пользуемся numpy с его ограничениями в типах и размерности, либо что-то здесь не так. Решила протестировать эффективность numpy vs for.
🌞Постановка эксперимента
Помучившись некоторое время над вопросом, какие задачи взять и не придумав ничего, решила взять 3 задачи из своего курса. В четвертом тесте попыталась в сильно упрощенном виде воспроизвести задачу, о которой речь шла в упомянутом диалоге.
Тесты проводились так: генерировался массив и на нем задача решалась обоими способами: через for или исключительно numpy. Каждое решение прогонялось 100 раз и вычислялось среднее время решения (за исключением последнего, там циклам было совсем тяжело и jupyter notebook несколько раз вылетел).
Примечания:
🔹Я взяла всего 4 задачи, что, вероятно, не слишком показательно. Если у вас есть идея, какой эксперимент нужно поставить, чтобы именно из-за GIL просела производительность и желание попробовать - поделитесь, пожалуйста, результатами
🔹Конечно, хорошо было бы проверить еще решение через генераторы списков, однако у меня не было времени и в изначальной постановке задачи речь шла только про циклы. Читатели канала могут попробовать проверить их самостоятельно, будет интересно узнать результаты. Мой ноутбук можно взять за основу
Вывод
Он простой: на небольших массивах (примерно до 100 элементов) эффективность циклов сравнима с массивами и даже бывает лучше. Но чем больше элементов вам нужно обработать, тем серьезнее нужно задумываться, как бы обойтись без for, детали на картинках выше
пожалуйста, если ноутбук не открывается, сообщите мне в комментариях, постоянно возникают какие-то проблемы с гугл-диском
да, есть еще вебинары, но это совсем отдельная категория, в опросе речь о предзаписанных видео
Читать полностью…