-
📈 Карьера в Data Science - мнение и аналитика 🧑💻 Туториалы и код Хочешь в ds или индивидуальный вопрос? Пиши @vasily_ryazanov
Первые впечатления от ChatGPT Plus
👩💻 Генерит быстрее
👩💻 Все еще не хочет есть длинные тексты
👩💻 Должна быть всегда доступна
👩💻 Можно выбрать модель, но еще не тестировал
Астрологи объявили неделю Midjourney 💃/imagine prompt cute isometric island, cottage in the woods, river with water falling off the edge, made with blender
Как вам?
Бывает же, что нужен gpt, а под рукой только телеграм? Ну или vpn/sim так и не настроены?
Время представить своего бота для 💬, которого я писал: @GptEasyBot
Он использует движок GPT-3, так как движок ChatGPT быстро прикрыли. Также функция диалога пока не поддерживается, но я прям чувствую, что скоро все-таки будет релиз API ChatGPT, вот все будет огонь 🔥
А пока приглашаю всех пользоваться, тестировать. Если какие-то проблемы или идеи, можете писать мне лично: @vasily_ryazanov
https://github.com/travistangvh/ChatGPT-Data-Science-Prompts
Держи еще 60 промптов именно для Data Science и кодинга ☝️
Примеры:
1. Написать классификатор
2. Помочь с визуализацией
3. Переписать с R на Python (главное не наоборот 😀)
4. Объяснить код
P.S. Тема с ChatGPT начинает надоедать, с ней и так понятно что она крутая. Так что плавненько переключаемся на другие темы и образовательный контент 🤞
С наступающим 2023 годом! 🎄
Возлагаем надежды на новый год 💫. Хочу пожелать всем мирного неба над головой и того, чтобы мир снова стал нормальным.
И еще я желаю всем сохранить себя.
Вкладывайте в себя, это всегда окупается. Займитесь образованием, смените работу, переедьте, откройте стартап, творите и любите ❤️
С новым годом!
Напишите мне в личку у кого получилось зарегистрироваться в ChatGPT, у кого сначала не получалось, но потом получилось, и у кого до сих пор не получается.
@vasily_ryazanov
upd: насобирал фидбеков, уже можно не писать :)
Ну и под конец удалось добиться инстуркции как все-таки это можно сделать:
As I mentioned earlier, it is possible to implement a transformer using only NumPy, but it would be very difficult and time-consuming to do so. NumPy is a powerful numerical computing library, but it is not designed for building and training complex neural network models like transformers.
If you still want to try implementing a transformer using only NumPy, I would recommend starting with a simple transformer and gradually adding more complex features like multi-head attention and positional encoding.
Here are the basic steps you would need to follow to implement a transformer using NumPy:
Define the input and target sequences.
Initialize the transformer model's weights.
Implement the transformer's encoder and decoder layers.
Implement the multi-head attention mechanism.
Implement the position-wise feed-forward network.
Implement the positional encoding mechanism.
Train the transformer by iterating over the input and target sequences and updating the model's weights using backpropagation.
This is just a high-level overview of the steps involved in implementing a transformer using NumPy. As I mentioned, it would be a very difficult and time-consuming task, and I would strongly recommend using a deep learning framework like PyTorch or TensorFlow instead.
Пора в админы канала добавлять
Найденная на просторах LinkedIn инструкция по общению с иностранным рекрутером - все подтверждаю 😃
Читать полностью…
Всем привет 👋
Не прошло и года, как я снова тут. На всякий случай - в тиктоке я по-прежнему активный (просто из России смотреть нельзя).
Рынок труда конечно сильно изменился. Джунам становится сложнее, потому что компаниям выгоднее нанять сразу полезного сеньора. При этом опытные кадры из России потихоньку переезжают, поэтому тут больше вариантов для новичков.
Поэтому, если совсем нет опыта - можете пробовать поступить в университет за границей. Или на начальную позицию в РФ.
Если опыт есть - можно искать за границей.
Удаленные варианты сейчас практически невозможны, т.к. крупные фриланс платформы закрыли доступ из РФ + проблемы с переводами, даже если заключите контракт напрямую.
Но стратегия вкладываться в себя никогда еще не подводила 🤞 Особенно в тяжелые времена.
Поэтому - ботайте английский, машин лернинг и кодинг интервью. И успехов!
Скоро вернусь с полезными материалами.
Хотите устроиться в Яндекс ? (ну такое)
Тогда попробуйте решить эту задачу! (реальный случай)
Дана строка (или массив символов, в общем главное что изменяемая). Операция замены и получения символа - О(1).
Нужно переставить слова в обратном порядке за O(N) по времени и О(1) по памяти (что значит копировать массив или слова - нельзя!)
Пример: «спасибо за подписку» -> «подписку за спасибо»
Сначала сами! За 20 минут, на бумаге.
Решение:
Читать полностью…
s = 'Спасибо за подписку'
def f(s):
s = list(s)
l = len(s)
def inverse_word(i1, i2):
for i in range(1+(i2-i1)//2):
s[i1+i], s[i2-i] = s[i2-i], s[i1+i]
inverse_word(0, l-1)
i1 = 0
for i in range(l):
if s[i] == ' ':
inverse_word(i1, i-1)
i1 = i+1
inverse_word(i1, l-1)
return ''.join(s)
print(f(s))
Немного о CV или резюме
Перечислю основные моменты, которые я считаю важными:
1. Делайте на английском (либо англ+рус). Какое отправлять зависит от компании. Если продвинутая - то солиднее английское, если иностранная - обязательно
2. CV должно быть простым и коротким! Это чуть ли не самое важное. Уместите все самое важное на 1 страницу, никто не будет читать простыню на 3 страницы (если ваш уровень не профессор Гарварда)
3. Добавляйте ссылки на релевантные соцсети. В случае с Data Science - kaggle, github, linkedin, stackoverflow (что есть)
4. При описании предыдущих мест работы старайтесь перечислить что конкретно вы сделали. Не просто «работал над рекоммендациями», а в идеале «создал новую модель рекомендаций, основанную на том-то, увеличившую метрику на 5%»
5. Формат - pdf, ссылки желательно интерактивные. Фото не добавлять. В России к фото относятся нормально, но использование фото при подаче в иностранную компанию говорит о вашей «несовременности» или о том для вас внешность может цениться одинаково с навыками.
6. Используйте нормальные шаблоны. Можно найти в Google Docs, но самое правильно для айтишника - ТеХ. Благо сейчас есть overleaf где все делать очень просто.
Оставляю шаблоны https://www.overleaf.com/latex/templates/tagged/cv/page/1
Насколько просто задетектить объекты на фото/видео?
Элементарно!
Я подготовил небольшой пример как это можно сделать за пару минут (видео на входе -> видео на выходе)
https://github.com/vasyarv/pytorch_object_detection_tutorial
Пробуйте!
(На фото применил к онлайн трансляции с гостинного двора)
Летом выкладывал видео как сделать эффект Deep Dream на видео. Теперь выложил код, в нем также встроены функции загрузки и выгрузки видео, так что все готово, можно тренироваться 🙂
В кратце суть алгоритма:
1. Берется обученная на imagenet нейросеть.
2. Выбираются некоторые слои
3. Пишется лосс функция, максимизирующая активации на этих слоях
Очень много непонятных слов? 🥲
Да, чтобы понять, что тут происходит надо быть не совсем новичком. Нужно знать:
1. Нейросети (самый базовый вид, нейроны, активации)
2. Сверточные нейросети (нейронные сети, сделавшие прорыв в распознавании изображений - знать обязательно!)
3. Синтаксис python (ну куда же без него) и tensorflow (хотя бы на уровне понимания)
Но не беда, все это легко выучить!
Отмечу что второй пункт самый интересный и по нему можно много чего рассказать.
Какие еще вопросы могут возникнуть?
1. Что такое imagenet? Imagenet - датасет картинок, считается самым большим и популярным, стандартный бенчмарк для картиночных сетей
2. Какие слои выбираются? Сверточные (да и почти все) нейросети представляют из себя последовательность слоев (как N-дольный граф) А слои выбираются так - чем слой глубже, тем более абстрактную информацию он аггрегирует (например животных) Неглубокие слои обычно выявляют несложные узоры
3. Почему loss максимизируется? Его же надо минимизировать! Усиление активаций нейронов отвечающих за собак (или ещё что-то) говорит, что это что-то есть на картинке. Получается loss будет отображать степень наличия объекта на картинке. В этом и заключается технология deep dream - максимизировать представление объекта на картинке любыми угодным способом.
Что непонятно - спрашивайте @vasily_ryazanov
А, ну и код: https://github.com/vasyarv/deepdream-tf-video
😎 Возможно не все знают, но я активно веду тикток - vasily.ai" rel="nofollow">https://www.tiktok.com/@vasily.ai
С него и начался мой путь как, простите, блоггера 🤑
Там много видео про ChatGPT и другие нейросетки, а если отмотать вглубь то такое будет…
А теперь еще и появилась возможность просматривать мои видео на 2х 😺
Небольшой отчет по итогам написания бота (почти все пункты поддерживались диалогом с chatgpt 😁)
Изначально я вдохновился этим видео от Siraj Raval ну и понеслась..
И идея сначала была совсем другая - помогать в написании cover letter. Но, однако, для начала решил сделать самый обычный чат-бот.
В итоге
💬 Освежил в памяти работу с телеграм API
☝️ Быстренько с помощью ChatGPT разобрался как задеплоить бота на heroku, прикрутить базу данных и оплату через страйп
📈 Прикрутил MixPanel для аналитики - огонь вещь!
Использую GPT-3 модель сейчас по API. Какое-то время была доступна API настоящего ChatGPT, но эту лавочку быстро прикрыли. Но скоро обещают официальный доступ. Так что ждем-с… ⏱🕧
А, ну и сам бот: @GptEasyBot
Планы на неделю - протестировать API от OpenAI и сравнить ответы ChatGPT vs GPT-3, потом отпишусь 🧑💻
И парочка VPN, чтобы ты мог получить доступ к ChatGPT:
1. Outline VPN. Из плюсов - свой IP, но нужен сервер.
2. CyberGhost
3. ExpressVPN
Все они мультиплатформенны, весьма популярны и должны быть достаточно надежными.
Чтобы пользоваться ChatGPT как pro, не забывай использовать промпты (prompts) ☝️
Это так называемые подсказки, которые заставляют нейросеть вести себя определенным образом:
- как терминал
- как тренер
- как учитель английского
- как software architect
Но нейросеть мало попросить, ее надо попросить правильно 😀
Так что ниже репозиторий, где все уже сделали за тебя
https://github.com/f/awesome-chatgpt-prompts
Как зарегистрироваться в ChatGPT ? (это супер-пупер нейросеть, которая может говорить на любую тему и не только)
1. VPN (например что-то из европы). Бесплатный VPN никогда не используйте, это базовая «цифровая гигиена».
2. Почта (например gmail).
3. Телефонный номер. Если нет европейского (или другого поддерживаемого) то можно купить виртуальный, в гугле легко ищется. Есть отдельные сервисы, которые выделяют номер под регистрацию в определенном сервисе. С бесплатными номерами осторожно, они, во-первых, все заняты, а во-вторых, этот телефон вам не принадлежит на будущее и ваш аккаунт запросто уведут 🙂 Думаю, это понятно… Я бы не советовал.
Далее просто по шагам регистрируемся на https://chat.openai.com , все стандартно. Приложения нет.
А вот ответ нейросети, как мне вести свой канал (все по делу):
1. Объяснять доступно сложные понятия для аудитории. Диаграммы, графики или примеры помогают проиллюстрировать идею;
2. Давать контекст, почему эти темы важны и как соотносятся с повседневной жизнью;
3. Можно миксовать контент: образовательные видео, интервью, веселые челленджи или загадки для вовлечения аудитории;
Суть в том, чтобы контент был вовлекающий, информативный и приносил ценность аудитории.
😎
Попросил chatgpt написать простую нейроночку на numpy - справилась 😄
На просьбу добавить трансформер, ответила тоже вразумительно :
Yes, it is possible to add a transformer to the simple neural network example I provided earlier, but it will be difficult to do so without using a deep learning framework like PyTorch or TensorFlow. These frameworks provide pre-built modules and functions that make it easier to implement complex models like transformers.
На kaggle идет достаточно интересный конкурс - предсказание устойчивости протеинов
https://www.kaggle.com/competitions/novozymes-enzyme-stability-prediction
Из плюсов:
1. Простота входа (prediction competition), то есть не надо сабмитить код, отправлять можно только предсказания
2. Относительно небольшая конкуренция (1600 команд)
3. Перспективная область (на мой взгляд)
Так что, если вы хотели себя попробовать в биотехе, то отличный вариант и плюсик в CV 👍
Сам разбираюсь
Напоминаю, что если какие-то вопросы или нужна консультация/менторство - вы всегда можете обратиться ко мне в личку @vasily_ryazanov
Читать полностью…
И мое посмотрите
ps: Там был телефон по которому можно связаться, но для широкой публики скрыл 👌
Сейчас на kaggle.com идет классный конкурс! (если не участвовал или не знаешь нейронок - читай дальше, тоже подойдет!)
https://www.kaggle.com/c/lux-ai-2021/
В нем надо написать логику для бота, который соревнуется с другими участниками, а именно:
🏠Строит города
🌳Добывает ресурсы
🌙Переживает ночь
Нужно написать логику для рабочих, городов, повозок… И прикол в том, что можно решать даже если знаешь только python (и не знаком с торчом, датасаенсом или нейронными сетями). Потому что сейчас есть 2 основных подхода:
1. Использовать нейронные сети (reinforcement, imitation learning и т.д.)
2. Писать правила (условно - если видишь дерево, едь и руби)
И не факт что второй подход сильно уступает первому. Скидываю подходящий kernel с которого можно начать:
https://www.kaggle.com/huikang/lux-ai-working-title-bot
Я сам участвую, если вопросы, то пиши
(на всякий случай напоминаю, что обмен кодом и решениями вне команды запрещен)
Правда ли скиллбокс и прочие курсы инфоцыгане ?
Давайте выясним!
Сейчас ищу людей, которые проходили/проходят курсы по Data Science от skillbox, geekbrains, практикум или любых других платформ. Когда соберу достаточно правдивых отзывов от учеников то сниму видео
Пишите @vasily_ryazanov