Понятно про анализ данных, технологии, нейросети и, конечно, SQL. Услуги — leftjoin.ru Обучение — https://stepik.org/users/431992492 Автор — @valiotti Реклама — @leftjoin_ads, @Spiral_Yuri Перечень РКН: https://tapthe.link/PpkTHavwS
Зачем смотреть Yet another Conference on Education от Яндекса
Яндекс провел конференцию, посвященную использованию искусственного интеллекта и новых технологий в образовании.
Про что говорили на мероприятии:
🔵 этика, ожидания и дискуссии насчет использования нейросетей в школах и вузах,
🔵 AI-тренер и другие профессии будущего, которые уже стали реальностью,
🔵 точки соприкосновения EdTech-компаний и университетов,
🔵 как понять, кем хочешь стать, когда вырастешь и — что намного сложнее — как понять, кем стать, когда уже вырос.
Записи выступлений размещены на сайте конференции, и мы рекомендуем ознакомиться с ними всем, кому близки темы образования, ИТ и ИИ: разработчикам, учителям, выпускникам и их родителям.
#реклама
10к студентов за год: итоги Марафона Данных
Год назад на «Степике» вышел наш первый авторский курс «Марафон данных: первое знакомство с SQL и Python»!
Его разработали мы — команда Valiotti Analytics: авторы, дизайнеры и аналитики
🔜 Курс рассчитан на совсем начинающих, у кого пока нет никакого опыта работы с Python и SQL, но есть интерес к работе аналитика. Он займет около 10 часов и поможет познакомиться с профессией и понять, а надо ли вообще вам это. За 18 уроков студенты знакомятся с основами и отрабатывают полученные знания на реальных кейсах.
За год Марафон Данных пробежали уже больше 10 000 студентов, которые оставили почти 500 отзывов с общей оценкой в 4,8 из 5
🔜 Для нас это очень важно. Мы хотели, чтобы как можно больше людей смогли прикоснуться к профессии аналитика и понять, как она выглядит изнутри на самом деле. Именно для этого и создавался курс.
🔜 Спасибо всем, кто прошел, кто ставил оценки, кто пошел дальше развиваться в сфере аналитики. Благодаря вам понимаем, что все не зря!
Кстати, если у вас есть знакомые, которые интересуются этой областью, почему бы не рассказать им про этот курс? 👀
Скажите что-то на карьерном
Тинькофф в поиске крутых ИТ-спецов. С компании — профессиональный рост, интересные финтех-задачи, решение бытовых забот и работа там, где вы живете. С вас — выбрать вакансию и откликнуться.
От себя добавим, что вас ждет по ссылке в конце поста — Тинькофф ищет разработчиков, продактов и, конечно, аналитиков для работы над продуктами банка и его экосистемы сервисов.
🔵На сайте не только подробно описали обязанности и стек для каждой вакансии, но и разместили материалы для подготовки к собеседованию. Там даже рекомендуемая литература есть!
🔵Работы много для опытных и начинающих специалистов, условия хорошие, задачи классные. Чего еще для счастья надо?
🔜 Только найти подходящую вакансию и откликнуться!
#реклама
Как ваши выходные? Надеемся, что лучше, чем у OpenAI
Если вы вдруг пропустили — в пятницу, 17 ноября, компания объявила о том,что Сэма Альтмана сняли с должности CEO. Причиной увольнения была «недостаточная честность в коммуникации с советом директоров».
🔜 Потом передумала и попыталась позвать обратно, даже согласившись распустить совет директоров.
🔜 Потом Альтман все равно отказался и вместе с еще несколькими бывшими сотрудниками OpenAI (включая сооснователя компании Грега Брокмана, который тоже написал о произошедшем) ушел в Microsoft.
🔜 В OpenAI за это время сменилось несколько гендиректоров: от Альтмана должность перешла к Мире Мурати, от Миры — к одному из основателей Twitch Эммету Ширу. Он уже пообещал, что начнет свое расследование ситуации и реформы внутри компании.
🔜 Илья Суцкевер раскаялся в своем участии в увольнении Альтмана, но фарш уже не провернуть назад.
И все это за три дня!
В общем, если вы еще не курсе, что произошло — желаем приятного чтения и предлагаем несколько вариантов музыкального сопровождения: 1, 2 или 3. Не уверены, что подходит больше.
А мы просто хотим поделиться самыми смешными реакциями общественности на происходящее (в комментариях). Кидайте тоже в комменты лучшие мемы, которые вы находили на эту тему! 🔥
Рекурсивные рецепты, или как пожарить оладьи за 50 недель
Кажется, что пожарить оладушек — не такая уж сложная задача.
Самый простой вариант — купить замороженных и разогреть. Если делать их самостоятельно, понадобятся самые простые ингредиенты: вода, мука, сахар, соль, яйца. Все смешать и пожарить на сковородке.
Элементарный процесс, в который не добавить ни шагов, ни других компонентов.
👀 А вот и нет
И это доказывает сайт Recursive Recipes. Там уже собрали 11 рецептов хорошо знакомых блюд: яблочный пирог, оладушки, пирожные, йогурт, лапша и так далее. Внутри каждого два ползунка — количество порций и время на готовку. Если их покрутить, то инструкция из одного шага превратится в сложную многоступенчатую схему.
Ингредиенты распадаются на другие ингредиенты, а в процесс добавляются все новые шаги, пока вы не дойдете до стадии «засадите поле пшеницы, добудьте соль из морской воды и подоите корову».
❤️ Хороший повод не только наконец-то выяснить, сколько времени надо, чтобы испечь яблочный пирог по-настоящему с нуля (спойлер: больше 7 лет), но и оценить, какие глубины иногда скрывается за самыми простыми и привычными вещами.
Level up для аналитика данных: сложно, но интересно
Поднимите руки, кто начинал вкатываться в айти со «Степика», посмотрим сколько нас!
В нашей команде есть такие ребята — многие проходили курсы Анатолия Карпова, который понятно и круто рассказывает про аналитику и машинное обучение. Сейчас у него есть своя платформа KARPOV.COURSES прицельно для тех, кто работает с данными.
Именно работает, а не только знакомится — на KARPOV.COURSES большинство программ рассчитаны на Junior и Middle-специалистов, которые хотят продвинуться дальше в карьере. Например — курс «Hard аналитика данных» от ведущих аналитиков Райффайзен, Яндекс и ВКонтакте.
🔜 Hard в названии не просто так — программа рассчитана на тех, кто уже умеет в Python, SQL, теорию вероятностей и датавиз.
Студентов научат:
🔵создавать дашборды, которыми действительно будут пользоваться;
🔵эффективно работать с DWH и находить общий язык с коллегами дата-инженерами;
🔵проводить сложные эксперименты;
🔵использовать ML для анализа данных.
Курс не только про технические навыки, но еще и про soft skills, коммуникацию с командой и заказчиком, продуктовый подход и понимание требований бизнеса. В общем, все, что нужно, чтобы карьера двигалась вперед.
🔜 Если интересно, то сейчас удачное время, чтобы познакомиться с платформой и ее курсами. Во-первых, в Черную пятницу действует скидка на обучение до 27%. Во-вторых, обучение стартует уже 16 ноября.
Читайте подробнее и записывайтесь!
#реклама
Workflowy — еще один инструмент для планирования и ведения заметок
Вариант для тех, кто запутался в Notion и потерял пароль от Evernote. Workflowy — простой и потому универсальный инструмент, в котором можно хоть книги писать, хоть проекты вести.
🔵 Бесконечный документ в виде текста, списка или простой таблицы.
🔵 Каждый пункт списка можно детализировать. Составляете список, кликаете по буллиту — создается новый документ, в котором также можно делать списки и таблицы. Списками или подсписками можно делиться с другими пользователями.
🔵 В интерфейсе и функционале нет ничего лишнего — можно писать, форматировать и добавлять картинки. И этого хватает! Благодаря простоте Workflowy работает быстро, а разобраться в нем можно за пару минут.
В Workflowy удобно структурировать информацию так, чтобы расставить приоритеты, сконцентрироваться на главном и не загромождать документ. Самый очевидный вариант использования — это личные заметки и планирование, но он подойдет и для совместной работы над крупными проектами. Полноценной заменой Notion не назовем, но возможности и минимализм инструмента впечатляют.
➡️ Оставляйте вашу любимую реакцию, если слышали или даже пользуетесь Workflowy и рассказывайте о ваших впечатлениях в комментариях!
2 вакансии в Valiotti Analytics: Chief Operating Officer & Business Development Manager
Друзья, короткий, но важный анонс — мы ищем двух специалистов в нашу команду:
🔜 Chief Operating Officer
🔵Операционный директор должен будет взять на себя разработку стратегии развития совместно с CEO, работу с командой и организацию бизнес-процессов. Мы хотим найти специалиста, который поможет компании расти и масштабироваться.
🔵Для этого ему или ей понадобится бекграунд в консалитинге и/или IT, опыт руководства и умение оптимизировать процессы.
Подробнее про обязанности и наши ожидания — на hh.ru.
🔜 Business Development Manager
🔵На этой должности предстоит искать новых клиентов для Valiotti Analytics. Ну, и все остальное, что обычно идет в связке с такой работой: вести CRM, заполнять отчеты.
🔵Нам нужен не просто продажник, а человек, который будет выстраивать долгосрочные отношения с клиентами и найдет к каждому персональный подход. Пригодится технический бекграунд, опыт в продажах и лидогенерации от 2 лет и понимание особенностей работы с Европой и США.
Подробнее про обязанности и наши ожидания — на hh.ru.
Если вас заинтересовала одна из вакансий, оставляйте отклики на HH или присылайте резюме напрямую в телеграм @valiotti 👀
Что интересного было на DevDay от OpenAI
OpenAI провела первую конференцию для разработчиков — DevDay.
Рассказываем, что там было!
🔵 GPT-4 Turbo — не только больше и умнее GPT-4, но и дешевле. Модели добавили JSON-mode, расширили контекст до 128 тысяч токенов и научили параллельному вызову функций. И картинки она тоже распознавать умеет.
🔵 Assistants API — инструмент, который облегчит разработку ИИ-ассистентов, заточенных под определенные функции. Функции при этом могут быть разными — общение с пользователем на естественном языке, написание и дебаггинг кода, поиск информации в интернете или в базе данных и так далее. API находится в стадии бета-тестирования и уже доступен для разработчиков.
🔵 Разработчики также могут интегрировать в свои продукты DALL·E 3 и Text-to-speech с 6 голосами на выбор.
🔵 GPTs — кастомизированные версии GPT, которые пользователи смогут адаптировать под себя без кода, файнтюнинга и сложных промптов. Хотим на этом проекте остановиться поподробнее.
Чему можно научить модель таким образом?
Точно сказать сложно, но судя по тому, что пишут в блоге OpenAI — чему угодно. Хоть правила настолок объяснять, хоть помогать вести переговоры.
💬 Кастомизированные GPT смогут взаимодействовать с внешним миром — искать информацию в интернете, подключаться к базам данных или сторонним приложениям через API.
💬 Создатели GPTs смогут выложить их в открытый доступ. Позднее в ноябре OpenAI запустят GPT Store с поиском, рейтингом лучших моделей и даже выплатами для создателей.
💬 В OpenAI ждут, что из чатботов такие модели вырастут до настоящих ИИ-ассистентов, умеющих выполнять реальные рабочие задачи. Это станет возможно как раз благодаря коммьюнити создателей моделей и и х пользователей. Именно они определят, как будет развиваться ИИ.
Что ж, звучит интригующе. Посмотрим, что из этого выйдет!
Как думаете, когда GPT Store запустят, какие пользовательские модели окажутся в топах?
Сторителлинг против сторифайндинга
Если послушать авторов многочисленных статей и курсов, то «сторителлинг» — это какое-то волшебство, которое все делает лучше, от сторис в запрещенных соцсетях до годовых отчетов отделов продаж. Всем обязательно надо ему учиться и применять.
В целом, это штука действительно полезная, но мы решили порассуждать, что такое сторителлинг применительно к данным и какие есть альтернативы у него есть.
🔵 Дата-сторителлинг — это способ подачи информации, который облегчает восприятие сложных данных. «Стори» здесь не сюжет с героями, а цельная трактовка информации, которая складывается у читателя в голове. Этот подход превращает цифры и отчеты в инструмент для того, чтобы подкрепить слова автора.
🔜 Пример на иллюстрации
Один и тот же график трактуется по-разному в зависимости от расставленных акцентов. Можно сказать о положительной динамике показателя, а можно — о том, что несмотря на рост, он все еще не дотягивает до целевых значений. И то, и другое верно, но применимо в разных контекстах.
График, кстати, взяли отсюда. Статья разбирает подробно, что такое дата-сторителлинг и зачем он нужен.
🔵 Сторифайндинг — это другой подход, который помогает не автору донести свои мысли, а читателю — сделать собственные выводы. Может показаться, что он «честнее» и потому предпочтительнее, но мы так не думаем.
На первом месте всегда должна стоять цель — зачем и для кого вы собираете и визуализируете данные? Готов ли ваш читатель заниматься «исследованием» и «сторифайндингом»? Иногда вывалить на него гору графиков — это намного менее честно, чем «причесать» данные и дополнить комментариями.
👀 Разницу между двумя подходами проиллюстрировал автор другой статьи еще и на интересном примере — мировом уровне счастья. В конце заметки — интерактивный график, можно потыкать в переключатели и сравнить разные способы отображения данных.
Интересно, как датавиз будет развиваться дальше и какая новая мода придет на смену сторителлингу — что-то совершенно новое или вспомним какое-нибудь забытое старое?
«Крутейшая штука на свете!» — Стив Джобс про сводные таблицы
Сейчас реклама Apple показывает продукты компании как стильные и модные девайсы для стильных и модных людей. На заре ее существования все было иначе: фишкой эппловских новинок были не челки на ультратонких смартфонах, а софт для создания табличек.
Вот времена были, да?
🔵 1985 год был для Стива Джобса неудачным: после успешного старта продажи Macintosh начали падать, из Apple ушли несколько ключевых сотрудников, а среди топ-менеджмента началась борьба за власть. В конце концов, Джобс и сам покинул компанию и основал новую — NeXT, где продолжил разрабатывать персональные компьютеры.
🔵 Успех модели Apple II в 1977 году Джобс приписывал не в последнюю очередь программе для создания таблиц VisiCalc. В NeXT он решил также сделать ставку на сильный софт, который привлек бы внимание покупателей.
🔵 Он вышел на компанию Lotus и разработчика Пито Саласа, представивших ему программу для создания таблиц нового вида. Их называли flexible views, потому что они и правда позволяли гибко сортировать и оценивать данные в несколько кликов, не мучаясь со сложными формулами.
Это были, конечно, сводные таблицы, но такое название они получат позже
🔵 Реакция Джобса — в заголовке. Он уговорил Lotus продать этот софт ему для установки на его NeXT Computer, продажи провалились, но сводные таблицы все равно вошли в нашу жизнь.
🔜 Подробнее про всю эту историю рассказывает статья на qz.com.
Рекомендуем почитать, а потом поставить на пост эмодзи, которые лучше всего описывают вашу реакцию на то, что сводные таблицы популяризовал именно Стив Джобс. Мы вот не ожидали, что он был к этому причастен.
«Чтобы стать крутым специалистом по LLM, сначала нужно стать крутым пользователем этих моделей»
Именно так считает Джереми Говард, один из основателей fast.ai, и у нас нет оснований ему не верить. Джереми выложил на Youtube 1,5-часовой гайд по работе с LLM, который мы рекомендуем тем, кто хочет глубоко разобраться в работе языковых моделей.
О чем рассказывают в гайде?
🔵 Демонстрируют возможности и ограничения LLM максимально наглядно. Почему ChatGPT не может решить известную и простую загадку про козла, волка и капусту, если совсем немного изменить условия?
🔵 Дают практические советы по использованию Open AI API, разворачиванию LLM локально на своем компьютере, обучению и тестированию. Джереми рассматривает разные варианты использования LLM и рассказывает, как лучше организовать работу.
🔵 Приводят примеры прикладного использования LLM для разных целей.
Важно: видео не для всех и точно не для зеленых новичков. В нем много технических тонкостей, погружения в архитектуру LLM и кода, еще и на английском. Специалистом быть не надо, но надо разбираться хотя бы в основах.
А в идеале — пройти курс Practical Deep Learning на fast.ai. Он, кстати, бесплатный!
Взболтать, но не смешивать: как подружить бизнес и IT
Противостояние заказчиков и исполнителей вечно и неизбежно. Первые пишут ужасные ТЗ, вторые выдают результат хз, и с обеих сторон копятся взаимные претензии.
Это происходит даже в рамках одной компании, где бизнес выступает в качестве заказчика, а IT — исполнителя. Подразделения настолько разные, что не понимают друг друга, а в это время работа буксует.
Все так живут, и ладно, справляются же как-то?
В МТС решили, что нет, не ладно. Евгений Селиверстов, руководитель продуктовой культуры, рассказал, как компания смогла перестроить работу и улучшить взаимодействие бизнеса и IT. Теперь оба направления более полно используют свои ресурсы, вовлекаются в совместную работу и главное — говорят на одном языке. Примеры — в видео выше, а подробности в телеграм-канале Грейд Клуба.
Грейд Клуб — сообщество для открытого диалога между IT-лидерами. В канале постят кейсы и полезные материалы на стыке HR и IT, поэтому очень советуем подписаться!
#реклама
Беспилотные такси: за и против
Вряд ли какая-то новая технология может сравниться с ИИ по количеству споров, которые она вызывает в обществе. Чем глубже нейросети и искусственный интеллект проникают в повседневную жизнь, тем жарче дискуссия, чего от них больше — вреда или пользы.
Классный пример — статья на Bloomberg про беспилотные такси.
В августе California Public Utilities Commission разрешила двум компаниям, Waymo и Cruise, выпустить на улицы Сан-Франциско такси без водителей, под управлением ИИ. Мнения по этому поводу разделились.
🔵 Беспилотные такси в разы реже попадают в аварии, особенно с риском для здоровья людей, но у нас пока слишком мало данных, чтобы делать долгосрочные выводы. Они «накатали» недостаточно километров, чтобы их можно было адекватно сравнивать с водителями-людьми.
🔵 Распространение сервисов такси дало людям дешевую альтернативу покупке собственной машины. Робо-такси поддержат эту тенденцию, и все больше водителей начнут переквалифицироваться в пешеходов и пассажиров. Но это все равно не помогает уменьшить число автомобилей в городах и «ворует» трафик у автобусов и поездов. Некоторые политики используют это как повод урезать финансирование общественному транспорту.
🔜 Легко назвать противников ИИ луддитами, а сторонников обвинить в недальновидности. Сложнее прислушаться к противоположной точке зрения и попробовать найти в ней рациональное зерно. Возможно, эта статья поможет кому-нибудь посмотреть на тему беспилотных автомобилей с новой для себя стороны.
А вы за или против беспилотных такси в городе? Ставьте ⚡, если за, и 🙈, если против!
5%, 5% — это много или мало?
В начале октября вышло большое обновление Python — версия 3.12.0.
🔜 Из нововведений больше всего обсуждали f-строки, которым добавили гибкости, и сообщения об ошибках: Python теперь не только указывает на опечатки, но и предлагает исправления. Также не забыли про поддержку подсистемы ядра perf на Linux, удаление устаревших модулей и усовершенствования синтаксиса.
🔜 В целом, за счет множества улучшений и оптимизаций производительность подросла на 5%.
Хотим пошутить что-нибудь про то, что Python сбросил кожу, но не будем этого делать. Вместо этого интересуемся вашим мнением о 3.12.0 — времени, чтобы оценить изменения, наверняка было достаточно!
Гайд по каналу: лучшие посты по темам
Собрали для вас подборку самых интересных и полезных постов, которые выходили на канале за последнее время.
💙 Что это за канал?
Про данные, датавиз и SQL
💬 Тест на знание гигиены визуализации данных
🔵Подборка материалов по датавизу
🔵Лучшие практики по созданию стайлгайдов: как сделать ваши отчеты стильными и профессиональными
🔵Как использовать ChatGPT в качестве персонального тренера по SQL
🔵«Lost at SQL»: игра для прокачки SQL
🔵Архитектура данных на примере Вконтакте: прошлое и будущее
🔵Большой гайд по SQL
🔵Рекомендации по подготовке данных к работе
🔵История визуализации данных в одном графике
Про нейронки и ИИ
💬 Беспилотные такси: за и против
🔵50 подсказок, как писать промпты для ChatGPT
🔵Взломать счет в банке с помощью AI: привет, новая реальность
🔵Как заставить ChatGPT-4 разработать приложение на iOS за 5 часов
🔵Можно ли создать рекламу на основе сгенерированных картинок. Наш опыт
🔵TenetLang — язык программирования, сгенерированный нейросетью
🔵Курсач прямиком из ChatGPT. А что, так можно было?
🔵Reverse Prompt Engineering: что это за зверь такой
🔵Исследование: может ли GPT-4 заменить аналитика данных?
🔵Нейросеть, которая дала новую жизнь мемам нулевых
🔵Краткий пересказ 1,5-часового гайда по LLM
Полезные приложения и инструменты
💬 Workflowy — еще один инструмент для планирования и ведения заметок
🔵Sketch — библиотека, которая выполнит всю работу за вас
🔵Otter — ИИ-ассистент, который делает конспекты онлайн-созвонов
🔵Tactiq — похожий инструмент, но с большими возможностями
🔵LlamaIndex — фреймворк для работы с LLM и данными разных форматов
🔵Evidence — гибкий BI-инструмент на Markdown и SQL
Сэм Альтман вновь в OpenAI
Драма в OpenAI наконец-то закончилась, и Альтман возвращается на пост генерального директора.
Совет директоров переформируют, и на начальном этапе в него войдут 3 человека. The Verge сообщает, что их главной задачей будет сформировать новый совет из 9 человек и «перезапустить» подход к управлению в OpenAI.
👀 При этом внутренние противоречия, которые и привели к увольнению Альтмана, никуда не делись, и обновившееся руководство компании собирается провести расследование ситуации. Надеемся, что они поделятся его результатами с заинтригованной общественностью!
Excel сына маминой подруги
Grist — инструмент для создания электронных таблиц с удобным интерфейсом и любопытным функционалом. Разработчики гордо обещают, что их детище «дает пользователям суперсилы». В этом мы не уверены, но считаем, что Grist в любом случае достоин внимания.
Он умеет все, что положено уметь инструменту для работы с данными: делать сводные таблицы, объединять данные из разных документов, визуализировать их в динамически обновляющихся графиках и чартах, встраивать медиафайлы. Конечно, этим его функции не ограничиваются — иначе мы бы о нем не писали.
🔵 Самая интересная фича — AI-ассистент, который упрощает работу с формулами и понимает простые человеческие запросы. Например, «объедини данные из столбцов A, B и C» или «найди и выпиши в отдельный столбец номера телефонов».
🔵 Grist поддерживает Python, так что если вы умеете писать код, это открывает дополнительные возможности по написанию формул и обработке данных. Если не умеете, не беда, главное, что это умеет AI-ассистент.
🔵 Главная особенность Grist — дружелюбность к пользователю. Он понятный, наглядный, все элементы легко редактировать и перемещать по документу простым drag-and-drop’оп. Можно без особых навыков создать дашборд в несколько кликов.
🔵 Гибкая настройка уровней доступа — документ можно расшарить с несколькими людьми и разграничить права: кому что видно и можно делать.
🔵 Это open source, так что его можно запустить на своей инфраструктуре.
➡️ В общем, это универсальный и при этом простой в освоении инструмент, которому можно найти применение почти везде, где нужны таблицы. Коллекция готовых шаблонов показывает, как по-разному можно использовать возможности Grist в зависимости от целей пользователя.
Курс «Инженер данных» от Яндекс Практикума: Black Friday Edition
Давайте сразу к делу: Черная пятница на дворе. Если вы давно подумывали записаться на какой-нибудь курс, сейчас самое время — скидки же!
Вот, например, у Яндекс Практикума идет набор на курс «Инженер данных», где студенты научатся проектировать пайплайны, работать с облачными технологиями и создавать хранилища Data Warehouse и Data Lake.
Все, как всегда у Яндекс Практикума:
🔵 Теория + практика на реальных рабочих задачах,
🔵 Поддержка наставников, практикующих инженеров данных,
🔵 AI-помощник и интерактивный учебник — и выглядит круто, и пользоваться удобно,
🔵 Стек, которому будет рад любой работодатель — Metabase, PostgreSQL, Kafka, Apache Spark и не только.
🔜 Программа рассчитана на людей с опытом работы с данными, Python и SQL: начинающих дата-инженеров, аналитиков и разработчиков. Учеба займет 6,5 месяцев, а записаться со скидкой в 20% можно уже сейчас. Если брать рассрочку, то через полгода вы из будущего скажет спасибо вам настоящему.
🔥Записывайтесь, пока действуют скидки!
#реклама
Мы живем в такие интересные времена, что даже бизнесу нужна терапия
Конечно, не простая, а дата-терапия. Список показаний включает в себя:
🔵 трудности из-за отключения от глобальных сервисов,
🔵 вопросы с импортозамещением и переходом на новое ПО,
🔵 непонимание, как работать с привычными ИТ-инструментами в непривычных условиях.
Этим (и не только) темам будет посвящен технологический форум DaTalks 2023 | Data-Centric Innovation Day в Москве 29 ноября. Эксперты из Axenix, X5 Group, Faberlic, Рив Гош и других крупных компаний расскажут на своем опыте, как, зачем и из чего строить дата-центричную архитектуру для бизнеса.
На «из чего» остановимся подробнее — на мероприятии будет открыта демо-зона, где российские разработчики представят свои современные data-решения.
Записывайтесь на прием!
#реклама
Falcon 180B — самая мощная open source LLM?
Когда команда Technology Innovation Institute из ОАЭ выпустила Falcon 180B, их разработку быстро включили в топы языковых моделей с открытым исходным кодом и наделили громкими титулами вроде того, что мы вынесли в заголовок.
🔜 Разбираемся, что всех так поразило
🔵 180B в названии модели — это 180 billion, то есть 180 миллиардов параметров. Больше, чем у LLaMA 2, но меньше PaLM-2 от Google, на которой работает Bard.
🔵 Falcon 180B натренировали на 3,5 триллионах токенов (у LLaMA — 2 трлн) преимущественно на датасете RefinedWeb. Материал собрали из открытых источников отфильтровали и дедуплицировали, чтобы убрать все, что может повредить обучению модели: спам, дубликаты данных, бессмысленные тексты и наборы символов.
🔵 Falcon 180B мощнее LLaMA 2 и ChatGPT 3,5 и держится на уровне PaLM-2. Доказательства — в публикации на Hugging Face.
👀 А какие ограничения?
🔵 Falcon 180B «говорит» на английском, немецком, французском и испанском. Ограниченно может общаться на чешском, португальском, итальянском, польском, голландском и шведском. Выдающиеся результаты на других языках авторы не гарантируют.
🔵 Модель требовательна к ресурсам — ей понадобится на меньше 320 ГБ памяти.
На Hugging Face доступны два варианта для скачивания: Falcon 180B и Falcon 180B Chat. Первая предполагает использование после файнтюнинга на данных юзера, вторая уже натренирована на ведение разговора на естественном языке. А если скачивать не хочется и вообще вам только спросить, можно пообщаться с демкой.
ИИ продолжает отнимать работу у людей!
На очереди — маркетологи, саппорты и продажники. Не все же копирайтерам и художникам страдать.
Ну ладно, мы преувеличили — ИИ пока не так активно отнимает работу, как пугают его противники.
Но тенденции прослеживаются:
🔵 Использовать нейросети становится все проще, иногда можно даже с обучением не особо заморачиваться. Не за горами появление магазинов моделей, заточенных под определенные задачи и готовых к использованию «из коробки». «Под ключ», как у нас любят говорить.
🔵 ИИ справляется со все более сложными задачами — как раз на уровне первой линии поддержки или генерации контента для рекламной кампании.
🔜 Еще идей, как интегрировать ИИ в бизнес, подкинули авторы канала Kumar & Solo. А ChatGPT в маркетинге вообще отдельный пост посвятили! Советуем изучить и закинуть в избранное, как хорошую шпаргалку.
Они предсказывают, что скоро нейросети заменят саппортов, отделы контроля качества и продажников продуктов с быстрым циклом принятия решений. Натаскать нейросеть на разговоры по скрипту и анализ результатов быстрее и выгоднее, чем онбордить новых сотрудников.
На первый взгляд выглядит мрачно, особенно для маркетологов и сейлзов, но нам кажется, не все так плохо. ИИ берет на себя рутинные, монотонные задачи — как и положено роботам. А людям остаются более интересные дела, но, конечно, надо уметь адаптироваться под меняющиеся условия.
Как наладить обмен данными между несколькими сервисами без API
И стоит ли это делать?
Fly.io — платформа с серверами в 30+ регионах. Создатели обещают, что на их железе вы сможете запустить свое приложение на любом из континентов, кроме Антарктиды (но это вопрос времени, если верить сайту), и везде оно будет работать одинаково быстро.
Чтобы приложения летали еще шустрее, в Fly разработали LiteFS — распределенную файловую систему, заточенную под работу с базами данных SQLite. В процессе тестирования они обнаружили, что с ее помощью можно наладить обмен информацией между приложениями без API.
Угадаете как? Просто отправляя read only-копии базы данных.
🔵Идею объясняют на примере программы Corrosion, с помощью которой в Fly следят за состоянием серверов. Свои отчеты она хранит в SQLite.
🔵Когда Corrosion запустили на LiteFS, обнаружили, что теперь могут легко перекидывать данные из нее другим внутренним сервисам компании без API. Достаточно отправить копию базы, а получатель уже извлечет из нее все, что ему нужно, SQL-запросами.
🔵Авторы рассказывают об этом методе, как об отличном способе сэкономить время разработчиков. Строить API несколько дольше и сложнее, чем перекидывать данные между сервисами напрямую.
👀 Правда, неясно, можно ли широко использовать такой подход. Возможно, это хорошее внутреннее решение для небольшой команды. Но будет ли оно работать так же эффективно с большими объемами данных или числом получателей? Не уверены, поэтому спрашиваем у вас.
Что думаете про такой подход? ❤️ — если за и хотели бы попробовать, 🙈 — если это не для вас.
Разыгрываем 10 Premium-подписок в Telegram!
Подписчики @leftjoin — наша большая гордость и мотивация, поэтому мы не могли проигнорировать последнее обновление Telegram и сегодня запускаем розыгрыш 10 премиум подписок для вас ❤️
P.S. Результаты будут в субботу, так что учавствуйте — для этого нужно лишь нажать на кнопочку ниже!
Найди себя в числе пи
Ладно, не себя, а только свою дату рождения.
Пи — число иррациональное, а значит, бесконечное. Если искать достаточно долго, то в ряду знаков после запятой можно найти любые сочетания цифр. В том числе, любые даты.
🔜 Попробуйте сами
Введите свою дату рождения и увидите, как «далеко» в хвосте пи она находится. Сайт работает с любыми форматами записи, правда, с годами читерит: он учитывает только последние две цифры.
То есть, чей-то дедушка, родившийся 26 августа 1928, и Иоганн Ламберт, родившийся 26 августа 1728 и доказавший иррациональность числа пи, окажутся на одном месте — на 2 185 268-ом.
Поиск своего дня рождения (или любой другой даты) в числе пи — не только развлечение, но и возможность прикоснуться к бесконечности. Если нахлынут философские мысли, их особенно приятно думать под вот это видео на Реддите, которое показывает иррациональность пи графически, еще и под классическую музыку. В комментариях уже успели объяснить, что на нем происходит.
Следующий шаг в карьере инженера машинного обучения
Что можно сделать за 4 месяца? Можно похудеть килограмм на 15 (больше — только если врач разрешит), выучить финский язык до уровня А1 или 33 раза посмотреть «Друзей» от начала до конца. Правда, последнее получится, только если не прерываться на еду и сон.
🔜 Ну, или наш вариант: научиться строить продвинутые ML-модели и создать 3 сервиса для портфолио.
Именно этим займутся студенты курса Яндекс Практикума «Инженер машинного обучения». Он рассчитан на начинающих специалистов, у которых уже есть опыт работы с данными, Python, SQL и машинным обучением.
🔵 Курс даст не только теоретические знания, но и поможет отточить навыки на заданиях, максимально приближенных к реальным рабочим задачам. И все это — под присмотром практикующих ML-инженеров в качестве преподавателей и наставников.
🔵 Такой подход покажет, как с помощью ML решать реальные задачи бизнеса — а без этого не стать востребованным специалистом на рынке.
🔵 Курс стартует 11 декабря, но начать учиться можно уже сейчас и бесплатно — для ознакомления доступна вводная часть. Если понравится, то до 30 ноября действует скидка 20%.
Читайте подробнее о процессе обучения и записывайтесь!
#реклама
Bing и DALL-E 3 превратят вашего питомца в звезду фильма Pixar
В начале октября в Bing добавили DALL-E 3, и через месяц пользователи нашли нейросети действительно достойное применение. Они генерируют «постеры фильмов Pixar» со своими животными!
Уже появились инструкции, как присоединиться к тренду и правильно написать промпт:
1️⃣ Стандартная формулировка начинается с «A Disney Pixar inspired movie poster with the title «Название фильма» (например, кличка животного)».
2️⃣ Описывать животных надо подробно, с указанием внешности, породы, цвета шерсти и глаз и даже выражения морды. Можно добавить пожелания к фону.
3️⃣ В конце промпта рекомендуют еще раз напомнить про стиль Pixar: «The image should be set in the distinct digital art style of Pixar, with a focus on character expressions, vibrant colors, and detailed textures that are characteristic of their animation».
Хотя иногда это уточнение может приводить к странным результатам, так что предлагаем погенерировать картинки с ним и без него.
4️⃣ Не получилось с первого раза — продолжайте пробовать, можно даже с тем же промптом. Количество попыток не ограничено, но после 15-й придется 5 минут подождать. Если все равно получается что-то странное, поправьте промпт.
В России DALL-E 3 в Bing, пока недоступна, но если для вас это не проблема, то попробуйте сгенерировать такой постер и скрасить понедельник. Ну, или посмотрите, что получается у пользователей в запрещенной соцсети: шотландский терьер Мия, такса Скай и кавапу (да, такая порода тоже есть) Поппи. Даже жалко, что постеры ненастоящие!
🔜 Кстати, герой сегодняшней обложки нового фильма Pixar — пес редактора канала @leftjoin!
От перевозки кокаина до выслеживания террористов: история Хэнка Ашера
Почти все о нас можно найти в интернете: что-то проще, что-то сложнее, что-то только за деньги и нелегально, но так или иначе сохранить конфиденциальность сегодня практически невозможно.
Еще недавно это было совсем не так
New York Times выложили материал о Хэнке Ашере, которого называют отцом data fusion. Хэнк был человеком предприимчивым. Какое-то время он горячо увлекался перевозкой кокаина из Южной Америки в Северную, но решил завязать и даже смог избежать наказания, благодаря сотрудничеству с органами правопорядка США.
🔵 В 1986 году он купил свой первый компьютер, Toshiba T1100, вскоре научился программированию и начал браться за коммерческие заказы. Одним из них стало создание базы данных автовладельцев.
🔵 Сейчас кажется очевидным, что страховые компании собирают всю доступную информацию о клиентах: пол, возраст, доход, состав семьи и так далее. Но в 80-х в США страховщики смотрели в основном на историю вождения, количество аварий и штрафов. Ашер был одним из тех, кто смог объединить несколько открытых баз данных так, чтобы компания могла узнать о человеке все, что ей может понадобится, и просчитать риски.
🔵 После этого он основал несколько фирм, собирающих данные о людях и предприятиях, и заработал не только огромные деньги, но и влияние. В начале нулевых он даже принял участие в поиске пилотов, обрушивших башни-близнецы, и в создании Matrix — спорного проекта по обнаружению террористов.
🔜 Хэнк Ашер умер 10 лет назад, но результаты его работы все еще живы. Автор статьи в New York Times назвал его «призраком в наших компьютерах». Ашер — один из создателей того мира, в котором мы живем сейчас, со всеми его плюсами, минусами и следящими за нами алгоритмами.
Кстати, узнали, чьи атрибуты на иллюстрации? Подсказка: это вымышленный изобретатель ИИ, способного предсказывать преступления в городе.
Ставьте 👀, если поняли отсылочку!
Evidence — гибкий BI-инструмент на Markdown и SQL
Мы любим аналитику и уважаем open source, так не могли пройти мимо Evidence. Этот инструмент позволяет собирать наглядные отчеты и документы быстро и легко. Кстати, те, кто с нами давно, помнят, что мы уже рассказывали про него. Но с тех пор канал серьезно вырос, и мы решили, что повторить классную новость нам никто не запретит!
Коротко о главном
🔵 Evidence работает на Markdown и SQL и позволяет добавлять в документ графики, диаграммы, текстовые вставки, ссылки, навигацию и все остальное, что нужно для полной и наглядной подачи информации.
🔵 Evidence превращает документ с данными в статический сайт, который выглядит симпатично и аккуратно даже на разных платформах, а работает шустро. Не придется ждать, пока все графики построятся и загрузятся. Примеры есть на сайте проекта. Не шедевры датавиза, но со своими задачами справляются.
🔵 Инструмент бесплатный, как и размещение получившегося мини-сайта с данными на Evidence Cloud. Можно будет заплатить за премиум 500$ в месяц, чтобы получить дополнительные возможности. Впрочем, никто не мешает решать вопрос с хостингом самостоятельно.
Резюмируя: интересный вариант, особенно для небольших команд. Судя по подписи «Early Access» на странице с ценами, он еще в активной фазе разработки, но перспективы уже видны.
Открывайте шампанское, требуйте отгул на работе и поздравляйте коллег — отмечаем День таблиц!
Старые добрые таблички в Excel — альфа и омега, то с чего мы все начинали, и к чему неизбежно возвращаемся. Так что поздравляем всех, кто не мог понять, почему формула выдает ошибку или график не строится. Коллеги, сил вам, терпения и кейсов успешных побольше!))
P.S. Не забудьте поделиться открыткой с коллегами, которые любят экселевские таблички! Можно даже в WhatsApp — там она будет смотреться, как родная.