Rutube жжет, может новую фичу тестируют 🙈 (рандомный канал под видео)

Читать полностью…

👌

Читать полностью…

Наконец-то на product hunt появилось что-то дельное - IsMyCEOaFraud.com

Хотели ли вы когда-нибудь узнать, является ли кто-то на LinkedIn мошенником? Теперь вы можете это сделать.

Отправьте профиль LinkedIn, и всего за несколько секунд мы разберём аккаунт и скажем, насколько вероятно, что его владелец занимается мошенничеством — по шкале от 0 до 10 SBF.

Берете ссылку вашего CEO или коллегу, и проверяете его!

Вообще согласно статистики 87% стартапов это scam и fraud! 😝 Ну только не спрашивайте fact checking!!!👨‍🦯

Надо мне мой музей писем CEO про увольнения добавить на Product hunt https://www.layoffmemos.com/

Читать полностью…

Хорошая книжка 2020 года про технический рекрутинг - The Holloway Guide to Technical Recruiting and Hiring: Align your team to avoid expensive hiring mistakes.

Узнайте, как лучшие команды нанимают инженеров-программистов и заполняют технические вакансии.

Руководство Holloway по техническому найму и рекрутингу — это авторитетное руководство по эффективному развитию команд разработчиков программного обеспечения, написанное для менеджеров по найму, рекрутеров, интервьюеров и кандидатов. В печатное издание включён пожизненный доступ к цифровой версии с дополнительными функциями и будущими обновлениями на Holloway.com.

Наём сотрудников считается одним из самых больших препятствий для роста компании, согласно мнению большинства CEO. Менеджеры по найму, рекрутеры и интервьюеры сталкиваются с множеством вопросов: как находить кандидатов, как проводить справедливые и эффективные собеседования, и, в конечном счёте, как убедить подходящих специалистов принять предложение. Однако этот процесс часто оказывается затратным, сложным и стрессовым — как для нанимающих, так и для кандидатов.

Этот справочник станет незаменимым источником знаний для всех, кто заинтересован в создании сильных команд разработчиков. В нём собран опыт и знания ведущих специалистов — от старших инженеров и рекрутеров до предпринимателей и менеджеров по найму, которые строили команды как в стартапах, так и в крупных инженерных организациях с тысячами сотрудников.

Главный автор книги, Оззи Осман, ранее возглавлял команды по разработке продуктов в Quora, работал в Google, а также создал и продал собственный стартап. Среди других авторов — Адитья Агарвал, бывший CTO Dropbox; Дженнифер Ким, бывший руководитель отдела диверсификации в Lever; опытные рекрутеры и основатели стартапов Хосе Гуардрадо (основатель Build Talent, бывший сотрудник Y Combinator) и Алин Лернер (CEO Interviewing.io), а также более десятка других экспертов.

Процесс найма можно организовать так, чтобы он приносил пользу компаниям, сотрудникам и каждому кандидату. С правильной стратегией и практикой команды и кандидаты смогут пройти через этот непростой процесс с уверенностью и пониманием.

Спросите у своего работодателя, может ли он компенсировать покупку этой книги — это одно из самых выгодных вложений в развитие вашей команды.

Книгу я нашел по имени автора Оззи Осман, который создал новую компанию - Monarh Money, у продукта очень много положительных отзывов.

Компания Monarch Money предоставляет современную платформу для управления личными финансами. С её помощью пользователи могут объединить все свои финансовые счета в одном месте, что позволяет отслеживать расходы, оптимизировать бюджет, анализировать инвестиции и планировать финансовые цели. Платформа поддерживает синхронизацию с более чем 13 000 финансовых учреждений, обеспечивая актуальность данных.

Пользователи могут настраивать свои финансовые планы, совместно управлять бюджетом с партнёром и получать персонализированные рекомендации. Monarch Money предлагает мобильное приложение и веб-версию, обеспечивая доступность и удобство использования. Услуга предоставляется по подписке, с возможностью бесплатного пробного периода.


Мне даже присылали приглашение, чтобы я смог лучше трекать личные финансы, но дальше установки аппа не прошел.

Читать полностью…

Сегодня был новый релиз Claude - Claude 3.7 Sonnet and Claude Code, фокус у них на написание кода, поэтому использования плагинов для VSCode или Cursor AI явно получит буст.

И заодно термин в копилку - vibe coding - это такой кодинг на чиле. Только это уже не просто “писать код” в расслабленной и уютной атмосфере под любимую музыку, а писать код вместе LLMкой.

Всем вайбовой и продуктивной недели!

Читать полностью…

А вот и рутьюб! Как я же мог родненького забыть и не загрузить туда 🙌

Читать полностью…

Clickhouse активно работает над поддержкой Iceberg Lakehouse.

Должно быть быстрое (performance) и недорогое (cost) решение.

В качестве демо, они используют Snowflake Polaris каталог. Раньше я писал про похожий сценарий, но с DuckDB.

https://clickhouse.com/blog/climbing-the-iceberg-with-clickhouse

Их дорожная карта на 2025: https://github.com/ClickHouse/ClickHouse/issues/74046 (мне понравилась идея создавать road map через Github Issues, прозрачно и удобно, и главное привязано к code changes)

Читать полностью…

RSHB DA Meetup: Качество данных и Data Vault 2.0 в действии
Митап от РСХБ.цифра для дата-аналитиков и инженеров данных

Приглашаем всех, кто занимается большими данными и следит за их качеством. Вас ждут доклады от руководителей дата-направлений.

🌐 Онлайн и офлайн в Москве
📆 27 февраля в 18:00 (МСК, GMT+3)
👥 Дискуссии для участников, афтерпати в офлайне
❓ Мерч и призы за вопросы

Программа:

🗣 Леонид Калядин (МТS Digital) — «Data Quality в условиях Self-Service: как мы избежали хаоса и создали систему проверок для коммунальных витрин»
🗣 Алексей Кошевой и Кристина Проскурина (РСХБ-Интех) — «Как мы сделали одну большую песочницу для всех аналитиков»
🗣 Денис Лукьянов (Ecom․tech) — «Data Vault 2.0. Методология, логическая модель, построение витрин»

Участвуйте в дискуссиях и задавайте вопросы спикерам — лично или в Telegram-чате. Организаторы подготовили мерч для офлайн-участников и призы для авторов лучших вопросов.

Регистрируйтесь на сайте

Реклама. Фонд «Сколково». ИНН 7701058410

Читать полностью…

Всем привет!

Хочу поделится хорошей вакансией от знакомых товарищей! Я сам лично знаком с проектом, командой и данными.

Ребята ищут ML инженера, ну или data scientist, на контракт в Европе с возможностью продления или устройством в штат (удаленка), который сможет построить несколько моделей, для продукта.

Backend на Azure, в качестве аналитических инструментах есть Snowflake. Бизнес проблемы уже сформулированы и осталось найти эксперта, кто сможет построить модель для решения поставленных задач.

Кандидат уже должен иметь возможность работать за пределами России или Белоруссии.

Описание по ссылке: https://careers.softeq.com/jobs/5526008-senior-lead-ml-cv-engineer

Так же компании ищет экспертов по IOS и Android разработке.

В качестве referral указывайте Виктор Козуб.

Читать полностью…

Как я понимаю в каждой второй (крупной) компании в РФ есть Greenplum.

Сегодня я как обычно смотрел профили свежих подписчиков и их телеграмм каналы и увидел свежее выступление про Greenplum. Если вы с ним не работали, я думаю подойдет для ознакомления.

https://boosty.to/magician_data/posts/7ffaec19-1419-40bb-8a2d-be22afc200f1

PS если у вас есть другие классные ссылки по GP пишите в комментах. Чтобы добавить ссылку попробуйте как код это сделать

https://kuku.ru

Читать полностью…

Когда-то Informatica была №1 среди ETL инструментов. Но они так и не смогли адаптироваться к современным реалиям.

Последний раз я смотрел на Informatica Cloud в 2016 году, когда нужно было строить хранилище данных на AWS, выбрал в итоге Matillion ETL (сейчас бы и его не выбрал бы).

Вот что говорит CEO информатики:

«Это был квартал, в котором мы не предвидели и не достигли тех результатов, которые планировали», — сказал Валия, подчеркнув две «основные проблемы», с которыми столкнулась компания в течение этого периода.

«Первая заключается в том, что уровень продления подписок на наши облачные и некоторые не облачные решения не оправдал наших ожиданий, что снизило показатель ежегодной повторяющейся выручки (ARR)», — пояснил он, добавив: «На самом деле, у нас было значительно больше клиентов, использующих локальные решения, которые захотели перейти на облачные технологии, но это создает учетную загвоздку, из-за которой мы теряем часть доходов от локальных решений гораздо быстрее».

Надо было лучше в Bitcoin инвестировать как Microstrategy🍷

Читать полностью…

У Snowflake есть бесплатные свежие курсы на курсере:
- Introduction to Generative AI with Snowflake (я как раз в процессе, ведь у меня теперь в LinkedIn Data Infrastructure for AI, то есть не отсаю от трендов)
- Intro to Snowflake for Devs, Data Scientists, Data Engineers
- Introduction to Modern Data Engineering with Snowflake

Но самое ценное в этих курсах:

Sign up for a free, 120 day Snowflake trial account
The entire course can be completed using a free, 120 day Snowflake trial account. This is the recommended way of completing the course. The instructor will also be using a trial account throughout the course.

Use the link below to create your free:

https://signup.snowflake.com/?trial=student&cloud=aws&region=us-west-2&utm_source=coursera&utm_campaign=genai1

Так намного лучше, ведь по умолчанию 30 дней Snowflake Trial.

Читать полностью…

Илон говорит о важности уникального ключа в таблице🦯

Читать полностью…

Ну дела у ❄️, пампили пампили дата облако, но походу оказался ROI низкий.

Как обычно бывает качество продукта тут не так важно. Инвесторам вообще пофигу и когда появляются большие инвестиции - часто вредит.

Осталось, чтобы кто-нибудь поглотил Snowflake.

Кстати, Databricks можно купить на вторичке, он в топе там.

Читать полностью…

1–2 марта проводим Weekend Offer Analytics

Устроиться в Яндекс за выходные — реально. Ищем крутых аналитиков с опытом работы от 2 лет на Python, готовых работать в офисном или гибридном режиме на территории России.

Подавайте заявку до 24 февраля — и всего за 2 дня пройдите все технические собеседования. После сможете пообщаться с одиннадцатью нанимающими командами и выбрать ту, которая покажется самой интересной. Если всё сложится хорошо, сразу же пришлём вам офер.

Узнать подробности и зарегистрироваться.

Реклама. ООО "Яндекс". ИНН 7736207543

Читать полностью…

Дата с Димой | Новости из мира BigTech | Эпизод 2

💡 В этом эпизоде обсуждаем свежие новости из мира BigTech, карьерные инсайты, новые технологии, оптимизацию данных, а также влиятельные стартапы и инвестиции.

Некоторые из тем:

🔹 Notion вместо Google Slides для презентации выпуска и обмена кодом 📋
🔹 Databricks, Snowflake, DBT 🚀
🔹 AI, Open Source и рынок труда – увольнения, вакансии и новые возможности 🤖💼
🔹 Почему быть кринжовым полезно для карьеры? 😂
🔹 Опыт vs софт-скилы 🧠💬
🔹 Бенчмаркинг TPC-C 📊
🔹 Liquid Partitioning в Databricks 🏗️
🔹 Snowflake и оптимизация затрат 💰☁️
🔹 Стриминг в Spark и его реальные кейсы 📡🔥
🔹 Госорганизации и дата-центры – как западный BigTech работает с государством 🏛️🔐
🔹 Metabase, BI-аналитика и скорость обновлений 📈⌛
🔹 Интеграция OpenAI в Snowflake 🤯
🔹 DBT и Slack – проблемы интеграции и поиск решений 🤷‍♂️
🔹 Data Contracts – зачем они нужны инженерам данных? 📜
🔹 Blue Green Deployment в инжиниринге данных 🟢🔵
🔹 IBM + DataStax – новое объединение гигантов 🏢
🔹 Квантовые компьютеры от Microsoft ⚛️
🔹 Amazon Alexa и агенты – будущее голосового управления 🎙️
🔹 AI для миграции старых технологий 📼➡️🚀
🔹 Поиск работы, вакансии и эквити 💼💵
🔹 LLM и их ограничения – правда о нейросетях 🤖⚠️
🔹 Greenage – новый Open Source проект вместо Greenplum 🌱

Timecode я тоже добавил, ну как добавил:
1) Яндекс браузер умеет давать Summary и временем и описанием
2) Chatgpt пишет timecode для YouTube, и заодно много bullet points

Отличная альтернатива ручного труда.

PS ссылка на rutube

PPS некоторые из ссылок

1. https://assets.amazon.science/24/3b/04b31ef64c83acf98fe3fdca9107/why-tpc-is-not-enough-an-analysis-of-the-amazon-redshift-fleet.pdf
2. https://select.dev/posts/snowflake-dynamic-tables
3. https://dataengineeringcentral.substack.com/p/lord-have-mercy-apache-xtable
4. https://medium.com/glassdoor-engineering/data-quality-at-petabyte-scale-building-trust-in-the-data-lifecycle-7052361307a4
5. https://vutr.substack.com/p/8-minutes-to-understand-presto
6. https://wherobots.com/apache-iceberg-and-parquet-now-support-geo/
7. https://clickhouse.com/blog/climbing-the-iceberg-with-clickhouse
8. https://www.ibm.com/new/announcements/ibm-to-acquire-datastax-helping-clients-bring-the-power-of-unstructured-data-to-enterprise-ai-applications
9. https://www.anthropic.com/news/claude-3-7-sonnet
10. https://newsletter.pragmaticengineer.com/p/software-engineering-job-openings
11. https://www.reddit.com/r/leetcode/comments/1isriaz/how_i_cheated_my_way_into_faang_interviews_and/
12. https://huggingface.co/learn
13. https://www.sqlnoir.com/
14. https://www.notion.so
15. https://slavlotski.com/all/kniga-osnovy-inzhenerii-dannyh-glava-2-zhiznenny-cikl-data-inzhe/

Читать полностью…

Немного уличной магии в ленту! Хороших выходных!🙌

А то все пишут про LLM, AI, агентов и ботов, а у меня вот про магию уличную!

Читать полностью…

Когда я работал в Amazon Alexa в 2018–2020 годах, Alexa казалась очень инновационным продуктом в области AI, хотя внутри использовали ML, а точнее NLP (Natural Language Processing). Я был частью исследовательской команды, и в офисе в Кембридже (MA) царила крутая атмосфера. Офис находился напротив кампуса MIT, а буквально через дорогу был Гарвардский университет.

Там же я познакомился с ребятами из Москвы, которые учились на MBA. Я даже всерьез подумывал взять саббатикал на пару лет, переехать с семьёй в Бостон (город красивый, с историей), но в итоге ушел в Microsoft Xbox. А вместо MBA мне подарили книгу The Personal MBA, где говорилось, что MBA, кроме нетворкинга, даёт мало преимуществ. А если это MBA какого-нибудь второсортного университета, то вообще беда.

Возвращаясь к Alexa (в какой-то момент у меня их было пять, и все друзья на Новый год тоже получали Alexa) — после появления ChatGPT она на его фоне выглядела просто таймером с голосовым управлением.

Летом появилась новость про интеграцию Alexa с Claude, но как-то незаметно. Да и два моих последних устройства не блистали в навыках коммуникации.

А вот в последнем демо Amazon представил Alexa+, которая доступна подписчикам Amazon Prime и поддерживает Claude и Amazon Nova.

В общем, наконец-то случилось то, чего я так ждал: Alexa поумнела и теперь может днями напролёт общаться с Yandex Алисой про политику без нашего участия. 😝

Статьи для контекста:
- Introducing Amazon Nova, our new generation of foundation models
- How Amazon rebuilt Alexa with generative AI

PS На картинке Alexa Show 21.

Читать полностью…

Заметил, интересную особенность, если вы работаете в компании, которая делает аксессуары для собак, что вы часть “стаи” (pack), если работаете в компании, которая делает облачное решения для фермеров, то вы часть “стада крупнорогатого скота” (herd). Были и другие примеры, я просто забыл.

Это я не придумал, это из wiki, компаний, где мне приходилось бывать. А вы часть чего?

Читать полностью…

SQL Cheatsheet:

- SQL Basics Cheat Sheet
- SQL for Data Analysis Cheat Sheet
- SQL Window Functions Cheat Sheet
- SQL JOIN Cheat Sheet

Вот если вы не знаете SQL или только начинаете учить, попробуйте просто выучить наизусть несколько примеров, и будет полегче

Читать полностью…

Дата с Димой - Эпизод 1

«Дата с Димой» срез актуальных новостей из мира данных, бигтеха и аналитики как в России, так и за рубежом. Дмитрий обсуждает как технические обновления и интеграции продуктов, так и вопросы карьерного роста, менторства, рынка труда и инвестиций в IT-сфере.

Вот основные моменты:

🎙️ Запуск новой программы: Первый эпизод «Дата с Димой», где обсуждаются тренды в мире данных и аналитики.
🛠️ Обзор инструментов и вендоров: Новости об обновлениях и приобретениях продуктов (например, dbt, SDF, Clickhouse, DuckDb, Iceberg, Databricks, Confluent, SAP и другие), которые влияют на скорость и качество работы с данными.
🚀 Инновационные интеграции и миграции: Обсуждение ускорения компиляции кода, миграционных решений (например, Blade Bridge) и интеграций с потоковыми системами.
🔍 Контроль качества данных и best practices: Роль open-source библиотек и новых подходов для проверки качества данных, а также рекомендации по построению надежных data pipelines.
💡 Менторство и карьерный рост: Важность поиска хорошего ментора и следования его рекомендациям для профессионального развития.
📈 Инвестиции и динамика рынка: Обзор новостей о падении акций, массовых увольнениях в крупных компаниях (например, Meta) и переходе экспертов к Databricks.
💰 Рынок труда и зарплатные тренды: Рост зарплат опытных дата-инженеров, изменение требований к кандидатам (отказ от джуниоров в пользу специалистов) и влияние автоматизации на рынок.
🎓 Образовательные ресурсы и курсы: Новые курсы от Snowflake и другие обучающие проекты, помогающие подготовиться к работе как в России, так и за рубежом.
🌍 Глобальные тренды и удалённая работа: Обсуждение возможностей работы на международном уровне, мультизанятости и перехода на удалённые контракты («валютные удалёнки»).
🤖 Телеграм-бот Getmanch: Отмечается удобство работы с ботом от Getmanch, который помогает находить вакансии с персонализированными предложениями.

И многое другое, enjoy! 😉

Читать полностью…

С развитием AI, теперь любой может стать разработчиком. Я и сам столько всего сделал, о чем раньше даже и мечтать не мог.

Недавно на радостях купил себе Cursor AI подписку и поставил Augment Code.

Но так как у меня есть хоть какой-то опыт в ИТ, я примерно понимаю как нужно работать с code repo, есть понимания безопасности (где и как хранить секреты), знаю о рисках потери персональных данных и тп.

А вот новоиспеченные ИТышники еще не знакомы, и вообще можно базу проскочить и сразу по красоте @уяк @уяк и в продакшн!

А потом такие красивые истории всплывают - Cursor f*ck up my 4 months of works. Там сразу ответ предложили - “А git не пробовали?”.

Думаю нас ждет еще много таких интересных историй.

Читать полностью…

ИИ уже меняет мир, и каждый может стать частью этих перемен. Если и вы хотите создавать прорывные технологии, а не просто наблюдать за ними. Для того, чтобы преуспеть нужен крепкий фундамент – качественное образование.

Этот выбор – инвестиция в востребованность в стремительно развивающейся сфере.

Чтобы не тратить время и разбираться в чём разница между топовыми школами ИИ, присоединяйся к вебинару "Где изучать искусственный интеллект: ШАД, AI Masters, Центральный Университет?".

Лекторы:
- Юрий Дорн, к.т.н., академический руководитель AI Masters.
- Александр Дьяконов, д.ф.-м.н., профессор РАН, академический руководитель направления Data Science в Центральном Университете.

Не смотри как поезд уходит!

Записывайся по ссылке!

Читать полностью…

GetMatch — это сервис, который помогает IT-специалистам находить работу, а компаниям — закрывать вакансии. В отличие от классических job-бордов, GetMatch сразу показывает зарплатные вилки.

Идея «просто» автоматизировать парсер вакансий зародилась у нас с Сашей Варламовым (канал Саши @data_bar) – как часто бывает, слово «просто» стало началом чего-то действительно масштабного. Сейчас у нас есть полноценная автоматизированная система, которая ежедневно парсит вакансии с GetMatch, загружает их в PostgreSQL, тянет курс рубля и доллара, отправляет отчеты в Telegram и полностью автоматизирует ETL-процесс для аналитики в дашборде.

Поднял Airflow в docker-compose на Timeweb (не реклама, просто нравится админка), чтобы DAG’и можно было запускать и мониторить централизованно. Добавил CI/CD на GitHub Actions, чтобы больше не заходить на виртуалку вручную — всё деплоится автоматически. Был парсер getmatch, но я его переписал под Airflow с Taskflow API. Разделил задачи, сделал их атомарными и настроил on_failure_callback, который отправляет сообщения об ошибках в Telegram-канал. Теперь, если что-то сломается, я узнаю об этом сразу, а не через неделю, когда появится дыра в данных.

База данных PostgreSQL развернута на другом VPS, чтобы разграничить вычисления и хранение данных. Создал таблицы vacancies, vacancy_skills, skills, где skills сразу вынесена в ref-таблицу, чтобы не дублировать текстовые значения. Настроил пользователей и доступы, подключил базу к Airflow. Бэкапы настроены на ежедневное обновление.

Теперь каждая вакансия и навык привязаны к конкретному дню, что позволяет анализировать динамику рынка труда. Каждое утро DAG собирает свежие вакансии, тянет курсы валют и обновляет таблицы, а в Telegram приходит сообщение с итогами работы: сколько вакансий обработано, какие ошибки возникли.

Теперь в дашборде можно:
• Смотреть историю изменения вакансий по дням
• Анализировать время жизни вакансий и скорость закрытия
• Отслеживать корреляцию зарплат с навыками
• Изучать спрос на скиллы в динамике

Раньше были просто “актуальные вакансии”, теперь есть полноценная разбивка по дням, что открывает больше возможностей для анализа.

Посмотри на наш дашборд анализа зарплатных вилок 👈

🔹 public.tableau.com иногда работает, только под VPN из РФ — держи мой VPN. Выше рассказывал, как разробатывал его в новогодние праздники @ShtormVPNBot 🫂

В планах — развернуть dbt и начать собирать слой трансформаций, чтобы сразу приводить данные в нужный вид для аналитики.

Читать полностью…

Учитесь как надо посты писать в Linkedin 😎

Читать полностью…

Неожиданные поворот от Databricks - интеграция с SAP!

https://news.sap.com/2025/02/sap-business-data-cloud-databricks-turbocharge-business-ai/

Всем SAP инженерам самое время upskill сделать по 🧱

Читать полностью…

Запись утиной конференции (DuckDB) https://www.youtube.com/playlist?list=PLzIMXBizEZjggaDzjPP542En2R5SV0WiZ

Читать полностью…

AI Company Asks Job Applicants Not to Use AI in Job Applications

Anthropic, компания, создавшая одного из самых популярных в мире AI-ассистентов для написания текстов, требует от соискателей согласия на то, что они не будут использовать AI-ассистента при подаче заявки.

«Хотя мы поощряем использование AI-систем в работе для повышения скорости и эффективности, пожалуйста, не используйте AI-ассистентов в процессе подачи заявки», — говорится в тексте заявки. «Мы хотим понять вашу личную заинтересованность в Anthropic без посредничества AI-системы, а также оценить ваши навыки коммуникации без помощи AI. Пожалуйста, укажите "Да", если вы прочитали и соглашаетесь».

Вот так вот, всем продаёт свой AI, а вот на собеседовании нельзя использовать.

У меня было один раз собеседование в компания Zapier, и там прям сразу же попросили использовать AI и написать, как я его использовал для домашнего задания. Задание нужно было сделать на Databricks, и я использовал Notebooks для решения. Само задание и решение здесь - Football Teams and Competition Analytics. Им не понравилось, что я много переиспользовал ноутбуки. Хотя во всех курсах Databricks показывают примеры с ноутбуками.

├── README.md
├── __includes 
│   └── utils.py # common functions and libraries for this project
├── facts # aka Gold layer
│   ├── __includes
│   │   └── dim_facts_ddl.py
│   ├── dimensions.py
│   └── facts.py
├── football_analytics_pipeline.py
└── raw # aka Bronze Layer
    ├── __includes
    │   ├── raw_football_schemas.py # Struct Schemas for API
    │   ├── raw_tables_ddl.sql # Table DDLs
    │   └── seed_competition_list.py # Data seed for list of competitions
    ├── __tests # assertions for notebooks
    │   ├── competition_assertion.py 
    │   ├── competitions_teams_assertion.py
    │   └── teams_assertion.py
    ├── raw_football_api_competitions_ingest.py
    ├── raw_football_api_competitions_teams_ingest.py
    └── raw_football_api_teams_ingest.py

В выходные Дмитрий Фошин эксперт по Azure и Databrics из 🇵🇹, с которым мы написали 2 книжки по Azure Data Factory и сейчас заканчиваем второй релиз Snowflake Jumpstart, провел очень полезный воркшоп в Surfalytics, где мы работали с Databricks, но использовали традиционный Python подход с Wheel, Pytest. То есть это полная противоположность моего подхода с ноутбуками. Видео я загружу на SurfalyticsTV">YouTube. Само задание и решение можно найти здесь - Building a Databricks workflow with Python wheel tasks. Такое решение подойдет для Apache Spark в целом.

PS для Surfalytics я добавил новую фичу, такие эксперты как Дмитрий Фошин могут бесплатно присоединиться к нашему сообществу в обмен на их активность - win/win. Если у вас глобальные планы на вашу карьеру по дате, лучше места не найти, можете мне написать.

Читать полностью…

Зима в Британской Колумбии. Это вид из коворкинга в центре Ванкувера, где обычно по пятницам собираемся с друзьями отдохнуть от Work From Home.

Как видно в центре тут корабли, пароходы, поезда, еще есть водные самолеты и вертолеты.

Читать полностью…

Всем привет, это была проверка на внимательность:)

Аналитики ведь должны быть внимательны!)

Читать полностью…