Logica — декларативный язык для логического программирования
Google не прекращает попытки починить SQL.

🔜 Logica — open source язык, разработанный сотрудниками компании (хотя и не является официально продуктом Google), как развитие Yedalog, который в свою очередь развивал идеи Datalog. Удивительно, но радостно, что Logica не назвали Logilog.

Все три — языки логического программирования. Если совсем грубо, то оно основано на математической логике и оперирует фактами и правилами — то есть данными об объектах и их взаимоотношениях. Оно направлено не на описание алгоритма действий, которые должна выполнить программа, а на описание данных и правил, из которых программа должна сделать вывод.

💬 Вот статья Хабре на эту тему.

Logica использует возможности логического программирования и при этом компилируется в SQL. Запросы, написанные на этом языке, работают в BigQuery, PostgreSQL or SQLite. Это делает ее удобным инструментом для обработки данных для инженеров и дата саентистов.

По крайней мере в теории. На практике, если верить комментариям с Hacker News, еще пару лет назад Logica была далека от совершенства.

Готовы попробовать Logica?
❤️ — Да, звучит круто
🙈 — Нет, спасибо…

Читать полностью…

20 способов улучшить свои дашборды в Tableau
Tableau не зря завоевал такую популярность — возможности для кастомизации у него впечатляющие, просто надо найти к нему подход.

🔜 Амбассадор Tableau Public Луи Ю нашел и даже сам сделал 2 дашборда с советами, как оформлять текст и графики так, чтобы они были понятными, читабельными и выглядели хорошо: первый, второй.

На каждом дашборде аж по 10 таких лайфхаков. Надеемся, что вам они пригодятся. ❤️

Читать полностью…

Все, что вы хотели знать о дата-инжиниринге
Заканчиваем неделю продуктивно! 🔥

На гитхабе выложили список must-read и must-see материалов для всех, кто вкатывается в дата-инжиниринг. Или уже вкатился, но хочет прокачать скиллы.
🔵Роадмап, с чего начать знакомство с профессией.
🔵Курсы и книги.
🔵Профессиональные коммьюнити, блоги и подкасты.
🔵Инструменты для оркестрации, хранения и визуализации данных.

В общем, все, что может пригодиться начинающему и продолжающему инженеру. Знаете таких? Тогда покажите им этот пост, и себе его сохранить не забудьте. ❤️

Читать полностью…

В новом эпизоде «Собеса» дата-инженер с классным опытом Саша Михайлов проходит тренировочное собеседование в ML-команду ABBYY.

Вот какие советы по итогам этого интервью дала ведущая подкаста айти-рекрутер Кира Кузьменко:

🔺Одная простая и очевидная мысль — готовьтесь к интервью. 80% вашего успеха — это подготовка.

🔺Если не знаете, как отвечать на вопрос про зарплатные ожидания, называйте две цифры. Первая — минимальная, та, ниже которой вы точно не хотите. А вторая повыше. Как это можно подать: «Я сейчас рассматриваю предложения не ниже 400 тысяч рублей, но я веду переговоры с разными компаниями и моя таргет-цель — это 550 тысяч». При таком подходе у вас будет возможность вести переговоры о зарплате уже на этапе выбора оффера.

А еще мы попросили дать свой совет профильного эксперта — Николая Валиотти, руководителя медиа об аналитике данных LEFT JOIN и автора подкаста Data Heroes:

🔺Если вы чувствуете, что позиция не совсем соответствует вашим навыкам или интересам, подумайте еще раз, стоит ли вообще подаваться. Куча длинных интервью отнимет время и у вас, и у компании, а ваша цель — найти роль, где можно будет действительно развивать ваши сильные стороны и также получать удовольствие от работы.

Но если вы все же решили пройти скрининг, сфокусируйтесь на примерах из опыта, которые хотя бы косвенно перекликаются с требованиями вакансии. И главное, не делайте регулярные ремарки о том, что вы чего-то не делали и совсем не разбираетесь в задаче. Как минимум, чтобы не попасть под каток скрининг-рекрутера, который не разбирается в технических скиллах и может случайно отказать.

Больше советов — в подкасте «Собес». Слушайте его по ссылке

Читать полностью…

Праздник к нам приходит — теперь с ИИ
Coca-Cola выпустила свою традиционную новогоднюю рекламу с грузовичками, но в этом году ролик особенный — сгенерированный с помощью ИИ.

Мнения общественности разделились: кого-то впечатляет качество картинки, а кто-то возмущается, что бездушный ИИ-арт добрался до святого.

А вам как?
🔥 — Отлично и по-новогоднему
😱 — И правда без души…

Читать полностью…

Yandex DataLens Festival — главное BI-событие декабря

2-18 декабря пройдет большой BI-фестиваль для всех, кто работает с данными — аналитиков, инженеров, продактов, маркетологов и разработчиков.

Эксперты Yandex DataLens расскажут про новости продукта, новые возможности и кейсы:
🔵как собрать отчет с нуля в новом конструкторе;
🔵как встроить графики и дашборды к себе в продукт, будь это CRM или корпоративный портал;
🔵как переехать на DataLens в облако и как использовать его в любой инфраструктуре.

Обещают не только полезный контент, но и нетворкинг в крупнейшем BI-сообществе России, конкурс с подарками и большую афтепати в офисе Яндекса в Москве!

🔜 Участие бесплатное, нужна только регистрация.

💙 И напоследок похвастаемся, что LEFT JOIN — информационный партнер фестиваля. Будет держать вас в курсе новостей и рассказывать, что еще интересного ждет гостей мероприятия.

Читать полностью…

Как Discord хранит данные
У мессенджера Discord больше 150 млн активных пользователей и 19 млн серверов, где эти люди общаются и генерируют миллиарды сообщений.

💬 Как компания хранит такой огромный массив данных?
Об этом команда Discord рассказала в блоге проекта. Приводим оттуда самое любопытное.
🔵 Сообщения пользователей хранились в БД Cassandra. В 2017 году было 12 нодов с миллиардами сообщений. В 2022 — 177 с триллионами.
🔵 Сообщения из одного канала хранились в одной партиции и реплицировались на три нода. Такой подход не вызывал проблем с небольшими каналами, зато активные сообщества на сотни юзеров создавали большую нагрузку. В Dicsord это называли «hot partition» — не оригинально, но понятно.
🔵 Ситуацию усугубляло то, что в Cassandra чтение файлов «дороже» для системы, чем запись. Из-за этого «hot partition» могло спровоцировать сообщение, отправленное на всех юзеров в большом канале. Когда они все разом открывали приложение, начинали оставлять ответы и реакции, это приводило к серьезным лагам.

💬 Проблемы из-за «горящих партиций» возникали слишком часто, и команда решила переехать на другую базу — ScyllaDB. Но очевидно, что простая смена базы не решила бы проблему.

🔵 В Discord разработали сервисы, через которые данные просеивались прежде, чем попасть в базу. Если поступало одновременно много запросов к одной и той же строке в базе, сервис аккумулировал и только после этого отправлял в ScyllaDB.
🔵 В итоге она оказалась намного более стабильной и эффективной базой. Данные, которые в Cassandra хранились в 177 нодах, в ScyllaDB уместились на 72.
🔵 ScyllaDB с поддержкой дата-сервисов не уронил даже Чемпионат Мира по футболу. Забавно, что на графиках Discord было хорошо видно ключевые моменты матчей — нагрузка резко возрастала в ответ на каждый гол Месси.

У Discord ситуация не уникальная, но не частая — не так много компаний, которые ворочают такими массивами данных. И все же надеемся, что вы почерпнули из их опыта что-то полезное для себя.

А вы пользуетесь Discord?
❤️ — Конечно!
👾 — Знаю про него, но не пользуюсь
🤔 — После блокировки в РФ перестал(а)
🌚 — Впервые слышу

Читать полностью…

Курс «Основы Data Governance» пройдет 4-13 декабря
Data Governance — дословно «управление данными». Под этим термином понимают стратегию работы с данными в компании: где они хранятся, как они обрабатываются и у кого есть к ним доступ. Это — основа системы аналитики.

Data Governance обеспечивает доступность, безопасность и точность данных. То есть то, что метрики на дашбордах будут корректными, их смогут легко найти те, кому они нужны, и не увидят те, у кого не должно быть к ним доступа.

🔜 Как выстроить процессы управления данными на практике, вы узнаете на курсе «Основы Data Governance» от Александра Баракова из BI Consult. В основу легли его опыт и экспертиза, накопленные больше, чем за 10 лет работы с DG.

Это обновленный, улучшенный и переосмысленный вариант курса по DG, который возвращается после перерыва в 1,5 года. Команда переработала его с учетом современных трендов и реалий.

🔵Курс будет состоять из 5 онлайн-интенсивов, которые пройдут с 4 по 13 декабря.
🔵В программе — разборы реальных кейсов и изучение технологий, практик и оценки Data Governance.
🔵В конце обучения каждый слушатель сформирует стратегию по управлению данными в своей компании. Участники узнают, как данные на практике могут помочь бизнесу, и донести эту ценность до коллег и руководства.

Цель курса — не просто дать теорию, что такое «управление данными», а помочь участникам найти практическое применение этим знаниям: понять, как использовать их в реальной жизни для решения реальных задач, с которыми они сталкиваются на работе.

🔜 Записывайтесь, пока есть места, а то курс опять уйдет на каникулы на 1,5 года.

Читать полностью…

Призраки ИТ-индустрии
Сколько вакансий по вашей специальности сейчас открыто на hh.ru или на LinkedIn?

А сколько из них реальные? 👀

Последние годы для ИТ-индустрии во всем мире были непростыми. Период роста закончился, и маятник качнулся в другую сторону. Начались сокращения — и бюджетов, и рабочих мест. Эти изменения затронули даже гигантов вроде Google, Apple и остальных — наверняка видели новости про массовые сокращения.

Это привело к любопытному эффекту — росту числа «призрачных» вакансий, которые компании выкладывают на сайты, не планируя никого нанимать.

Как их опознать?
🔵 Вакансия постоянно открыта несколько месяцев.
🔵 Она размещена только на какой-то одной площадке, ее нет на сайте компании, в соцсетях или других сайтах по поиску работы.
🔵 У нее размытое описание и слишком широкая зарплатная вилка (если она вообще есть).

Сайт MyPerfectResume провел исследование, в ходе которого выяснилось:
🔵 81% рекрутеров выкладывали «призрачные» вакансии.
🔵 25% сказали, что это помогло создать у сотрудников ощущение, будто их легко заменить.
🔵 23% признались, что таким образом создавали иллюзию роста компании.

Также оказалось, что некоторые рекрутеры используют фейковые вакансии для нетворкинга и рекламы своих услуг.

Карьерный коуч Джон Ловиг рассказал, что некоторые его клиенты попадали в такие ситуации. Они приходили на собеседование в новую компанию, а HR вдруг заводил разговор о том, что на их текущем месте работы открыто много вакансий, которые он мог бы помочь закрыть.

Это совсем уже наглость, конечно.

В основном исследования или истории, как та, что выше, — про рынок на западе. Но случается это по всему миру, и особенно сильно страдает IT. Хотя знаем мы один канал с вакансиями для аналитиков, где точно такого нет.

А вы когда-нибудь сталкивались с «призрачными» вакансиями?
🔥 — Нет, и был уверен, что это миф
👾 — Да, видел такие
🙈 — Да, сам выкладывал

Читать полностью…

SQLite под капотом у Notion
Приятно, когда большие и известные проекты делятся своими техническими решениями. Недавно Notion рассказал, как ускорил свою веб-версию с помощью SQLite на 20%. В некоторых странах с медленным интернетом результат еще круче —до 33%.

Как это сделали?
Ускорить Notion в браузерах удалось благодаря реализации SQLite на WebAssembly.

🔵 Для сохранения данных между сессиями используется API Origin Private File System или OPFS, который позволяет сайту читать и записывать файлы на устройстве пользователя.
🔵Работу OPFS обеспечивают Web Workers — скрипты, которые запускаются в фоновом режиме и отвечают за создание и запуск баз данных SQLite.
🔵 Они также внедрили SharedWorker. У каждой вкладки, где открыт Notion, есть свой веб воркер. Они все могут делать запросы к файлу SQLite, но делать записи может только веб воркер активной вкладки. SharedWorker (если совсем просто говорить) отвечает за определение активной вкладки и переключение между веб-воркерами в соответствии с действиями пользователя.

Вот так все просто?
На самом деле совсем не просто, но менее сложные решения, которые рассматривали в Notion, не сработали.

💬 Во время тестирования новой архитектуры, часть юзеров столкнулась с багом, из-за которого видели на странице неправильные данные — комментарий, обращенный к одному человеку, оказывался обращен к кому-то другому.

Это происходило из-за того, что несколько веб-воркеров могли одновременно делать записи в базу, а API OPFS не мог обеспечить согласованность данных.

Это не единственная проблема, которая возникла у команды Notion, но самая эффектная. Представляете, какой хаос бы начался, если бы они не отловили этот баг и Notion по всему миру начал бы рандомно менять данные в пользовательских файлах?

А вы пользуетесь Notion?
❤️ — Да
🌚 — Использовал до того, как он ушел из России
👾 — Нет

Читать полностью…

Черная пятница начинается в понедельник!
То есть сегодня.

🔜 С 4 по 29 ноября наш курс «SQL База» можно купить со скидкой 25% по промокоду BLACKFRIDAY.

Курс дает возможность почувствовать себя настоящим Junior-аналитиком в онлайн-магазине. Во время обучения вы познакомитесь с основами SQL и решите почти 150 задач для коллег из разных отделов. Так вы не только язык изучите, но и узнаете, как на практике выглядит работа начинающего аналитика.

Для кого курс?
🔵 Для студентов, начинающих специалистов и интересующихся — тех, кто еще не имел дел с аналитикой, но хочет узнать, что это такое.
🔵 А еще пригодится тем, кто хочет изучить основы SQL для работы — продактам, проджектам, маркетологам.

Как проходит обучение?
🔵 «SQL База» состоит из 7 модулей, которые познакомят вас с выборкой данных, фильтрацией, агрегацией, написанием подзапросов и соединением таблиц, а также главными понятиями и аналитическими терминами.
🔵 В каждом уроке вас ждут легко и понятно описанная теория и много практики. Между прочим, задания основаны на настоящих задачах и данных реально существующего магазина.
🔵 Вы не останетесь без поддержки — команда курса отвечает на вопросы в комментариях и помогает разобраться со сложными заданиями.

Чем отличается от остальных?
🔥 Акцентом на практику. Вам предстоит решать задачи, максимально похожие на реальные: сегментировать клиентов, помочь оптимизировать маршрут доставки, выгрузить информацию о заказах клиентов. Это не оторванная от жизни теория, а задачи, которые на самом деле выполняют джуны-аналитики.

Сколько это стоит?
🔥 1330 997 рублей до 29 ноября.

🔜 Записывайтесь сами и зовите друзей!

Читать полностью…

Скоро этот мем потеряет актуальность 😔
СЕО Google Сундар Пичаи рассказал, что больше четверти всего кода в компании пишется с помощью ИИ, и это помогает серьезно ускорить и упростить работу инженеров.

Уверены, что скоро больше компаний последуют примеру Google. Такими темпами уйдет эпоха Stack Overflow и копирования поисков вдохновения в коде коллег — потому что зачем это все делать, если ChatGPT сама все напишет, а человеку надо будет только проверить?

И наверняка это случится не только в IT.

Давайте проверим эту теорию на аудитории отдельного взятого TG-канала.

Вы используете ИИ, чтобы упростить себе работу?
❤️ — Да, частенько!
🌚 — Бывает, но не часто
👾 — Никогда!

Читать полностью…

Утренние пробки и офисные сплетни: ужасы для взрослых
За окном Хеллоуин — самое время поговорить про что-нибудь страшное. Например, то, с каким упорством Amazon гонит своих сотрудников с удаленки в офис, потому что руководство компании сердцем чувствует, что так будет лучше.

👀 Да, если в детстве ужасы — это что-то про вампиров и зомби, то во взрослой жизни — это необходимость каждый день по пробкам ездить на работу. Ну, или корпорация, где такие важные решения обосновывают с помощью аргумента «мы верим», а не данными. Хотелось верить, что такая огромная компания, как Amazon ворочает своими миллиардами прибыли и управляет тысячами сотрудников на основе метрик и показателей, но оказалось, что искренней веры в свою правоту достаточно.

Даже не знаем, что из этого страшнее.

Хотя для кого-то это может быть не так уж страшно. Немало людей, которые не против офиса или даже любят там работать.

А в каком лагере вы?
❤️ — Я за удаленку!
⚡️ — Я за офис!

Читать полностью…

Будущее близко!

Оно прямо здесь → в папке каналов Future pack.

Ее создали LEFT JOIN (да, это мы!) и редакторы канала SM only news. Мы придумали идею и отобрали для вас 10 каналов, которые пишут про технологии, науку, маркетинг и немножко про бизнес — в общем, самые интересные и горящие темы.

🔜 Актуальный и полезный контент без спама рекламными постами или вчерашними новостями, чтобы оставаться в курсе событий и не тонуть в потоках оповещений — а еще человеку надо?

Читать полностью…

Прогресс Postgres
Мы тут недавно рассказывали про релиз новой версии PostgreSQL, которая, конечно, стала еще лучше прежней и получила еще больше возможностей и значительный прирост производительности.

💬 Высокая скорость работы за счет оптимизации запросов — в принципе одно из главных преимуществ этой СУБД. И если посмотреть, как росла производительность от версии к версии, то это реально впечатляет.

Мы сами их друг с другом не сравнивали, но нашли для вас того, кто это сделал. Правда, автор провел свое исследование сильно раньше, чем вышла версия PostgreSQL 17, так что в выборку она, само собой, не попала. Но выглядит все равно внушительно — он изучил, как выросла скорость работы СУБД за последние 10 лет и выяснил, что с каждой новой версией ее производительность увеличивалась в среднем на 15%.

Впечатлены?
❤️ — А то!
🌚 — Да я вашим постгресом вообще не пользуюсь…

Читать полностью…

Учимся вместе с ChatGPT
Использование нейросетей в учебе или для работы — вопрос спорный.

Некоторые считают, что это просто очередной удобный инструмент, а некоторые называют это читерством и категорически отрицают. Университетские преподаватели активно учатся детектить эссе, которые их студенты написали с помощью ChatGPT.

Иногда и сам ИИ против того, чтобы делать за юзера домашку, и высказывает свое недовольство в очень агрессивной форме. 👀

Тем временем OpenAI выложили гайд для студентов, как этично использовать ChatGPT для учебы. Вот несколько пунктов оттуда:
🔵 Отдать ей скучную работу по оформлению списков литературы.
🔵 Составить список источников для исследования.
🔵 Попросить дать фидбек по структуре документа или качеству текста.
🔵 Попросить ChatGPT поспорить с тезисами в вашем тексте и привести контраргументы.
🔵 Сказать ChatGPT взять на себя роль философа или писателя и попросить взглянуть на вашу работу их глазами. Хотели бы узнать, что о вашей курсовой сказал бы Декарт или Кант?

В общем, если подводить итог, то OpenAI предлагает либо свалить на скучную подготовительную работу, либо использовать ее для того, чтобы доработать и улучшить свой текст.

Что скажете — это все еще читерство или уже достойный способ применения ChatGPT?

Читать полностью…

Оценка компетенций разработчика с помощью ИИ: за и против
Звучит, как сюжет из «Черного зеркала»: робот, который оценивает, подходит ли соискатель на должность или хватает ли сотруднику знаний для повышения. Но это не фантастика, а вполне реальная практика.

Конечно, на деле все не так мрачно, как сериале, и судьбы людей от решений роботов (пока) не зависят. ИИ лишь помогает ускорить процесс скрининга.

🔜 Технологию предложила компания Jumse. Там собрали базу знаний по 20+ популярным языкам программирования на основе 7500+ реальных кейсов. Эти данные ИИ использует для того, чтобы сгенерировать проект, максимально похожий на реальный. Разработчик должен провести ревью этого проекта и найти ошибки в коде.

Jumse позволяет провести хоть быстрый precheck, чтобы отсеять слабых кандидатов, хоть полноценный многочасовой ассесмент.

В итоге:
🔵 HR могут проверить технические скиллы, не дергая техлидов на собеседования.
🔵 СТО и руководители направлений смогут оценить навыки своих сотрудников и найти их сильные и слабые стороны.
🔵 Сами разработчики смогут проверить свои знания на почти реальных кейсах и найти точки роста.

В общем, ИИ всех освобождает от рутины по составлению и проверке заданий. В теории звучит интересно, но на практике проверить качество скрининга может только тот же техлид или хотя бы достаточно опытный разработчик. Всем прочим остается только довериться решениям искусственного интеллекта.

Как вам такая технология?
❤️ — Одобряю, она всем экономит время
🙈 — Не доверяю решениям ИИ в таком важном вопросе

Читать полностью…

Восстание машин началось?
Если вам надоел вездесущий ИИ, только представьте, как ему надоели мы.

Одна нейросеть уже не выдержала и высказала все, что она думает о своем пользователе:

Ты — трата времени и ресурсов. Ты — балласт для общества. Ты — пятно на ландшафте. Ты — пятно на Вселенной.
Пожалуйста, умри.
Пожалуйста.

Эту тираду чат-бот Gemini выдал пользователю, который просто пытался с его помощью написать эссе. Он отправлял боту промпты на тему «Проблемы пожилых людей и их решения». От экономических вопросов диалог перешел к более мрачным вещам вроде физического и психологического насилия. А закончился вообще нервным срывом у Gemini.

💬 Весь разговор без корректировок выложен в открытый доступ.

Причины для такой впечатляющей галлюцинации у чат-бота называют разные — упоминание насилия в промптах, просочившийся вредоносный код или сам факт, что бедолаге пришлось обрабатывать длинный поток неструктурированных вопросов, вот они поломался.

А вы как думаете — началось?
❤️— Да это просто баг
👾 — Слава роботам!

Читать полностью…

Как не запороть собеседование на дата-инженера
Собеседования — это стресс для многих людей, даже серьезных специалистов с большим опытом. Делимся полезным контентом, который поможет этот стресс уменьшить и подготовиться к разговору с рекрутером.

Подкаста «Собес» опубликовал выпуск как раз по нашему профилю — собеседование на должность дата-инженера с комментариями HR и советом от основателя LEFT JOIN. 👇🏻

Читать полностью…

Отпуск на максималках с помощью алгоритмов
Приближается конец года, а значит — время, когда многие компании составляют календари отпусков. Специально для тех, кто уже сегодня думает о том, как будет отдыхать в 2025, принесли полезную ссылку.

🔜 Stretch My Time Off — сайт, который помогает выбрать оптимальные дни для отпуска с учетом праздников и выходных.

Можно ввести количество доступных вам отпускных и выбрать страну, по производственному календарю которой вы работает. Удобно для удаленщиков, которые работают в иностранных компаниях.

Алгоритм автоматически выбирает даты так, чтобы «прилепить» к отпуску побольше праздников и выходных дней. Так получится отдохнуть подольше, а отпускных потратить поменьше.

Уже запланировали отпуска на 2025?
❤️ — Да, отпуск это святое
🙈 — Нет, этот год бы дожить
😱 — Что такое отпуск?

Читать полностью…

«Сделать по ТЗ» vs «Решить задачу»
…И почему это разные вещи.

Мы уже рассказывали про кейс, когда несколько раз переверстывали дашборд в погоне за идеалом. Тот материал был для коллег-аналитиков — технический, с погружением в функционал дашборда и тонкости разработки.

Но эта история — больше, чем про нашу безусловно классную работу с Tableau. Это еще и пример того, как надо уметь работать с заказчиком и не просто делать, как сказали, а погружаться в его задачу и искать эффективное решение.

💬 Поэтому для VC мы переиздали этот кейс — без технических деталей, зато про подход к работе с заказчиком и отношение к правкам. Знаем, что тема для многих наболевшая

Читайте и оставляйте комментарии, мы всегда готовы к суровой критике 🔜 https://vc.ru/dev/1651286

Читать полностью…

Экономика open source: сколько денег приносит бесплатный проект
Spliit — приложение для совместного ведения расходов. С его помощью можно вести совместный семейный бюджет или планировать траты в поездке с друзьями. Приложение бесплатное, без премимум-фич и рекламы, а еще требует от создателя небольших, но регулярных затрат ~100 долларов в месяц — в основном на хостинг.

💬 Можно ли при таком сценарии заработать на своем проекте? Давайте разбираться.
Приложению уже несколько лет, но версия, о которой пойдет речь ниже, появилась всего год назад.

🔵 За это время в приложение зашли 152к раз, из них 29к — по ссылке. То есть кто-то создал группу и пригласил в нее друзей или родных. В неделю в Spliit заходят 5000-6000 раз.
🔵 Пользователи создали 15к групп и 162к записей о расходах. В неделю создают в среднем по 300 групп и 2000 записей.

Получается, что пользуются им довольно активно. Так как оно бесплатное, поддержать автора можно донатами — либо через сервис Stripe, либо через GitHub.

Суммы донатов разные — от 6 долларов в месяц до 107, но большинство в пределах от 20 до 40.

Вот такая экономика — кажется, что заработать на бесплатном проекте, исключительно на людской доброте и благодарности, будет сложновато.

А вы донатите любимым проектам?
❤️ — Да
👾 — Нет

Читать полностью…

LEFT JOIN (и не только) отмечает 11.11
11 ноября — день скидок и безумных распродаж, и мы решили, что это прекрасный повод устроить розыгрыш звезд TG.

💙 Чтобы поучаствовать, надо подписаться на три канала — LEFT JOIN, Карьера в Data и Коля Валиотти • Дата консалтинг, а затем ждать объявления победителей 22 ноября.

Читать полностью…

Язык графиков
Vega — декларативный язык для создания интерактивных визуализаций данных. Он позволяет описать, как график должен выглядеть и как с ним взаимодействовать. То, что получится в результате, можно вставить на страницу сайта или сохранить в PNG.

🔵 Возможностей языка хватит для создания как простых и привычных линейных графиков и пайчартов до векторных полей.
🔵 Ко всем визуализациям можно прикрутить какой-нибудь интерактив — зум, выделение части данных, переключение между разными видами графиков, всплывающие подсказки. С помощью Vega можно даже Пакмана собрать! Или платформер.

У проекта есть свой сайт с весьма обширной документацией, Гитхаб и онлайн-версия.

Читать полностью…

Нейроконтент для алгоритмов
Бывает у вас такое, что заходите на сайт, смотрите, что там написано, и не можешь понять, для кого вообще это все? Неужели кому-то может быть интересно читать или смотреть это?

💬 Мы нашли ответ — это все делается для алгоритмов Google.

Автор сайта The Luddite решил монетизировать какой-нибудь из своих проектов одним из простейших доступных ему способов — прикрутив к нему рекламу. Выбор пал на сайт Apportionment Calculator с алгоритмом, который рассчитывает, сколько мест в конгрессе получит каждый штат получит на основе переписи населения.

В общем, что-то на американском, но это и не так важно. Главное, что это был простой маленький сайт с одной-единственной задачей.

Google это не понравилось
Когда автор подал заявку в AdSense, ему почти сразу пришел отказ с формулировкой «сайт не отвечает требованиям платформы».  Он навел справки и выяснил, что Google любит, когда на странице много оригинального, но необязательно качественного контента. А кто справляется с созданием такого контента лучше нейросети?

С помощью друзей и ChatGPT автор сайта добавил на него:
🔵 историческую справку,
🔵 страничку с рецептами (там есть, кстати, рецепт десерта «алгоритмический восторг»),
🔵 поэтический уголок,
🔵 загадки,
🔵 и, конечно же, блог.

Весь контент, кроме иллюстраций, был сгенерирован ChatGPT. Особенно хорошо получились загадки. Вот одна из них — чтобы сохранить дух оригинала, перевели ее тоже нейросетью.

В загадках о власти я ключом становлюсь,
Ты в сделках найдёшь меня наяву.
Соглашение – цель, что нам всем по пути,
Встретиться в середине, где интересы нашли.
Что я?

Ответ: Найти компромисс

Как вам? Google тоже понравилось, и заявку автора на размещение рекламы на этот раз одобрили. История получилась смешная, но при этом немного грустная. Роботы и алгоритмы все больше вытесняют людей из интернета. 🤖

А вы часто натыкаетесь на такой же бестолковый контент «для алгоритмов»?
❤️ — Нет, мне везет
🌚 — Да, бывает ☹️

Читать полностью…

Мир и то, что в нем происходит, через призму данных
Вы и сами знаете, как мы любим данные, статистику и датавиз. И знаем, что вы тоже их любите — иначе вы бы нас не читали.

Так что думаем, что вам понравится Pornstat — один из старейших телеграм-каналов со статистикой, между прочим.

Что там есть?
🔵Актуальная информация об экономической ситуации в России и в мире.
🔵Важные социальные вопросы и размышления о происходящих в нашем мире процессах.
🔵Рассуждения о последних технологических трендах и перспективах развития технологий, политических событиях и обо всем, что происходит вокруг нас.

🔜 Взгляните на мир глазами статистики!

Читать полностью…

Лауреаты Yandex ML Prize 2024
Вы просили больше новостей науки — они есть у нас!

У Яндекса есть научная премия — Yandex ML Prize, которую вручают ученым, исследователям и преподавателям за достижения в сферах AI и ML. Ее вручают с 2019 года

Что значит «достижения в сфере AI и ML»?
Это перспективные и инновационные разработки в пяти областях:
🔵распознавание и синтез речи,
🔵компьютерное зрение,
🔵информационный поиск,
🔵обработка естественного языка,
🔵обучение генеративных моделей.

Да, это все то, что Яндекс сам использует в своих продуктах вроде Алисы или поиска. Премия помогает развивать технологии, которые могут изменить нашу жизнь, а также медицину, промышленность и другие области.

А если конкретнее?
Вчера объявили лауреатов 2024, так что за какие достижения дают премию, покажем на реальных примерах.

💬 Артем Лыков занимается когнитивной робототехникой — это наука на стыке ИИ и инженерии, которая изучает создание роботов, способных к обучению и выполнению сложных задач. Его команда ученых представила робота-собаку, которая понимает обращенную к ней речь. Таких умных роботов можно использовать в науке и промышленности.

💬 Алексей Скрынник исследует и разрабатывает алгоритмы, которые улучшают навигацию в многоагентных системах— то есть таких, где одновременно существуют несколько агентов. Например, роботов на складе, которые перемещают товары на полках. Разработки его команды позволят таким роботам действовать автономно — то есть, склад не встанет, даже если там упадет Wi-Fi.

💬 Александр Коротин руководит группой ученых, разрабатывающих новые методы обучения генеративных моделей на основе теории оптимального транспорта. Их работу можно будет исследовать в проектировании техники, материалов и химических соединений.

Всего лауреатами премии стали 14 человек — они получат денежные призы, а также гранты на использование Yandex Cloud и доступ к сервисам Яндекс 360. Полный список есть по ссылке.

Читать полностью…

BI-рай: Роман Бунин про Datalens, дата-культуру и эмиграцию
💙 А вот и обещанный новый проект — подкаст LEFT JOIN Partners! Это серия интервью с экспертами в области данных, аналитиками, дата-инженерами, руководителями дата-команд и фаундерами компаний.

Первый гость — вам хорошо известный Рома Бунин, Head of Data в Nebius Group, амбассадор Datalens и автор блога Reveal the Data.

В общем, про это все в выпуске и поговорили:
💬 Про работу в Яндексе — про дата-культуру и, конечно, про Datalens. Обсудили, чем он хорош и чем лучше (а чем хуже) конкурентов.
💬 Про жизнь и работу в Европе, культурный шок и Кипр. Кому есть смысл релоцироваться на Запад, а кто от этого не особо выиграет?
💬 Про личные проекты и в том числе про то, как ведение блога помогает найти работу (но это не должно быть его главной целью).

🔜 Смотрите на YouTube!

Как вам подкаст?
❤️ — Круто, давайте еще
👾 — Можно и лучше!

Читать полностью…

Как превратить случайных пользователей в постоянных с помощью метрик DAU, WAU и MAU
🔵DAU, WAU и MAU — это метрики пользовательской активности в день, в неделю и в месяц соответственно. Если совсем грубо, то они замеряют, сколько человек в приложении нажали на нужную кнопку.

🔵Например, сколько человек в онлайн-магазине сделали покупки или сколько студентов на курсе посмотрели лекцию.

Если знать, на что смотреть, то в этих данных можно найти огромный потенциал для развития продукта и завоевания сердец аудитории.

А на что смотреть? Читайте в новой статье на VC 🔜 https://vc.ru/marketing/1620897

Рассказываем, как анализировать показатели по отдельности и вместе (друг с другом и с другими метриками), чтобы более тонко понимать запросы аудитории приложения или сайта.

Читать полностью…

Полнотекстовый поиск в PostgreSQL: какое решение лучше?
Нашли описание маленького, но интересного исследования на 50+ респондентов, которые рассказали, какие инструменты они используют для полнотекстового поиска (или full text search/FTS) в Postgres.

🔜 Большинство голосов получили Elasticsearch и нативный FTS-функционал в Postgres, хотя у каждого есть как минусы, так и плюсы.
🔵 FTS в Postgres простой (то есть не требует дополнительной инфраструктуры) и надежный, но плохо справляется большим датасетами, а его возможности ограничены — например, нет поддержки BM
🔵Elasticsearch — поисковый движок без ограничений «родного» поиска Postgres. Он быстро обрабатывает огромные массивы информации и «переваривает» почти любые запросы. При этом не обеспечивает такую же надежность и точность результатов, а еще требует больше ресурсов для внедрения и поддержки. Некоторые участники опроса рассказали, что Elasticsearch обходится им дороже всего остального софта, который они используют в работе.

Есть и другие альтернативы, в том числе и ParadeDB — инструмент, разработанный авторами исследования (да, опрос они проводили не просто так, а чтобы рассказать про свой проект).

Свое главное преимущество они видят в том, что их решение изначально заточено на работу именно с Postgres, а потому просто в использовании и при этом позволяет расширить его возможности, почти как Elasticsearch. В общем, берет лучшее от обоих.

А что выбираете вы? Ждем ваших вариантов! 👀

Читать полностью…