1318
Чат DevTools Party и Я.Субботника по разработке инфраструктуры.
без шуток, первое что увидел - два слова: “репозиторий” и “поранил”
Читать полностью…
Начинаем день с небольшой зрительной тренировки (а потом снова про программу конференции расскажу) 😇
На картинке собрали 12 слов, связанных с инфраструктурой (и ещё пару случайных). Что видите? 🙃
В первый день рабочей недели анонсируем фантастическую четвёрку спикеров, которые расскажут про аналитику, тестирование и ML на infra.conf 2024!
Загибайте пальцы:
⏺ Святослав Ковалев, тимлид команды продуктовой и ML-аналитики Yandex Infrastructure, выступит с темой «Как построить аналитику на примере внутреннего поиска Яндекса». Узнаем, каким сервисам нужна продуктовая аналитика, зачем проводить A/B-тестирования на внутренних пользователях и как применять аналитику на внутренних продуктах.
⏺ Александр Крымов, старший разработчик инфраструктуры Hive в «Лаборатории Касперского». Тема его выступления — «Собственная автотестовая система». Александр расскажет о специфике и особенностях технической эксплуатации тестов в «Лаборатории Касперского», поделится опытом разработки собственной автотестовой системы, сценариями её использования и техническими нюансами эксплуатации.
⏺ Марк Кузнецов, руководитель центра развития MLOps-практик «Альфа-Банка». Его тема — «Промышленная инфраструктура AutoTrain/AutoReTrain в реалиях крупного банка». Обсудим опыт «Альфа-Банка» в построении инфраструктуры для обучения и переобучения ML-моделей, оптимизации трудозатрат и времени на валидацию и поддержку этих процессов.
⏺ Владислав Кирпинский, директор по облачной интеграции Selectel, выступит с темой «Непреодолимая лёгкость повышения утилизации GPU: Allocation и Profiling обычного человека». Обсудим, что может переиспользовать DS от заводских промышленных линий, поговорим о специфике конвейеров обучения и инференса и узнаем, как подбирать конфигурацию вычислительной инфры под профиль ML-нагрузки.
➡️ Не забывайте, регистрация проходит по ссылке.
#infraconf2024_программа
🥁 Вторая (и далеко не последняя) часть нашей программы на infra.conf 2024. Напоминаем, что всего вас будут ждать 2 трека и 18 спикеров. Вот, кстати, некоторые из них:
⏺ Руслан Гайнанов, главный инженер DevOps в Т1 и тимлид на проектах Службы управления конфигурациями, выступит с темой «Виртуальные машины в Kubernetes: лайк или кринж?».
Небольшой ликбез: обычно виртуалки используются в качестве нод кластера Kubernetes. Но что будет, если начать использовать Kubernetes для запуска виртуальных машин наряду с обычными контейнерами? Руслан как раз расскажет о запуске тестовых стендов с виртуальными машинами и интеграции с Kubernetes.
⏺ Иван Гулаков, техлид инфраструктурной DevOps команды CloudMTS. В рамках доклада «Внедрение ClusterAPI — стоит ли овчинка выделки?» поговорим об использовании инструмента Cluster API для управления жизненным циклом кластеров Kubernetes. Иван поделится опытом перехода с cобственной обвязки вокруг RKE и Terraform, сравнит старый и новый процессы управления кластерами, а также рассмотрит фичи, которые привнёс CAPI.
⏺ Дмитрий Рыбалка, техлид отдела базовой IT-инфраструктуры в СберМаркет, расскажет про DRP-план в модели Cloud Agnostic, проблемах современных облаков, уровнях и порядке восстановления при критических сбоях.
Первую часть программы вы можете найти тут или по тегу #infraconf2024_программа.
➡️ Зарегистрироваться на мероприятие, как обычно, можно по ссылке.
🏎 Мы живём в мире больших скоростей — об этом не понаслышке знает техлид Core Infrastructure Антон Кортунов.
В Яндексе Антон руководит командами базовых инфраструктурных сервисов. А в свободное от работы время - занимается гонками (и не только - но об этом как-нибудь в другой раз). В работе и хобби у Антона есть главные принципы - ставить цели, быстро ориентироваться и находить решение в непростых ситуациях, общаться и находить точки соприкосновения с разными людьми.
Подробно о своём увлечении Антон рассказывал в интервью для Setters Media. Сейчас же делимся с вами самыми интересными подробностями.
➡️ В карточках — о том, с чего началось хобби, о машинах и о том, как гоночный опыт помогает в работе.
🗓 Save the date: 4 июня пройдёт большая конференция по инфраструктуре — infra.conf 2024
infra.conf — всё про создание и эксплуатацию высоконагруженных систем и инфраструктуры.
Вас ждёт 16 докладов-кейсов от разработчиков и техлидов из Яндекса и других крупных компаний, активный нетворкинг, игры, Q&A-сессии и вечеринка.
Поговорим о платформенной разработке, тестировании и эксплуатации инфраструктуры, базах данных и хранилищах, облачных технологиях, CI/CD-пайплайнах и Kubernetes, ML-инфраструктуре, безопасности, опенсорс-решениях и о многом другом.
📍 4 июня, Москва, площадка Bounce & Pulsar, а также онлайн.
➡️ Участие бесплатное. Рекомендуем зарегистрироваться уже сейчас.
🕶 ⬅️ Это призматические очки. Они нужны для того, чтобы смотреть наверх, когда лезешь в гору.
А выше - карточки про хобби Саши Михненко, разработчика Yandex Infrastructure. Саша рассказал о том, как увлёкся скалолазанием и как это научило его слушать себя и доверять своим ощущениям — не только в жизни, но и на работе.
Екатеринбург, привет! 🎉
если планируете быть на DUMP на этой неделе - приходите в зону Yandex Infrastructure - поиграть в техно бир-понг, а также пообщаться на стенде и вечеринке) обещаем коктейли и караоке (фальшивить можно, особенно, если петь с душой и о наболевшем). 🙌🏻
Приглашаем на Yandex Open Source Jam 23 апреля в Москве
Мы в Яндексе любим, ценим и уважаем опенсорс и стараемся делать всё возможное для развития опенсорс-культуры в России и мире. Поэтому мы решили устроить Open Source Jam — мероприятие, на котором обсудим разные аспекты разработки и использования продуктов с открытым кодом.
Вас ждёт:
▫️ Два мастер-класса — о том, как сделать документацию и лендинг с помощью инструментов с открытым кодом и как выбрать правильную лицензию для опенсорс-проекта.
▫️ Два доклада — об опенсорсной настольной игре и о том, как мы выложили в открытый доступ инструмент для автоматического тестирования, а через семь лет сделали это ещё раз.
▫️ Опенсорс-трибуна по разработке — победители программы грантов Yandex Open Source расскажут о своих проектах.
▫️ Опенсорс-джем — поговорим о том, как обезопасить опенсорс, как его монетизировать и есть ли в нём смысл, когда дело касается генеративных моделей.
▫️ Круглый стол — обсудим главные проблемы и вопросы опенсорса.
▫️ Зона бэкстейджа — неформальное общение, архитектурные задачи и розыгрыш мерча.
➡️ Подробности и регистрация — по ссылке
«Смысл не в том, чтобы любое твоё занятие было сражением с собой, а чтобы это было комфортно и классно».
🗣Сетевые истории в нашем блоге на хабре продолжаются
Задумывались ли вы о том, как изменить конфигурацию сразу на нескольких сетевых устройствах? Что, если нужно сделать это на всей сети с сотнями и тысячами единиц оборудования? А что, если приходится делать это каждый месяц на железе от пяти разных производителей?
Очевидное решение — автоматизировать процесс. Сделать это можно разными способами, а в процессе наткнуться не на одни грабли.
В нашей новой статье на Хабре Вадим Воловик, руководитель проектов разработки в Yandex Infrastructure, рассказывает о том, как наша команда NOCDEV справлялась с автоматизацией.
Как мы любим - история тянет на целый цикл статей. В первой — подробно про внутренний сервис обновления конфигураций.
➡️ Читайте статью по ссылке.
Ну и, конечно, следите за обновлениями 🎮
Здесь должна была быть неудачная шутка в честь 1 апреля. Но вместо этого будет удачный контент ➡️
🪐 Чтобы вы смогли посмотреть в интернете короткий ролик или длинный фильм, нужно построить целую инфраструктуру. Это система доставки контента, дата-центры, кеширующие серверы и видеоплеер, который не будет тормозить. В Яндексе за это отвечает наша команда Видеоплатформы, о которой мы писали не так давно.
В новом выпуске «Вопроса со звёздочкой»* Алексей Гусев рассказывает, как устроен стриминг в интернете и какие особенности есть у загрузки видео на ваше устройство.
*«Вопрос со звёздочкой» - рубрика, в которой разработчики Яндекса простым языком объясняют сложные технологии.
Эволюция Traffic Engineering. Часть 1
Основы, распределённый и централизованный расчёт туннелей, магия PCE
Подготовили серию публикаций про Traffic Engineering и его эволюцию в современных сетях. Первая статья уже доступна в нашем блоге на Хабре.
Что внутри:
⏺ базовая терминология, аспекты использования и проблематика;
⏺ классификация методологии и варианты реализации;
⏺ история механизмов TE: модель Integrated Services, протокол RSVP, Constrained Shortest Path First (CSPF);
⏺ централизованный расчёт туннелей и РСЕ.
➡️ Совсем скоро выйдет вторая часть про основы PCEP и Stateful PCE — следите за обновлениями в нашем блоге.
Продолжаем рассказывать про хобби наших коллег из Yandex Infrastructure.
❤️ Килт, волынка, строгая геометрия и международные фестивали — в карточках интересная история Юрия Чернышова, разработчика службы инструментов репозитория.
Всем привет! на связи devrel команды Yandex Infrastructure 👋 Если вы уже устали читать про анонсы бомбической программы infra.conf - то потерпите, нам осталось совсем немного 🙃
Сегодня рассказываем (практически) про вишенку на торте 🍒
⏺ Виталий Дмитриев, технический менеджер проектов Yandex Infrastructure, расскажет про DevEnv как сервис, возможности стандартизации локального окружения, проблемы ремоутной разработки, а также плюсы, минусы и возможности Codenv.
⏺ Андрей Бородин, руководитель подразделения разработки РСУБД с открытым исходным кодом из Yandex Cloud. Тема выступления: «Трюки in-memory баз данных в традиционных СУБД». Обсудим способы оптимизации производительности резидентных баз данных, которые возможно привнести и в Postgres, фишки бинарного поиска и оптимистичный подход к блокировке shared buffers. В общем, объясним на пальцах, «как два байта переслать».
⏺ Дмитрий Оверченко, архитектор команды внедрения SberDevices, выступит с темой «CI/CD кунг-фу в онпреме. Поставка ПО в окружение заказчика вместе с CI/CD-процессами из коробки на примере SaluteJazz». Рассмотрим микросервисную архитектуру в действии и обсудим методы адаптации под технические задачи, управление on-prem-решением через призму DevOps-практик и примеры Update, Backup/Restore, Scale in/out, Scale up/down.
➡️ И, кстати, полная программа уже на сайте конференции - можно посмотреть по ссылке.
Мы вовсю готовимся не только к контентной части с хорошими докладами, но и к вечеринке с пивным казино, играми, музыкой и общением. Скоро увидимся! 🙌🏻🎉
#infraconf2024_программа
Fantastic Four 🦸♂️
Не только облаками и железом богата инфраструктура) оставили место в программе infra.conf 2024 для ML, аналитики и тестирования 🙌
Всем привет! Еще немного новостей по готовящейся конференции infra.conf 4 июня 🙌 вы знаете - что делать - лайк, шер, репост. А лучше сразу регистрируйтесь 🫶🏻 ведь деврел может бесконечно смотреть на то, как заполняется таблица участников конференции 😇
До нашей первой большой конференции infra.conf 2024 остаётся меньше месяца — самое время начать рассказывать про наших спикеров и доклады.
Итак, в левом углу ринга с докладами выступят:
⏺ Борис Литвиненко, ведущий разработчик сетевой инфраструктуры и мониторинга Yandex Infrastructure. Борис расскажет о том, как удобно жить на железе в 2К24 базовой инфраструктуре, о пути сетевого пакета (через l3 балансировщики, файерволы, декапсуляторы) и о специфике обслуживания этой части инфраструктуры. Рассмотрим причины появления стандартизации, а также почему в этот раз победил облачный подход. В финале сделаем своё облако с DPDK и попытками преодолеть проблемы монолитной инфраструктуры.
⏺ Дарья Николаенко, SRE и инженер баз данных Тинькофф. В докладе «Потребитель и железка. Где связь?» она расскажет про неочевидные и хитросплетённые зависимости масштабной инфраструктуры и их влияние на выполнение и постановку рабочих задач, а также поделится опытом визуализации и систематизации инфраструктурных компонентов.
⏺ Виктор Корейша, руководитель направления Managed Services в Ozon Tech, расскажет о проектировании собственной S3 поверх Ceph, а также о проблемах, возникших при разработке, миграции и эксплуатации на реальной нагрузке. И, конечно, об их решении и полученных результатах.
➡️ Ждём вас 4 июня! Регистрируйтесь на конференцию по ссылке.
#infraconf2024_программа
Всем привет! Суббота - это такой день, когда должно происходить что-то хорошее 🙌🏻 Например, открытие регистрации на нашу первую большую конференцию по инфраструктуре 💥
4 июня в Москве и в трансляции - 2 трека и 16+ докладов - не только от Яндекса, но и от топовых спикеров Ozon Tech, Авито, Иннотех, Альфа-Банк, Selectel, Сбер Маркета и SberDevices, Тинькофф, Postgres Pro, Касперского и так далее.
Совсем скоро на сайте появится программа 🙌🏻
Участие бесплатное для офлайна и онлайна, но с регистрацией и смс)
🫥 Мы на DUMP 2024 — главной IT-конференции Урала!
Для тех, кто планирует залететь на огонёк 26 апреля, мы подготовили несколько развлекательных зон, где можно будет сыграть в бирпонг и настольные игры, расслабиться и пообщаться. А за участие в активностях вы будете получать коины, которые можно потратить в баре.
Ну и конечно, заглядывайте на стенд Яндекса, чтобы пообщаться с экспертами, а в 18:00 — на афтепати Яндекс x DUMP с коктейлями и караоке 🍸
На случай, если вы не придумали себе планы на вечер пятницы (как я ) - делимся новой статьей "Обновление кешей сервисов в реальном времени с помощью YDB CDC на примере Yandex Monitoring" - от Егора Литвиненко, старшего разработчика Yandex Observability Platform.
Внутри — рассказ о том, как мы внедряли YDB CDC (Change Data Capture) для обновления данных в сервисах, чтобы решить проблему инвалидации кешей.
Не только успешный успех и радуги - а вся история внедрения с теорией, вопросами, ответами, ошибками (ну как без них):
⏺ Какой подход к доставке изменений использовали в Yandex Monitoring раньше?
⏺ Почему решили перейти на CDC?
⏺ Чем YDB CDC отличается от других решений?
⏺ На какие грабли команда наступила при внедрении?
⏺ Как теперь она поддерживает решение?
➡️ Читать статью
Всем привет)
Ой, что-то намечается 😎 через пару недель (чуть меньше) встречаемся в Москве и онлайн со всеми, влюблёнными в опенсорс ❤️
минимум докладов, максимум общения, обсуждений и нетворкинга) и, конечно, технические игры и мерч.
Детали и регистрация - ниже 🤗
Всем привет)
кажется, что самый хороший контент для пятничного обеда - про море и отдых 🌊 Продолжаем истории про хобби команды Yandex Infrastructure - и сегодня рассказываем про Сашу Носкова из Core Infrastructure и его увлечение дайвингом ❤️
😍 (осторожно - залипательные видео)
Торжественно клянусь, что замышляю шалость
Мы сейчас проводим исследование, чтобы узнать как устроены процессы разработки в разных компаниях. Хотим поговорить с разработчиками, DevOps-инженерами и SRE.
Будем рады, если вы поучаствуете и расскажете нам, где вы храните код и как у вас устроен процесс CI/CD. Ваш опыт поможет нам при создании и улучшении продуктов.
Заполняйте короткую форму и мы свяжемся с вами.
Всем привет) Новости нашего городка блога.
На хабре вышла свежая статья - про гусей, орнитологию и объектное хранилище.
Яндексовая инсталляция хранилища S3 содержит миллиарды файлов, включая метаданные. Для их хранения мы используем умное шардирование, которое позволяет нам управлять распределением занятого места и нагрузкой между шардами.
🪐 Паша Левдик рассказывал на Highload++ 2023 об устройстве нашего объектного хранилища и о том, как создать сервис, устойчивый к самым разным паттернам нагрузки. А мы превратили это в статью.
Яндекс вошел в топ-15 рейтинга OSCI🎉
Open Source Contributor Index (OSCI) — международный рейтинг, который помогает измерить вклад различных компаний в развитие сообщества открытого кода.
Недавно Яндекс поднялся в рейтинге на 4 пункта и занял 15 место из 323. Общее количество участников в нашем опенсорс-комьюнити выросло до 1754 человек, треть из которых
регулярно коммитят в наши продукты.
В рейтинг попали сервисы YDB и YTsaurus. Они занимают важное место среди опенсорс-проектов Яндекса — обрабатывают большой объём данных и обладают высокой отказоустойчивостью.
Мы развиваем опенсорс-сообщество с 2010 года. За это время мы выложили больше 20 ключевых проектов в опенсорс, использовали в разработке продуктов внешние технологии и внесли существенный вклад в их развитие.
Дальше — больше!
@holikipoliki1488
Полик, с Днюхой!
Удачи, здоровья и творческих успехов!!