До нашей первой большой конференции infra.conf 2024 остаётся меньше месяца — самое время начать рассказывать про наших спикеров и доклады.
Итак, в левом углу ринга с докладами выступят:
⏺ Борис Литвиненко, ведущий разработчик сетевой инфраструктуры и мониторинга Yandex Infrastructure. Борис расскажет о том, как удобно жить на железе в 2К24 базовой инфраструктуре, о пути сетевого пакета (через l3 балансировщики, файерволы, декапсуляторы) и о специфике обслуживания этой части инфраструктуры. Рассмотрим причины появления стандартизации, а также почему в этот раз победил облачный подход. В финале сделаем своё облако с DPDK и попытками преодолеть проблемы монолитной инфраструктуры.
⏺ Дарья Николаенко, SRE и инженер баз данных Тинькофф. В докладе «Потребитель и железка. Где связь?» она расскажет про неочевидные и хитросплетённые зависимости масштабной инфраструктуры и их влияние на выполнение и постановку рабочих задач, а также поделится опытом визуализации и систематизации инфраструктурных компонентов.
⏺ Виктор Корейша, руководитель направления Managed Services в Ozon Tech, расскажет о проектировании собственной S3 поверх Ceph, а также о проблемах, возникших при разработке, миграции и эксплуатации на реальной нагрузке. И, конечно, об их решении и полученных результатах.
➡️ Ждём вас 4 июня! Регистрируйтесь на конференцию по ссылке.
#infraconf2024_программа
Всем привет! Суббота - это такой день, когда должно происходить что-то хорошее 🙌🏻 Например, открытие регистрации на нашу первую большую конференцию по инфраструктуре 💥
4 июня в Москве и в трансляции - 2 трека и 16+ докладов - не только от Яндекса, но и от топовых спикеров Ozon Tech, Авито, Иннотех, Альфа-Банк, Selectel, Сбер Маркета и SberDevices, Тинькофф, Postgres Pro, Касперского и так далее.
Совсем скоро на сайте появится программа 🙌🏻
Участие бесплатное для офлайна и онлайна, но с регистрацией и смс)
🫥 Мы на DUMP 2024 — главной IT-конференции Урала!
Для тех, кто планирует залететь на огонёк 26 апреля, мы подготовили несколько развлекательных зон, где можно будет сыграть в бирпонг и настольные игры, расслабиться и пообщаться. А за участие в активностях вы будете получать коины, которые можно потратить в баре.
Ну и конечно, заглядывайте на стенд Яндекса, чтобы пообщаться с экспертами, а в 18:00 — на афтепати Яндекс x DUMP с коктейлями и караоке 🍸
На случай, если вы не придумали себе планы на вечер пятницы (как я ) - делимся новой статьей "Обновление кешей сервисов в реальном времени с помощью YDB CDC на примере Yandex Monitoring" - от Егора Литвиненко, старшего разработчика Yandex Observability Platform.
Внутри — рассказ о том, как мы внедряли YDB CDC (Change Data Capture) для обновления данных в сервисах, чтобы решить проблему инвалидации кешей.
Не только успешный успех и радуги - а вся история внедрения с теорией, вопросами, ответами, ошибками (ну как без них):
⏺ Какой подход к доставке изменений использовали в Yandex Monitoring раньше?
⏺ Почему решили перейти на CDC?
⏺ Чем YDB CDC отличается от других решений?
⏺ На какие грабли команда наступила при внедрении?
⏺ Как теперь она поддерживает решение?
➡️ Читать статью
Всем привет)
Ой, что-то намечается 😎 через пару недель (чуть меньше) встречаемся в Москве и онлайн со всеми, влюблёнными в опенсорс ❤️
минимум докладов, максимум общения, обсуждений и нетворкинга) и, конечно, технические игры и мерч.
Детали и регистрация - ниже 🤗
Всем привет)
кажется, что самый хороший контент для пятничного обеда - про море и отдых 🌊 Продолжаем истории про хобби команды Yandex Infrastructure - и сегодня рассказываем про Сашу Носкова из Core Infrastructure и его увлечение дайвингом ❤️
😍 (осторожно - залипательные видео)
Торжественно клянусь, что замышляю шалость
Мы сейчас проводим исследование, чтобы узнать как устроены процессы разработки в разных компаниях. Хотим поговорить с разработчиками, DevOps-инженерами и SRE.
Будем рады, если вы поучаствуете и расскажете нам, где вы храните код и как у вас устроен процесс CI/CD. Ваш опыт поможет нам при создании и улучшении продуктов.
Заполняйте короткую форму и мы свяжемся с вами.
Всем привет) Новости нашего городка блога.
На хабре вышла свежая статья - про гусей, орнитологию и объектное хранилище.
Яндексовая инсталляция хранилища S3 содержит миллиарды файлов, включая метаданные. Для их хранения мы используем умное шардирование, которое позволяет нам управлять распределением занятого места и нагрузкой между шардами.
🪐 Паша Левдик рассказывал на Highload++ 2023 об устройстве нашего объектного хранилища и о том, как создать сервис, устойчивый к самым разным паттернам нагрузки. А мы превратили это в статью.
Яндекс вошел в топ-15 рейтинга OSCI🎉
Open Source Contributor Index (OSCI) — международный рейтинг, который помогает измерить вклад различных компаний в развитие сообщества открытого кода.
Недавно Яндекс поднялся в рейтинге на 4 пункта и занял 15 место из 323. Общее количество участников в нашем опенсорс-комьюнити выросло до 1754 человек, треть из которых
регулярно коммитят в наши продукты.
В рейтинг попали сервисы YDB и YTsaurus. Они занимают важное место среди опенсорс-проектов Яндекса — обрабатывают большой объём данных и обладают высокой отказоустойчивостью.
Мы развиваем опенсорс-сообщество с 2010 года. За это время мы выложили больше 20 ключевых проектов в опенсорс, использовали в разработке продуктов внешние технологии и внесли существенный вклад в их развитие.
Дальше — больше!
Привет! 👋
На связи команда Yandex Infrastructure. Мы уже рассказывали о том, из чего состоит инфраструктура Яндекса в карточках и на конференции, какие команды у нас есть и какие задачи мы решаем.
Сейчас хотим немного поговорить об еще одной команде — команде Видеоплатформы.
Видеоплатформа Яндекса — один из основных генераторов трафика рунета. Команда разрабатывает инфраструктуру, которую все крупные сервисы Яндекса используют для показа видеоконтента: Кинопоиск, Яндекс Музыка, Станции, Маркет и другие.
Именно мы делаем так, чтобы видео было оптимального качества. Придумываем, проверяем алгоритмы для уменьшения буферизаций/прерываний при показе видео. Разрабатываем инструменты анализа и дебага. И многое другое.
➡️ Для всех, кто интересуется технологиями видео и стриминга — подготовили подборку выступлений нашей команды:
🎥 Рамиль Габдрахманов — «Как работает видеостриминг в мобильных приложениях»;
🎥 Евгений Зайцев — «Как CDN Яндекса работает с трафиком видеоплатформы»;
🎥 Рамиль Габдрахманов и Алексей Гусев — «Автоматизированное тестирование сложных видеосистем»;
🎥 Ольга Попова — «Свой плеер для DASH: вошли и вышли, приключение на 20 минут»;
🎥 Василий Коровин — «QoE-метрика в видеоплеере Яндекса»;
🎥 Дмитрий Виноградов — «Как мы анализируем проблемы пользователей в видеоплатформе Яндекса»;
🎥 Константин Петряев — «Ваш плеер работает неправильно»;
🎥 Игорь Шеко — «Контроль качества WebRTC-сессий».
Да. Но не всё так гладко, как все себе представляли. Менеджменту Инфраструктуры еще есть над чем работать.
Читать полностью…На практике существуют разные модели организации команды, и в каждой из них по-своему решаются вопросы масштабирования и принятия решений, вовлечения и развития людей, а также управления конфликтами.
Вспоминаем доклад Анастасии Абрашитовой для тимлидов и анализируем, в чём принципиальные особенности работы тимлида с технической ролью и без неё. Анастасия на собственном опыте помогает сориентироваться в этом многообразии.
➡️ Читайте статью по ссылке.
🗓 Save the date: 4 июня пройдёт большая конференция по инфраструктуре — infra.conf 2024
infra.conf — всё про создание и эксплуатацию высоконагруженных систем и инфраструктуры.
Вас ждёт 16 докладов-кейсов от разработчиков и техлидов из Яндекса и других крупных компаний, активный нетворкинг, игры, Q&A-сессии и вечеринка.
Поговорим о платформенной разработке, тестировании и эксплуатации инфраструктуры, базах данных и хранилищах, облачных технологиях, CI/CD-пайплайнах и Kubernetes, ML-инфраструктуре, безопасности, опенсорс-решениях и о многом другом.
📍 4 июня, Москва, площадка Bounce & Pulsar, а также онлайн.
➡️ Участие бесплатное. Рекомендуем зарегистрироваться уже сейчас.
🕶 ⬅️ Это призматические очки. Они нужны для того, чтобы смотреть наверх, когда лезешь в гору.
А выше - карточки про хобби Саши Михненко, разработчика Yandex Infrastructure. Саша рассказал о том, как увлёкся скалолазанием и как это научило его слушать себя и доверять своим ощущениям — не только в жизни, но и на работе.
Екатеринбург, привет! 🎉
если планируете быть на DUMP на этой неделе - приходите в зону Yandex Infrastructure - поиграть в техно бир-понг, а также пообщаться на стенде и вечеринке) обещаем коктейли и караоке (фальшивить можно, особенно, если петь с душой и о наболевшем). 🙌🏻
Приглашаем на Yandex Open Source Jam 23 апреля в Москве
Мы в Яндексе любим, ценим и уважаем опенсорс и стараемся делать всё возможное для развития опенсорс-культуры в России и мире. Поэтому мы решили устроить Open Source Jam — мероприятие, на котором обсудим разные аспекты разработки и использования продуктов с открытым кодом.
Вас ждёт:
▫️ Два мастер-класса — о том, как сделать документацию и лендинг с помощью инструментов с открытым кодом и как выбрать правильную лицензию для опенсорс-проекта.
▫️ Два доклада — об опенсорсной настольной игре и о том, как мы выложили в открытый доступ инструмент для автоматического тестирования, а через семь лет сделали это ещё раз.
▫️ Опенсорс-трибуна по разработке — победители программы грантов Yandex Open Source расскажут о своих проектах.
▫️ Опенсорс-джем — поговорим о том, как обезопасить опенсорс, как его монетизировать и есть ли в нём смысл, когда дело касается генеративных моделей.
▫️ Круглый стол — обсудим главные проблемы и вопросы опенсорса.
▫️ Зона бэкстейджа — неформальное общение, архитектурные задачи и розыгрыш мерча.
➡️ Подробности и регистрация — по ссылке
«Смысл не в том, чтобы любое твоё занятие было сражением с собой, а чтобы это было комфортно и классно».
🗣Сетевые истории в нашем блоге на хабре продолжаются
Задумывались ли вы о том, как изменить конфигурацию сразу на нескольких сетевых устройствах? Что, если нужно сделать это на всей сети с сотнями и тысячами единиц оборудования? А что, если приходится делать это каждый месяц на железе от пяти разных производителей?
Очевидное решение — автоматизировать процесс. Сделать это можно разными способами, а в процессе наткнуться не на одни грабли.
В нашей новой статье на Хабре Вадим Воловик, руководитель проектов разработки в Yandex Infrastructure, рассказывает о том, как наша команда NOCDEV справлялась с автоматизацией.
Как мы любим - история тянет на целый цикл статей. В первой — подробно про внутренний сервис обновления конфигураций.
➡️ Читайте статью по ссылке.
Ну и, конечно, следите за обновлениями 🎮
Здесь должна была быть неудачная шутка в честь 1 апреля. Но вместо этого будет удачный контент ➡️
🪐 Чтобы вы смогли посмотреть в интернете короткий ролик или длинный фильм, нужно построить целую инфраструктуру. Это система доставки контента, дата-центры, кеширующие серверы и видеоплеер, который не будет тормозить. В Яндексе за это отвечает наша команда Видеоплатформы, о которой мы писали не так давно.
В новом выпуске «Вопроса со звёздочкой»* Алексей Гусев рассказывает, как устроен стриминг в интернете и какие особенности есть у загрузки видео на ваше устройство.
*«Вопрос со звёздочкой» - рубрика, в которой разработчики Яндекса простым языком объясняют сложные технологии.
Эволюция Traffic Engineering. Часть 1
Основы, распределённый и централизованный расчёт туннелей, магия PCE
Подготовили серию публикаций про Traffic Engineering и его эволюцию в современных сетях. Первая статья уже доступна в нашем блоге на Хабре.
Что внутри:
⏺ базовая терминология, аспекты использования и проблематика;
⏺ классификация методологии и варианты реализации;
⏺ история механизмов TE: модель Integrated Services, протокол RSVP, Constrained Shortest Path First (CSPF);
⏺ централизованный расчёт туннелей и РСЕ.
➡️ Совсем скоро выйдет вторая часть про основы PCEP и Stateful PCE — следите за обновлениями в нашем блоге.
Продолжаем рассказывать про хобби наших коллег из Yandex Infrastructure.
❤️ Килт, волынка, строгая геометрия и международные фестивали — в карточках интересная история Юрия Чернышова, разработчика службы инструментов репозитория.
В понедельник после длинных выходных - вливаемся в рабочий ритм 📝 Вспомнили популярный мем "Как порадовать айтишников?". Решили отойти от очевидного - таски "Порадоваться" в трекере. И придумали другие рабочие способы - вот часть из них 🙌🏻
Если наши желания совпадают с вашими - ставьте реакции 🔥
И давайте верить в лучшее 🤝
Шум ветра, спуск якоря и скорость — всё это часть хобби Рамиля, руководителя разработки плееров под iOS и Android в Yandex Infrastructure.
В карточках рассказываем о том, с чего он начинал своё увлечение, почему любит яхтинг и как он помогает ему в работе.