1318
Чат DevTools Party и Я.Субботника по разработке инфраструктуры.
Core Infrastructure — команда, создающая инфраструктуру, на основе которой строятся и работают практически все сервисы Яндекса. Это стабильные, высокодоступные, высоконагруженные и распределённые системы: облачные хранилища данных, видеоплатформа и её CDN, IТ-инфраструктура дата-центров, вся сеть Яндекса (включая Yandex Cloud, дата-центры и др.).
Мы обрабатываем колоссальные объёмы трафика и данных, обеспечиваем бесперебойную работу сервисов Яндекса и команд, которые над ними работают.
Чтобы справиться с предстоящими вызовами, нам нужны опытные бэкенд-инженеры. Для этого мы запустили Core Infra Bootcamp.
Bootcamp — это программа, благодаря которой вы сможете поработать с несколькими командами подразделения Core Infrastructure и выбрать одну, где захотите остаться по итогам испытательного срока.
Всего их шесть:
⏺ Storage — команда общего хранилища;
⏺ VideoPlatform — команда видеоплатформы;
⏺ NOCDEV — команда околосетевой разработки;
⏺ Cloud Network Infrastructure — команда развития и эксплуатации сети Yandex Cloud;
⏺ Xiva — команда транспорта нотификаций;
⏺ HaaS — команда hardware as a service.
Если вы любите сложные задачи, знаете C++, Go или Python и хотите создавать сервисы, которыми пользуются десятки тысяч разработчиков, ждём вас в Core Infra Bootcamp.
Все понимаем и никуда не торопимся🤙
Читать полностью…
🤝 Мы часто проводим мероприятия, но в этот раз хотим сделать это вместе с вами
В начале июня состоится большая конференция Яндекса по инфраструктуре, и приём заявок на выступления уже открыт — будем рады видеть вас в качестве спикеров!
Ключевые темы:
▫️ Platform Engineering — создание и поддержка инфраструктуры и платформ для эффективной разработки и разработчиков. Собственные vs вендорские решения;
▫️ DevOps-практики и культура, включая DevNetOps и DevSecOps;
▫️ Эксплуатация систем: управление конфигурациями, SRE, доступность, отказоустойчивость, мониторинг, логирование, наблюдаемость систем, тестирование, безопасность;
▫️ Аппаратное обеспечение, умные устройства;
▫️ Базы данных и хранилища;
▫️ Инструменты коллаборации, разработка и эксплуатация;
▫️ Инфраструктура и аналитика ML.
➡️ Подать заявку можно до 1 апреля по ссылке.
По любым вопросам, пожалуйста, пишите Саше Галкиной: galkinaal@yandex-team.ru / tg @nu_saash
А где можно будет посмотреть фото/видео с ивента?
Читать полностью…
Да, есть поддержка миграций данных между YDB и YT, внутри активно пользуемся для создания резервных копий в YT и загрузки данных из YT в YDB
Читать полностью…
YTsaurus предоставляет API, в которое можно писать откуда хочется. Это push-модель, нам не важно, откуда именно пишутся данные.
Можно собирать данные по pull-модели, запуская внутри системы пользовательские джобы, которые собирают данные и пишут их в таблицы, но это опять будет пользовательский код, про который система ничего не знает.
#вопрос #ytsaurus
А можно сообщить как бы обеспечиваете кворум, в чем там отличие от raft ?
Как я понял, это protocol hydra
Да, можно
Мы развиваем свой k8s оператор
Можно почитать про то, как развернуть, в документации в «руководстве администратора» (ссылку не дают оставить)
Да, на гитхабе есть инструкция по запуску.
Читать полностью…
Это задача системы более высокого уровня. YTsaurus — это слой хранения и обработки, а поверх этого можно настраивать разные событийные системы, которые будут читать данные из очереди и делать что нужно.
Читать полностью…
#вопрос
Как происходит интеграция YTзавра с Алисой? Если точнее, участвует ли ваш продукт в сборе больших данных напрямую с устройств с ограниченным мощностями или этот вопрос решает уже непосредственно их команда?
Коэффициент репликации на данных устанавливается вручную, система только следит за наличием нужного числа реплик. Зачем его автоматически менять — непонятно, предсказывать аварии мы не пытаемся. При размещении реплик учитывается rack и dc awareness.
Читать полностью…
#вопрос
Умеет ли YTsaurus изменять коэффициент репликации?
Допустим произошла авария, или что то пошло не так по вине сервера или дата центра.
#вопрос данное ПО можно ли рассматривать как отечественную замену хадупа для критической инфраструктуры?
Если да то были ли запросы на внедрения от крупнейших компаний рф которые попадают под указ о критической инфраструктуре?
Всем привет!
Итак, длинные выходные позади - и пришло время выполнять обещания и возвращать техdevrel-долг! 👋
Мы подготовили для вас материалы с прошедшего Я.Субботника по инфраструктуре - презентации спикеров и фотографии. Они лежат тут.
Также всем участникам мы отправили на почту форму обратной связи — делитесь своим мнением о мероприятии, нам важен ваш фидбэк ❤️
Наша команда говорит большое СПАСИБО всем участникам! Спасибо, что слушали, поддерживали наши инфраструктурные разговоры, задавали вопросы (много!), делились опытом и создавали настроение 🙌🏻
Ждем встречи снова 🫶🏻
Всем привет!
Обещали подгрузить фото с Субботника к концу недели) но придется перенести на пару дней - на начало следующей)
прошу понять и простить 🙃🙌🏻
Привет! Трансляция доступна на YouTube) по ссылке в закрепе (в первом комментарии таймкоды).
А фото и отчетный ролик выложим сюда к концу недели 🙌🏻
Хорошое предложение, надо бы пофлеймить, там столько разнообразного ;)
Жаль, сегодня не на субботнике
Готовимся к другой конференции, на следующей неделе будем рассказывать про систему forc в Нижнем Новгороде, надо все перепроверить)
defcon-nn dot ru
Hydra очень похож на raft, отличия в основном технические.
Читать полностью…
#вопрос
Обладает ли YT интеграцию с YDB?
Да, есть штука под названием chyt (clickhouse over ytsaurus), можно задавать CH-запросы поверх таблиц в YT.
Читать полностью…
Есть самописный инструмент Odin (ищется на нашем гитхабе, ссылку не дают запостить), это комплект из нескольких десятков проверок вида "создать таблицу и проверить, что данные читаются". Дальше из него отправляются данные в любую систему алертинга, у нас внутрияндексовая используется.
Читать полностью…
#вопрос каким образом и какими инструментами мониторите состояние YT?
Читать полностью…
#вопрос. on premise версия есть Ytsaurus? Чтоб поднять у себя!
Читать полностью…
#вопрос
Как убедить своего cto перейти с понятного хадупа, с которым умеют работать и аналитики и эксплуатация на ytsaurus ?
Я не админ яндекса, поэтому и спрашиваю.
Читать полностью…
#вопрос ytsaurus интегрируется с ldap / isso ?
Читать полностью…
#вопрос Возможно ли настроить автоматические уведомления на email или мессенджер на основе триггеров по какому-то фильтру/запросу? Например если складывать в YTzaurus логи.
Читать полностью…
Используется ли в дата центрах яндекса протокол NVMe. Не диски в серверах, а именно протокол.
Читать полностью…