2193
Блог сетевого инженера. Новости телеком, IT и около IT. Связь - @UrgentPirate
traceroute-mapper - инструмент для перевода вашей трассировки на географическую карту. Не забывайте очищать карту перед следующем построением, иначе всё наложится друг на друга. IPv6 есть. Внутри, ipinfo.io, тоже приятный whois инструмент, позволяющий работать curl из консоли.
А теперь к Пиринговому форуму, я прошу прощения, что заставляю так много читать в пятницу вечером, можете это растянуть на все выходные. Просто пока свежи мои впечатления от прошедшей недели и сегодняшнего просмотра трансляции. Я буду говорить про ту часть которая про Инфраструктуру и сетевые сервисы, параллельную часть вы уже сами, при желании.
Финальная секция оправдала все мои ожидания, вишенка на торте, я бы даже сказал бриллиант Пирингового форума этого года. Нет смысла пересказывать, начинайте смотреть с доклада Максима Раевского, который, завёл аудиторию вполне конкретной актуальной проблемой, которая и обсуждалась дальше, та самая внутрянка телекомов в прямом эфире. Я всё ждал пока заявленное георезервирование выйдет за рамки Москвы, но этого не случилось. Если смотреть с моего столба, то Москва эта точка на карте, я беру каналы до Москвы, а не до какой-то точки внутри Москвы, для меня этой точки внутри не существует. Но с чем нельзя не согласится у нас всё через Москву и проблемы с M9 внутри Москвы, это проблемы всей России, такова данность.
В целом, сегодняшний форум это место где надо было присутствовать лично, потому что всё строилось от панельных дискуссий и доклад по сути был только один, про историю одного DDoS от Леонида Рыжика из П.А.К.Т. прошедшийся очень хорошо по всем аспектам, как это выглядит сейчас, при чём тут ТСПУ и как с ним быть, может быть даже дружить, но не забывать что его тоже могут DDoS'ить. А также техническими и организационным моментам со знакомыми чувствами тех кто видел это сам или погружен в проблематику. Наверное, с него прямо стоит начать смотреть весь форум, потому что все остальные доклады это вступление к обсуждению спикерами на сцене и они не идут в отрыве от этого.
Секция про то как поменялся Интернет, наверное бы никак, продолжал бы расти в своём темпе, если бы в августе не отрубился YouTube. Тут интересно, что к этому не были готовы, хотя и справились, и основные улучшения связанные с ростом внутреннего трафика мы должны уже ждать в следующем году, когда бюджеты дойдут куда надо.
Секция про безопасность была сосредоточена на DDoS и в общем борьбой с последствиями какими-то техническими или не техническими решениями. Тут было мало именно Интернета, постольку поскольку всё у нас в Интернете и в какой-то степени обсуждение DDoS из далёкого Yac2013, более полезна практическими вопросами тем что надо делать, чтобы исключить возможности некоторых атак, не на себя, а на других со своей сети - аккуратно применить в своей сети BCP38. Потому что используемые ранее эффективные способы атак никуда не делись, просто к ним добавились другие. А ещё политики MANRS для борьбы с безопасностью маршрутизации в Интернет, про которую было упомянуто лишь вскользь. Интересно, что по внешнему контуру России защититься более менее удалось, средствами ТСПУ в том числе, но и самими защищающимися тоже, поэтому источники DDoS сместились внутрь страны, которые уже не так просто срезать и надо их как минимум классифицировать. В конечном итоге все сошлись на том что ближайшее будущее это борьба двух ИИ между собой, один который формирует атаку, второй который её отбивает.
И начало про про КИИ, на самом деле про импортозамещение. Насколько я оптимистичен, но даже мне показалось через чур оптимистичным: во всём мы лучшие и в NAT и в BRAS и всё у нас скоро своё будет. Наверное да, наверное в какой-то степени можно говорить это про телеком, где набор функций достаточно прямолинеен и важны объёмы. В кровавом энтерпрайзе нужен универсальный комбайн, как раз то что ругали в том числе, где есть немного NAT, немного туннелей, немного шифрования, немного MPLS, немного того и всего. Но Пиринговый форум точно не про кровавый энтерпрайз, поэтому мы подождём ещё, пока производители обратят внимание на этот сектор.
Сначала напишу про ситуацию с NTP и Yandex станцией, потому что сегодняшний Пиринговый форум расставил некоторые точки. На картинке, слайд из презентации Александра Ильина про технические новости MSK-IX за год.
Читать полностью…
Пиринговый форум, поехали. В этом году много обсуждений, почти с каждым докладом панельная дискуссия, и, кажется, самое интересное в этом году оставили под конец дня.
Читать полностью…
Пока я жду в аэропорту и думаю какой из моих домашних роутеров я прокачаю до 800G, поделюсь с вами впечатлением о прошедшем nexthop 2024.
Получилась очень практическая конференция, на все презентации я, конечно, не попал, поэтому жду видео, чтобы пересмотреть.
Яндекс признал и осознал, что не может не радовать
15 октября мы раскатили прошивку на 10% устройств. Поэтапная раскатка обновления — это стандартная практика. Она предназначена в том числе для того, чтобы выявлять проблемы новых версий на ранней стадии. И прежде чем увеличивать процент раскатки, мы отсматриваем метрики всех ключевых пользовательских сценариев. Но число генерируемых нами NTP‑запросов исторически никогда не входило в метрики, требующие валидации, потому что NTP‑клиент годами существовал практически без изменений и не приводил к проблемам.
К 24 октября новая прошивка докатилась до 100% колонок. Опять же, критичные для пользователей сценарии покрыты автоматическим мониторингом. Если что‑то важное ломается, мы получаем уведомление. Но, как вы уже догадались, для NTP‑клиента таких уведомлений настроено не было.
. . .
Жалоб было мало, действующий регламент поддержки не был рассчитан на подобные ситуации, поэтому обращения рассматривали не в самом высоком приоритете. К 20 ноября мы нашли ошибку, внесли исправление в код и начали готовить новый релиз.
В выходные 23–24 ноября ситуация с NTP‑серверами обостряется: доступными остаются лишь четыре сервера. К этому моменту мы уже начали раскатывать релиз с исправлением на 10% устройств.
. . .
В воскресенье мы выпустили хотфикс в виде новой рантайм‑конфигурации для NTP‑клиента, который увеличивал период перезапроса с 5 до 600 секунд, уменьшая нагрузку на серверы в 120 раз. Хотфикс не исправлял проблему полностью, но был единственным быстрым способом снять чрезмерную нагрузку с NTP-серверов.
. . .
мы запланировали выделить ресурсы в общий пул NTP‑серверов. Это займёт некоторое время, потому что наши дата‑центры удалены от основных точек обмена трафиком, а для NTP‑серверов RTT (Round Trip Time) это — ключевой фактор качества. Мы установим и запустим мощности на основных точках обмена трафиком.
Для наших устройств мы заведём именную зону в соответствии с гайдлайнами проекта NTPPool.org для бо́льшей прозрачности. Генерируемый ими трафик будет локализован на наших NTP‑серверах, если мы продолжим полагаться на публичную инфраструктуру проекта.
Ещё мы добавим метрики, связанные с NTP, на этап валидации A/Б‑экспериментов, а также реалтайм‑уведомления о неполадках в этом компоненте. В том числе расширим сценарии мониторинга исходящего и входящего служебного трафика устройства в целом. Также поработаем над каналами коммуникаций и поддержкой, чтобы подобные проблемы быстрее до нас эскалировались.
Напоминание о том что такое Интернет и от том, что от этого понимания очень многое зависит, особенно когда начинаешь что-то в нём менять. Результат изменений за последние 40 лет мы уже видим и что из Интернета получится, конечно, тоже увидим.
Читать полностью…
Peering Manager дорос до 1.9, можно обновляться, если пользуетесь или попробовать, если нет.
Читать полностью…
Про технологии, на примере RIP, когда технологии под задачу, а не задачи под технологии. Кстати, дома у меня работает до сих пор. Относитесь к этому критически, всё же, статья к этому и призывает в первую очередь.
Читать полностью…
Why I stopped using OpenBSD?
Last month, I decided to leave the OpenBSD team as I have not been using OpenBSD myself for a while. A lot of people asked me why I stopped using OpenBSD, although I have been advocating it for a while. Let me share my thoughts. First, I like OpenBSD, it has values, and it is important that it exists. It just does not fit all needs, it does not fit mine anymore...
https://dataswamp.org/~solene/2024-11-15-why-i-stopped-using-openbsd.html
#system #hardware #problems
P. S. Well, such feedback should be taken into account, too.
Великий Китайский Файрвол не файрволит нешифрованный HTTP/2, Иранский тоже. Про Россию ничего не говорят, желающие могут проверить сами, специально созданным для этого инструментом. Доля сайтов с поддержкой нешифрованного HTTP/2 маленькая и в браузерах такого нет. Но если хочется быть Неуловимым Джо, то это один из способов, пока эту статью не прочитают там где надо.
Эксперименты Cisco SD-WAN со Starlink, хотя статья маркетинговая с перечислением фишек, но результаты тестов Starlink интересные. Чистый тест хуже ожиданий, потери до 4% и задержки выше, зависимость от географии. Но после того как покрутили настройки, всё, конечно, стало значительно лучше.
Читать полностью…
RIPE NCC подробно, со ссылочками и ценами, рассказывает про разные способы получения IPv6 и IPv4 адресов, документ на русском в pdf. IPv4 у них нет, точнее придётся подождать в очереди 1,5 года, поэтому только аренда у тех у кого есть или покупка на рынке.
Дизайн централизованной внеполосной сети управления для провайдеров, можно взять как пример, но тут, конечно, сразу всего много, с учётом опыта громких падений последнего времени. В любом случае придётся построить полноценную сеть рядом, что провайдерам особенно аукнется, с учётом того что даже продуктовые каналы не всегда есть возможность зарезервировать.
В датацентрах часто присутствует услуга удалённой консоли, которая, наверное, не будет доступна при проблемах самого датацентра, но по крайней мере будет доступна при проблемах с вашей сетью или устройствами. В своей инфраструктуре можно начать с консольного сервера для критичных вещей, например, Opengear, или Moxa NPort, а у Cisco есть aux порт и reverse telnet/ssh. Когда все аварийные вопросы закрыты, можно смотреть в полноценную OOB сеть, если конечно её не построили сразу в момент проектирования основной.
Обзор методов работы с файлами из приложений. Всё, конечно, не просто.
Читать полностью…
Вот пожалуй по большому счёту и всё. Главное отличие, как я уже говорил, это то что всё строится от дискуссий. При том что они все про Интернет и операторов, в конечном итоге не было, почти не было, упоминаний BGP, да и вообще никакой технической конкретики протоколов и процедур Интернета. Но вместе с этим поднимались вопросы одновременно над этим, на 8 уровне, и вопросы под этим, что делает именно дискуссию интересней в более широких границах. Поэтому надо было быть лично и, думаю, вечерний фуршет должен в этом году особенно удастся. Но я не жалею, свою потребность в общении в этом году я с лихвой удовлетворил на nexthop.
Если помните про сообщество, много букв назад, то вот такой дискуссионный подход, наверное, и позволяет его формировать, если оставаться открытым в этой дискуссии для всех мнений. Поздравляем всех организаторов с удавшимся, хотя и опять другим Пиринговым форумом.
Ещё стоит упомянуть книгу Интернет изнутри: Архитектура экосистемы Интернета / Андрей Робачевский, новое издание которой презентовали на форуме. В далёком, не помню каком году, я с удовольствием получил экземпляр из рук автора с автографом и тут же прочитал пока возвращался домой, после чего передал её в библиотеку тогдашнего работодателя. Читайте новое издание, которое теперь можно скачать, хотя и без живого автографа, хуже оно от этого не становится.
Начиная с 15 октября все потихонечку начинают страдать, в первую очередь те кто находится в ru.pool.ntp.org, включая MSK-IX, потом операторы связи которые видят проблемы с трафиком UDP и даже знают кто его генерирует. Те операторы которые не видят, чувствуют что есть какие-то проблемы, потому что, вероятно, ТСПУ тоже от этого страдает, пытаясь отбить DDoS из NTP запросов, или не пытаясь, а просто реагируя на проходящий трафик, как рассказывается в презентации Леонида Рыжика из П.А.К.Т на сегодняшнем Пиринговом форуме.
C 3 ноября, на форуме ntppool.org начинают обсуждать проблему высокой нагрузки. 14 ноября kkrusor, автор статьи и на Habr, сообщает в этой теме о своих проблемах. А 15 обсуждают уже конкретно про Россию. Всё это не зная про проблемы операторов, и, в основном, сходятся на DDoS, который не редкость. А потом, уже на Habr, где в комментариях проскакивает связь с Yandex станцией.
С 10 ноября в Yandex узнают о проблеме, видимо от жалоб тех операторов которые видят растущее количество UDP запросов, но не считают её критичной. 20 ноября, раньше чем статья на Habr, проблема внутри Yandex решена, но обновление прошивки выпущено только в выходные в экстренном режиме, уже после статьи на Habr.
Но это только предыстория, маркер ситуации, я хотел сказать про другое. Никакие чатики в телеге, обсуждения на официальной площадке проекта ntppool.org, то что это затронуло, в том числе и такого гиганта как MSK-IX, знания о проблеме внутри Yandex, не изменили привычного распорядка дня. Можно как угодно ругать Habr, но похоже это единственное связующее звено русскоязычного IT сообщества. При том такого, мнение которого имеет вес, без наличия этого веса ничего не происходит. Этот вес принёс сразу рост количества серверов в пуле, при существующей проблеме с трафиком, ещё до решения проблемы.
С другой стороны, можно констатировать, что это самое сообщество находится в сильно раздробленном состоянии, части которого общаются между собой мало, если вообще общаются. В любом случае, я думаю, что именно это общение победило, не сразу но победило, наверное могло бы победить раньше если бы общения было больше и сообщество сильнее и уважаемей, а обсуждаемые вопросы находились в конструктивном техническом ключе и не тонули в море флуда особенно в чатиках.
Мы начинаем 🎉
Зал: Инфраструктура и сетевые сервисы
Секция: КИИ, Постановление 1912 и оборудование для провайдеров
Алексей Болдин из компании RDP.RU открывает секцию с докладом на тему:
«КИИ: требования импортозамещать!»
Алексей расскажет, как критическая информационная инфраструктура (КИИ) связана с операторами связи, какие объекты КИИ есть у провайдеров, и как их категоризация влияет на их действия. Также обсудим переход на доверенное ПО и оборудование в рамках Постановления №1912.
🚩 Прямая трансляция форума
Но из того что я смог послушать, можно сказать, что подход который был взят в прошлом году, условно без матана, в этом году максимально реализовали. Естественно, для каждого матан свой, проходных и поверхностных докладов я не видел, над всем надо думать. К сожалению, я пропустил первый доклад от Hadal и про Dragonfly в Yandex (то о чём писал eucariot) и подозреваю что весь матан был сосредоточен в них, в записи увидим.
Отдельно отмечу близкие мне провайдерские темы про VK CDN от Андрея Старченкова, с программерской точки зрения, и мониторинг инцидентов BGP изнутри от Александра Азимова и Андрея Шабарова. Ещё было интересно узнать что офисная сеть Yandex живёт на FreeBSD роутерах, и что WLAN PI цветёт и пахнет со всей силой, особенно если собрать самому в два раза дешевле, а в Linux продолжают замещать стандартные функции ядра своими в userspace, потому что быстрее, о чём рассказывает Александр Демиденко в своей истории.
Всем кого встретил вчера, кто узнал и не узнал большой привет, было очень приятно пообщаться. Организаторам отдельное спасибо за организацию. Завтра Пиринговый форум вместе с которым до нового года можно каждый вечер заполнить просмотром чего-то интересного.
З.Ы. Продолжаю ругать фронтендоров, которые не реализовали прямые ссылки на описания докладов, поэтому без ссылок, щёлкайте сами с главной.
Если вдруг ещё не слышали, хотя из каждого утюга слышно, что CML теперь можно скачать и использовать бесплатно для 5 устройств, то теперь и вы об этом знаете. Какой-то аккаунт на cisco.com надо иметь и доступ не с Российских адресов, чтобы залогиниться. Есть ли смысл использовать именно CML, когда есть масса всего другого и не ограниченного по количеству одновременно работающих устройств? Наверное, нет. Cisco видимо тоже в этот вагон хочет заскочить за GNS3, EVE-NG, netlab и даже за Packet Tracer.
Читать полностью…
Наконец-то дописал статью по докладу, с которым выступал на Linkmeetup`KZ в Алматы.
Хочу сфокусировать ваше внимание на том, что это не исключительно техническая статья, что впрочем итак надеюсь будет понятно. Основная цель была в том, чтобы показать принцип инженерного подхода к решению задач и проработке тех или иных решений.
Надеюсь вам понравится, приятного чтения! ☕️
https://telegra.ph/RIP-BGP-11-23-2
Анализ labs.ripe.net по поводу обрывов кабелей в Балтийском море. Видно точное время, можно оценить количество пострадавших у кого увеличилось время отклика, и что не увеличилось количество потерь. Транзитный трафик не рассматривался, только Швеция - Литва и Финляндия - Германия.
Читать полностью…
У APNIC есть сервис который пытается отображать количество пользователей в автономных системах. Geoff Huston пишет как это устроено - на рекламных объявлениях. С точностью правда беда, в основном об этой беде вся статья. Но так как, в принципе, такой информацией мало кто делится, а если и делится то тоже привирает, поэтому хоть что-то лучше чем ничего.
Читать полностью…
Juniper про новую функцию vpn-global-import, которая должна упростить жизнь провайдерам.
Механизм разнообразных таблиц, типов маршрутов и метрик у них достаточно объёмный, что выливается в такой же объёмный конфиг для решения рядовых задач. Но с другой стороны десять раз подумаешь, а стоит ли нарушать границы, которые часто сам же и провёл.
Вспоминая свои первые шаги в профессии - понимание виланов, транковых и портов доступа, тегов, было наверное самым сложным, после этого всё завертелось быстрее.
Недавно в разговоре я столкнулся с тем, что начинающие практиковаться в сетях неотъемлемо связывают виланы с маршрутизацей и IP адресацией. Почти как здесь, где происходит в основном настройка интерфейсов маршрутизации (сабинтерфейсов, SVI) хотя названо всё это настройкой виланов. У себя я такого не помню, одно от другого было отделено, может быть потому что меня сразу пускали только коммутаторы настраивать. Вилан как сущность - это одно, а интерфейс с адресом - это другое, и одно без другого прекрасно существует.
Я не знаю как к такому можно быть готовым: Kentik рапортует об увеличении трафика Netflix в 4 раза, то же и на пиринге у Ohaio IX где в абсолютных цифрах выглядит страшнее. Эфирное телевидение с такими событиями лучше справляется, сколько бы народу не смотрело, а Netflix, судя по многочисленным отзывам не справился. Операторам связи, скорее всего, тоже досталось, вряд ли кто-то держит четырёхкратный запас, чтобы такое переварить, если заранее не знать.
Читать полностью…
Чуть больше подробностей о том как Fortnite распространяет свои обновления, что это становится заметно всем. И они так делают не первый раз, и не только они.
Читать полностью…