66430
НЛО с вами! Хабр Новости → https://t.me/habr_com_news Хабр Карьера → https://t.me/habr_career Реклама (продвигаем только статьи с Хабра) → adv@habr.team Вопросы → @shelsneg Админ → @vololoshin
Знакомство со слоем абстракции Netflix для хранения временных рядов
В Netflix разработали слой абстракции для хранения данных, представленных временными рядами (TimeSeries Abstraction). Это универсальное и хорошо масштабируемое решение, спроектированное в расчёте на эффективную работу с большими объёмами временных данных, описывающих жизненные циклы различных событий. Задержки доступа к данным в этой системе крайне малы и измеряются миллисекундами. Она отличается экономической эффективностью и может использоваться в самых разных сценариях, предполагающих работу с временными рядами.
В этом материале мы поговорим об архитектуре, принципах проектирования и реальных способах применения TimeSeries Abstraction, а также посмотрим, как эта система расширила возможности платформы по управлению темпоральными данными в масштабах Netflix.
⚡ Новости к этому часу
🫡 Ушёл из жизни Дональд Битцер — американский инженер и ученый-компьютерщик, соавтор плазменного дисплея и отец PLATO (ФОТО)
🐦⬛️ В США птичий грипп перешёл от птиц к человеку, пациент госпитализирован
🏴☠️ Cloudflare начала блокировать URL пиратских сайтов «по юридическим причинам»
👨⚕️ Учёные призывают остановить исследования «зеркальных микробов»
👁 Исследователи взломали информационную систему автомобилей Škoda по Bluetooth и смогли следить за происходящим в салоне
📈 Курс биткоина впервые превысил $105 тыс. (более 10,8 млн рублей)
🇷🇺 Число пользователей портала «Госуслуги» выросло до 112 млн за 15 лет работы проекта
🛰 «Роскосмос» опубликовал рассекреченные документы о запуске станций на Венеру
🎥 Суд в США постановил заблокировать TikTok 19 января
🟠 НАСА начало расследовать авиакатастрофу «Индженьюити» на Марсе
#новости
👉 Сегодня в 17:00 МСК мы вместе с наставниками из школы программирования Хекслет разберём типичные ошибки в тестовых заданиях участников спецпроекта и дадим советы, как их улучшить.
С нами в эфире:
— Александр Чепайкин, Senior Python Developer, ЕДИНЫЙ ЦУПИС
— Сергей Шалыгин, middle frontend-разработчик в Лаборатории Касперского
— Александра Фадеева, QA release manager, gamedev
— Вугар Дамиров, ИТ-лидер команды, финтех
🔥 Будет горячо, не пропустите!
На прошедшей неделе мы писали грязный код, собирали систему мониторинга фильтра воды, поступали на факультет пиратов в МГУ и использовали копеечную советскую микросхему для оживления часов.
Лучшие публикации недели (9-15 декабря 2024)
Альтернатива нэшвилловскому моду: телекастер с хамбакером в нековой позиции
Сегодня мы совершенствуем дешёвую электрогитару TERRIS TTL-039 YW. Чтобы она не фонила, потребовалось экранирование графитовым лаком, а для комфортной игры пришлось исправить угол установки грифа относительно корпуса. При совсем небольших дополнительных вложениях из китайского ширпотреба получилась играбельная электрогитара, обладающая высокой степенью универсальности для концертной и студийной работы.
«Привет, меня зовут Миша. Я инженер по качеству в компании ГРАН Груп. Мы производим печатные платы, в том числе для оборудования, где один сбой стоит жизни: для кардиостимуляторов, аппаратов ИВЛ, систем управления поездами, самолётов и ракет. В статье я рассказываю, какие ошибки клиента стоят больших денег и ваших жизней, про боль госпредприятий и как мы проверяем качество платы»
Если наша электроника откажет, то кто-то умрёт
«Совсем недавно мы начали новый виток развития Алисы: мы хотим поместить в самое сердце (точнее, в самый мозг) нашего диалогового движка большую языковую модель. В этом году мы уже добавили в Алису возможность отвечать с помощью LLM на любые вопросы, а теперь взялись за то, чтобы Алиса стала более универсальной и могла выполнять любые задачи пользователя»
Смарт-функции в Алисе: как LLM помогает понять, чего хочет пользователь
[ХАБРААРХИВ]
«В декабре 2015 года я обнаружил критически опасную уязвимость в одном из сайтов PayPal для бизнеса, которая позволяла мне выполнять произвольные команды на веб-серверах внутри корпоративной сети. При отправке веб-формы на сайте manager.paypal.сom в одном из скрытых параметров передавались закодированные данные в виде сериализованного объекта Java. Данный параметр можно было подделать, изменив название класса и значения его свойств, что и привело к выполнению произвольного кода на серверах. Я немедленно сообщил об этой проблеме в PayPal, и она была быстро исправлена»
Взломать PayPal за 73 секунды
#хабраархив
Ещё один монитор CO2 без датчика CO2
Там, где что-то стоит дорого и по определению не может стоить дешевле, ушлые производители обязательно предложат «полноразмерный макет» за полцены. Подобными «макетами» домашних мониторов CO2 много лет забиты все маркетплейсы.
Но тут история иная. Во-первых, цена как у реальных приборов. Во-вторых, это не абсолютный ноунейм. И в-третьих — производитель открыто заверяет, что установлен дорогой инфракрасный датчик. Так почему бы не попробовать?
Вот небольшой рассказ про все эти датчики и пара советов, как не промахнуться
История YOLO — самой известной архитектуры компьютерного зрения
YOLO расшифровывается как You Only Look Once. Это широко известная архитектура компьютерного зрения, которая знаменита в том числе своим огромным количеством версий: первая из них вышла в 2016 году и решала только задачу детекции объектов на изображении, а последняя — одиннадцатая — появилась в сентябре этого года и уже представляет из себя целую фундаментальную модель, которую можно использовать для классификации, трекинга объектов на видео, задач pose estimation и т. д. Всё это — в реальном времени.
Да, за 8 лет своего существования YOLO стала своеобразным трансформером во вселенной компьютерного зрения: её любят и используют повсеместно.
Эта статья — полноценная техно-история YOLO. Поговорим о том, что представляет из себя задача детекции, как работала самая первая YOLO и как её дорабатывали во всех последующих версиях.
Домашние эксперименты с радиолампами. Часть вторая. Практика
В первой части статьи мы говорили о том, что, несмотря на достижения полупроводниковой электроники, в ряде приложений до сих пор применяются радиолампы. И мы познакомились с работой диода, триода, тетрода и пентода. Теперь настало время экспериментов. Будем снимать анодно-сеточную характеристику триода, соберём электромер и простой двухламповый усилитель низкой частоты на стержневых лампах.
Не нажимайте эту кнопку: почему макросы Office всё ещё опасны
В 1993 году вышел Excel 5.0 — первый продукт Microsoft, поддерживающий макросы на языке Visual Basic for Applications. Это событие стало настоящей революцией для офисных клерков: сотрудники, не обладавшие специальными знаниями в программировании, вдруг получили мощный инструмент для автоматизации монотонных офисных задач, которые прежде отнимали уйму времени.
Однако макросы пришлись по душе не только работникам офисов. Всего спустя два года появился Concept — первый вирус, который эксплуатировал возможности макросов для кибератак. С тех пор макросы Microsoft Office стали излюбленным способом проникновения в корпоративную сеть у хакеров. Даже сегодня многие успешные атаки на компании начинаются с отправки фишингового письма с документом, который заражен вредоносным макросом.
Разберём механизмы работы макросов и на конкретных примерах посмотрим, как злоумышленники обходят средства защиты, которые Microsoft совершенствует уже четверть века. Отдельно поговорим про методы социальной инженерии, превращающие макросы в настоящее кибероружие в руках злодеев.
Cloud-native подход при работе с Ceph: как перестать бояться и начать деплоить
Игорь Шишкин, руководитель R&D-направления облачных сервисов Рег.ру, рассказывает, как в компании выбирали SDS (Software Defined Storage), как устроена конфигурация в самом Ceph, а также как происходит тестирование решений на базе Ceph и доставка конфигурации до production-окружений.
Работа с хорошими зарплатами.
Инженер по информационной безопасности в Wanted. Москва. До 2 600 000 ₽.
JavaScript fullstack в OnClass. Можно удаленно. 2000 — 7000 $.
Fullstack developer в Fundraise Up. Можно удаленно. 3800 — 6500 $.
Python developer/data scientist в Freuders. Можно удаленно. От 5500 $.
Старший серверный разработчик в SlideSpiel. Можно удаленно. 4000 — 5500 $.
Больше вакансий
#highest_salary
Важные вопросы про патенты для айтишников, ответы на которые лучше знать
Патентное право в России — почти везде. И в этом деле нет мелочей, как, собственно, во всех вопросах связанных с защитой интеллектуальной деятельности.
В этой статье вы найдёте ответы на самые распространённые вопросы, которые возникают у людей, когда они слышат это популярное, но загадочное слово «патент».
Кстати, в комментариях к статье вы можете задавать свои — авторы семи лучших будут награждены призами!
Вы не поверите, но крупнейшая кибератака на Linux-серверы сорвалась из-за человека с выгоранием и очень внимательного сотрудника. С подробностями этой детективной истории про двухлетнюю атаку на библиотеку XZ Utils можно познакомиться в канале «Порвали два трояна».
А ещё там много важного и актуального по технологиям ИБ, шпионским угрозам, атакам вымогателей, конфиденциальности, и всё это под старые добрые мемчики!
Малинка в деле: пять креативных проектов на базе Raspberry Pi
Одноплатные компьютеры от Raspberry Pi Foundation и других производителей стали незаменимым инструментом как для любительских экспериментов, так и для профессиональной разработки и промышленного использования. За годы их существования энтузиасты и инженеры воплотили в жизнь тысячи уникальных идей. Поговорим о свежих проектах, которые заслуживают внимания.
Реквием по мечте: как был сделан Wi-Fi на музыкальном фестивале Alfa Future People
Это длинная история, как несколько человек за три недели шесть лет подряд строили в чистом поле операторскую беспроводную сеть из пары сотен точек доступа на фестивале мечты, а потом за сутки её разбирали. В тексте описываются технические решения, сложности и приключения участников, представлено много фотографий и немного статистики. Из уважения к выжившим все имена сохранены, а всё произошедшее рассказано так, как было на самом деле.
Без компьютеров: как вычислители водили корабли и выигрывали войны
В первой части мы рассмотрели два вычислительных проекта, предпринятых в XVIII веке: предсказание времени возвращения кометы Галлея и создание логарифмических таблиц для десятичного деления угла. За обоими проектами стояла идея разделения труда между несколькими вычислителями, работающими по заранее составленной программе. Однако их цели были разными: первый проект был чисто научным, второй, напротив, чисто прикладным.
Сегодня Антон Басов, исследователь истории науки и техники, автор Центра непрерывного образования факультета компьютерных наук ВШЭ, расскажет о двух прикладных задачах, которые также решались при помощи вычислений — нахождение долготы и определение пути артиллерийского снаряда.
Дедупликация в OpenZFS теперь хороша, но использовать её не стоит
Посмотрим на свежую информацию об имплементации дедупа в OpenZFS, как он работал до улучшений, в чём была его проблема, что поменяли в fast dedup и почему это всё ещё не дефолт.
Магия простоты: как в 2ГИС улучшили отображение общественного транспорта на карте
Сейчас тема AI, машинного обучения у всех на слуху, и со стороны может показаться, что те, кто этим занимается — маги, которые берут нейросети, прикладывают их к правильным местам, и все проблемы решаются.
На самом деле применение сложных алгоритмов требует большой подготовительной работы по наведению порядка в процессе разработки, что занимает 90 процентов всего времени, если не больше. Более того, как только процесс налажен, может оказаться так, что никакой дополнительной магии машинного обучения уже и не нужно добавлять.
Под наведением порядка в процессе разработки подразумевается решение четырёх задач: выбор правильной метрики, подготовка данных, построение воспроизводимой системы экспериментов, перенос алгоритмов туда, где их проще всего развивать.
Узнаем, как решая эти задачи, в 2ГИС добились более точного отображения автобусов на карте, упростив существующую на тот момент сложную систему
Экономика хостера — не, она устроена не так, и зачем RUVDS действительно запускали спутник
Возможно, неожиданным для вас будет то, что лицензии на ПО стоят примерно столько же, сколько аренда места в ЦОДах по миру, и что айпишники вообще-то занимают существенную долю затрат хостера.
Конфеты врачам — это форма коррупции?
Возможно, вы знаете, что врачам-женщинам как-то традиционно принято дарить конфеты, а урологам и хирургам (обычно мужчинам) — коньяк. Но как конкретно работает эта система, какой там этикет, нужно ли приносить подарок до, после или во время лечения — непонятно.
Давайте разберём эту практику в российской системе здравоохранения
Небезопасная десериализация в PHP: как создать собственный эксплойт
Сегодня мы познакомимся с уязвимостями небезопасной десериализации в PHP, научимся писать эксплойты для эксплуатации уязвимости в рамках тестирований на проникновение и попробуем себя в анализе кода.
Квантовый чип Willow от Google: много маркетинга и мало правды
СМИ взорвали новости о появлении самого быстрого компьютера в мире. Он за пять минут смог решить задачу, которую классический ПК решал бы миллиард лет. Давайте посмотрим, на чём эти и другие громкие заявления основаны и есть ли хоть какие-то подтверждения прорыва в этом очень-очень дорогом проекте.
Горькая правда о программировании с использованием ИИ
ИИ скорее дополняет скилы опытных специалистов, чем делает разработку доступной для всех. Новичкам же важно воспринимать ИИ как инструмент обучения, но никак не замену знаниям и опыту.
«Несколько дней назад я обновлял сеть своей домашней лаборатории и решил обновить OpenWrt роутера. Подключившись к LuCI (веб-интерфейсу OpenWrt), я заметил раздел Attended Sysupgrade и попробовал обновить прошивку с его помощью.
В описании говорилось, что он собирает новую прошивку при помощи онлайн-сервиса.
Мне стало любопытно, как это работает, так что я приступил к исследованиям»
Прошивки OpenWrt: атака на цепочку поставок
⚡ Новости к этому часу
🚕 «Яндекс» начнёт показывать очередь на такси
📚 Гарвард при поддержке Microsoft собрал открытый дата-сет из ~500 000 книг, но Google не дает его опубликовать
🖥 YouTube запустил автоматический дубляж для сотни тысяч каналов
🤷♂️ Инициатива о регулировании видеоигр вызывает серьёзные вопросы у профессионального сообщества
📱 Google Play прекращает все финансовые отношения с российскими разработчиками
🐈 Генетики разобрались, как появляются рыжие коты
👏 CD Projekt Red анонсировала «Ведьмака 4» (ФОТО)
👮♂️ Полиция закрыла рынок киберпреступности Rydox, арестованы три админа площадки
🆕 Adobe представила инструмент для устранения некрасивых отражений окон на фотографиях
#новости
«В ноябре 2024 года пользователь RisingFromRuins с форума Sonic Retro заявил, что перебирая кучу PC-оборудования, купленного в этом году, нашёл CD игрового образа Sega Channel за сентябрь 1996 года. Он опубликовал фотографии CD и загрузил копию файла игрового образа с диска. Я подумал, что будет любопытно проверить, смогу ли извлечь данные из файла и посмотреть, есть ли там какие-то эксклюзивные игры или прототипы. Всегда интересно увидеть игры, в которые никто не мог поиграть более двадцати пяти лет»
Реверс-инжиниринг формата данных кабельного канала Sega
Советский одноплатник: уникальная ЭВМ «Электроника С5»
Технологический прогресс не знает компромиссов. Считается, что эпоха мейнфреймов и громоздких «промышленных» компьютеров размером с сарай окончательно завершилась с появлением высокопроизводительных одноплатников, ставших не только инструментом для энтузиастов, но и основой для разработки сложных инженерных и образовательных систем. Однако проекты компактных микро-ЭВМ, собранных на одной печатной плате, разрабатывались ещё в конце 70-х. Например, в СССР существовал проект одноплатных микро-ЭВМ «Электроника С5», которые можно назвать предками современных Raspberry Pi, Arduino, BeagleBone и их аналогов.