243
Все подряд публикации с habr.com
ClickHouse как DWH: Производительность без боли и ловушки merge-таблиц
Недавно перед нашей командой встала непростая задача: объем данных для аналитики вырос до 300 миллионов строк в день. Прежние решения перестали справляться с такой нагрузкой, отчеты строились слишком медленно, а масштабировать существующую систему было дорого и сложно. Нужно было срочно находить новое решение для хранилища данных (DWH), способное глотать миллионы строк ежедневно и отдавать результат аналитических запросов практически мгновенно.
После оценки различных вариантов (классические СУБД, облачные DWH и др.) мы остановились на ClickHouse. Эта колоночная база данных открытого кода изначально создавалась для работы с большими объемами потока событий. ClickHouse славится впечатляющей скоростью агрегаций и фильтрации на терабайтах данных и отлично подходит для аналитики при больших нагрузках. В этой статье расскажем, как мы выбрали и внедрили ClickHouse в нашем проекте, построив систему сбора и анализа данных с нагрузкой сотни…
Мы запустились в Омске
Помните, мы предупреждали, что стоит ждать горячих новостей с наступлением лета? Так вот, время пришло, и мы рады сообщить, что RUVDS запустил площадку с вычислительными мощностями в Омске! Как обычно, возможность заказать виртуальный сервер в этом регионе уже доступна на сайте компании.
Отметим, что Омск играет важную роль в телекоммуникационной инфраструктуре, выступая в качестве регионального узла, соединяющего западную и восточную части нашей страны. К тому же, сам город развивается более чем активно: он входит в список лидеров по объёму интернет-трафика, а также занимает позицию в топ-5 населенных пунктов с самым быстрым мобильным интернетом. Именно частью этого процесса развития региона и станет наша новая площадка, предоставляя нашим клиентам новые возможности и уже традиционное качество услуг RUVDS.
Правительство России утвердило план мероприятий по реализации Стратегии развития отрасли связи до конца 2035 года
Российское правительство одобрило план мероприятий по реализации Стратегии развития телекоммуникационной отрасли до 2035 года. Власти рассчитывают, что он поспособствует расширению доступа к интернету и мобильной связи в отдалённых и малонаселённых районах страны.
Экспертиза в СУБД: как и зачем мы прокачиваем заказчиков
Привет, Хабр! Я Роман Севрук, менеджер по развитию решений СУБД в К2Тех. Сегодня расскажу о нашем опыте взаимодействия с заказчиками при переходе на отечественные СУБД, и о том, почему мы готовы делиться экспертизой.
События последних лет кардинально изменили подход к импортозамещению в России. Теперь компаниям необходимо перейти на отечественное ПО, однако горизонты полного перехода остаются размытыми – у бизнеса нет возможности одномоментно перестроиться на новые рельсы.
По нашей статистике, 70% российских компаний еще не перешли на отечественные СУБД, больше половины из них готовы мигрировать, но не знают, как это сделать самостоятельно. Почему так происходит? Как изменить эту ситуацию? И главное — зачем что-то менять в этом тренде интегратору?
На примере реального проекта я расскажу, почему мы в К2Тех считаем, что будущее — за открытым обменом знаниями между интеграторами и заказчиками. Поделюсь конкретными практиками, которые помогают нашим…
Gates Notes: что Билл Гейтс советует почитать летом
Билл Гейтс опубликовал ежегодный список чтения на лето. В этот раз в подборку вошли мемуары известных людей, которые помогли Гейтсу написать его собственные. В списке оказались книги экс-главы The Washington Post Кэтрин Грэм, журналиста Николаса Кристофа, публицистки Тары Вестовер, комика Тревора Ноа и музыканта Боно.
Как в Почтатех внедряли отчетность на Luxms BI: интервью тимлида
Когда в 2022 году в ИТ-системах Почты России стартовал масштабный проект по импортозамещению, команде BI-направления в дочерней компании «Почтатех» предстояло внедрить отечественную альтернативу привычным зарубежным аналитическим решениям – Luxms BI. О том, как проходил процесс внедрения, с какими трудностями столкнулись и какие возможности открылись перед командой — мы поговорили с Евгением Дрензелевым, техлидом BI-направления в Почтатех.
Далее он расскажет о задачах, которые предстояло решить в процессе импортозамещения, а также о тех выгодах и положительных изменениях, которые были получены в результате.
Core Ultra 200S замедляют флагманские SSD. В Intel знают, но ничего не могут с этим сделать
В мире железа есть один непреложный закон: чем новее платформа, тем выше должна быть рабочая скорость. Поэтому от топовых SSD с поддержкой PCIe 5.0, используемых в системах с Intel Core Ultra 200S, закономерно ждали скоростей не ниже 14 ГБ/с. Однако на практике выяснилось, что даже самые быстрые накопители не могут приблизиться к этим показателям. Почему? В этой статье разберёмся, почему железо топовое, а скорости - нет, а также кто виноват и что делать. Спойлер: ничего.
Использование DevTools. Гайд для дизайн-ревью и не только
Дизайн-ревью —достаточно важная вещь, которая требует внимания, когда фронтенд-разработчик сверстал новую фичу, блок или целую страницу. Вовсе не для pixel perfect, который «как задизайнили, так и сверстали» — пиксель в пиксель. Pixel perfect в десктопе — это чушь, потому что нельзя сверстать так, чтобы с разных браузеров (привет, Safari) и разрешений всё смотрелось идеально. Но ошибки, которые сразу бросаются в глаза, сразу подмечаю, структурирую и обсуждаю это с разработчиком, может, появились какие-либо ограничения и прочее. Поэтому никогда не жалею время на дизайн-ревью и через DevTools сам проверяю то, что сверстал разработчик.
Все инструменты и функциональность, о которых пойдёт речь в этой статье, можно найти в браузере в «Инструментах разработчика» (клавиша F12 / Ctrl + Shift + I (на Windows) или ⌘ + ⌥ + I (на Mac), или клик правой кнопкой мыши в любом месте страницы -> Выбор пункта меню — «Просмотр кода страницы» (или «Исходный код…
От IT ботана к тимлиду-спикеру. Метод управляемого поведения
«Тело», находящееся в состоянии покоя, стремится оставаться в покое до тех пор, пока на него не подействует внешняя сила. Первый закон Ньютона. Природа защитила нас от затрат энергии. Но забыла предупредить о механизме «экономии» - автоматизации поведения.
«Ах, надо было действовать иначе!» В жизни каждого случаются ситуации, после которых мы приходим к такому выводу. Поведенческие ошибки настолько обширны, что под «надо было иначе» попадают как деловые встречи, так и личные отношения, дети, друзья, клиенты, etc.
Как поступает человек, осознав ошибку? Погрустит и забудет. И воспроизведет ошибку снова. Физиология неумолима. Срабатывает автоматизм, привычная реакция. Ошибки копятся годами и иногда бабахают так, что жизнь сломана (напр., статистики Росстата по разводам за 90%, семья, как НЕумение договариваться).
Люди склонны в неудачах винить всех, кроме себя. Забывая, что поведение – это навык. Чтобы это понять я более >15 лет изучаю поведение.…
Как я стал сертифицированным процессным аналитиком: путь к зрелому рынку BPM в РФ
Привет, Хабр! Меня зовут Матяш Артем, работаю в GlowByte ведущим аналитиком. Сегодня расскажу о своем пути к статусу сертифицированного процессного аналитика и поделюсь своими рассуждениями о том, почему сертификация имеет большое значение для сферы управления бизнес-процессами.
Математическая оптимизация для бизнеса. Часть 2. Прогнозирование спроса, оптимизация ценообразования/промо/ассортимента
Продолжая ежегодную серию статей про эффективное применение математической оптимизации в бизнесе, хотелось бы рассказать про сферу ритейла и FMCG, а именно про задачи, основанные на моделировании прогнозирования спроса и ценовой эластичности. Среди задач я постараюсь раскрыть подробности применения математического моделирования и оптимизации для динамического регулярного ценообразования, оптимизации промо и ассортимента. В чём заключаются главные задачи этих решений? Оптимизационный движок динамического регулярного ценообразования необходим для формирования рекомендаций по оптимальным ценам на товары для максимизации экономических показателей. Оптимизация промо используется для получения наиболее эффективных рекомендаций по скидкам на товары или на иные механики промо. Оптимизация ассортимента нужна для поиска лучших ассортиментных матриц с учётом влияния наличия одних товаров на наличие…
Построение платформы данных: подход и стек
Привет, меня зовут Ольга, и в этой статья я хочу поделиться с вами опытом по выбору стека для построения решений в области данных.
Как CDO я всегда заинтересована в монетизации данных и выборе релевантных подходов для воплощения в жизнь своей стратегии по работе с данными наиболее эффективным способом, поэтому особое внимание уделяю архитектуре и стеку. Технологии и подходы быстро развиваются, важно не только успевать подхватить волну изменений, но и выстроить эффективный пайплайн для всего жизненного цикла данных.
D3O представила первый в мире мотоциклетный шлем с подкладкой из неньютоновского материала
Компания D3O выпустит шлем для мотоциклистов с подкладкой из неньютоновского материала. Это будет первый в мире шлем, чьи свойства будут меняться при ударе.
Тестируем S3-совместимое хранилище с помощью Warp
В статье рассматривается практический опыт использования инструмента Warp для нагрузочного тестирования S3-совместимых хранилищ. Делимся примерами запуска тестов, объясняет ключевые параметры и помогает интерпретировать результаты. Материал будет полезен тестировщикам, работающим с объектным хранилищем и желающим проверить его производительность и стабильность под реальной нагрузкой.
Все что нужно PostgreSQL: быстрые диски, дорогой процессор и терабайты RAM
В облачном мире PostgreSQL возникает много вопросов. Какую конфигурацию выбрать для старта кластера? Сколько оперативной памяти и ядер CPU нужно под мою базу данных? Нужны ли под такой профиль нагрузки высокочастотные процессоры? Какое должно быть соотношение RAM к Storage в кластере? Хватает ли ресурсов и на системные службы, и на кэширование запросов? Не переплачиваю ли я?
Всем привет! Меня зовут Гришин Александр, я руководитель по развитию продуктов хранения данных в Selectel, отвечаю за объектное S3-хранилище и облачные базы данных. В этой статье я поделюсь своими практическими рекомендациями и ориентирами по планированию использования ресурсов кластера в PostgreSQL — в зависимости от типа и профиля нагрузки, размера данных, и характера доступа к ним. Погнали!
«Кинопоиск» представил цикл интервью «Истории „Яндекса“»
На сервисе «Кинопоиск» начал выходить цикл интервью с людьми, делающими или продолжающими делать «Яндекс», под названием «Истории „Яндекса“». По словам Яндекса, из цикла можно больше узнать о компании, взглянуть на неё глазами разных сотрудников и проследить, как они повлияли на «Яндекс», а «Яндекс» — на них.
Вебинар: «Доктор УЦСБ SOC — ваш личный эксперт по киберздоровью»
3 июня состоится вебинар, на котором эксперты Центра кибербезопасности УЦСБ расскажут, как собрать ИБ-анамнез — какие предпосылки инцидента ИБ могут быть в вашей инфраструктуре, как они выявляются и когда обращаться к специалистам. Спикеры дадут четкие рекомендации, что необходимо сделать в первые минуты обнаружения инцидента, а также покажут, как Доктор SOC обследует вашу инфраструктуру через мониторинг основных показателей ИБ и помогает поддерживать высокий уровень безопасности.
Генерация карт Таро при помощи OpenAI модели GPT-Image-1
Я решил сделать уникальную колоду карт Таро. Заказывать их у фриланс-художников дорого: каждая карта стоит от 5 USD, так что для полной колоды из 78 карт это выходит 390 USD. Перебрав разные генераторы изображений, я остановился на модели GPT-Image-1 от OpenAI, поскольку она выдаёт максимальное качество и минимальный процент ошибок. В среднем генерация одной карты занимает около минуты. Создание одной колоды обошлось мне в $25. В итоге я сгенерировал три колоды с уникальными стилями и потратил на это в общей сложности 75 USD.
Умный дом на вырост
🧱 Умный дом как часть готового ремонта для перепродажи? Почему бы и нет. Рассказываю, как мы подошли к проекту: провели электрику с запасом, поставили базовые контроллеры и реле, заложили кабели под климат, протечки, мультимедиа. Получилась универсальная, но расширяемая система. Хорошо продаётся — и не мешает развиваться.
SelfCoerce для локального повышения привилегий на Windows 10
Всем привет! Меня зовут Дмитрий Неверов, я руковожу направлением анализа защищенности внутренней инфраструктуры в Бастионе. Сегодня представлю метод локального повышения привилегий на Windows 10.
Сам подход не новый и уже после его тестирования я обнаружил статью, в которой описывается нечто похожее, но с использованием C2 и стороннего хоста. В моем случае есть только один хост.
Майские изменения в защите персональных данных: что важно знать
В мае 2025 года в России вступили в силу важные поправки в законы о персональных данных и защите информации. Разбираем важные изменения.
Релиз дистрибутива для одноплатных ПК DietPi 9.13
25 мая 2025 года состоялся выпуск проекта дистрибутива DietPi 9.13 для одноплатных ПК на базе архитектур ARM и RISC‑V, таких как Raspberry Pi, Orange Pi, NanoPi, BananaPi, BeagleBone Black, Rock64, Rock Pi, Quartz64, Pine64, Asus Tinker, Odroid и VisionFive 2. Версия проекта DietPi 9.0 вышла в январе 2024 года. Релиз DietPi 9.10 состоялся в феврале 2025 года.
Как выполнять параллельное тестирование: руководство
В мире, где скорость релизов и стабильность продукта становятся конкурентными преимуществами, последовательное тестирование превращается в узкое горлышко. Параллельное тестирование с использованием Selenium Grid предлагает решение: одновременное выполнение тестов на различных конфигурациях, что значительно сокращает время проверки без потери качества.
В этой статье подробно рассмотрим, как эффективно внедрить параллельное тестирование, избежать распространённых ошибок и интегрировать его в существующие процессы CI/CD. Будет особенно полезно начинающим тестировщикам.
Карманные ужасы: ищем хорошие хорроры для портативок
Создание хоррора для портативной консоли кажется трудной, практически невыполнимой задачей. По определению, портативками пользуются вне дома: в дороге или сидя в очереди. Ужасы, в свою очередь, требуют полного погружения и правильной атмосферы.
И всё же попытки сделать ужастики, которые могут сопровождать игрока повсюду, были. Тем интереснее, что многие из них используют особенности систем, для которых они создавались. Так что сегодня PSP и Nintendo DS будут пугать, а не веселить.
В npm нашли пакеты, умышленно уничтожающие данные
Специалисты компании Socket обнаружили в npm восемь вредоносных пакетов, которые могли уничтожать данные на системах пользователей. Их загрузили из репозитория более 6200 раз за два года.
16 стендов, 55 экспертов, 400+ участников: итоги GPB Conf
Несколько лет мы делились своими знаниями и экспертизой на разных профильных мероприятиях и конференциях, участвовали в дискуссиях... А в этом году поняли, что у нас в банке за это время произошло столько всего, что пора делать собственную конференцию. Так появилась GPB Conf.
Более 400 профессионалов приняли участие — разработчики, инженеры и тимлиды из ведущих компаний, таких как Сбер, Т-Банк, Яндекс, VK, Авито и другие. Посетители могли погрузиться в атмосферу работы в банке, послушав доклады на Hard- и Soft-треках, а также приняв участие в активностях в экспозоне с 16 ИТ-направлениями.
Особенно приятно нам было получить много позитивных отзывов. Рассказываем, что интересного было на технологической конференции Газпромбанка и делимся самыми интересными выступлениями.
Цена дарквеба: эксперты F6 проанализировали криминальные сделки в теневом интернете
Компания F6 представила результаты исследования дарквеба, включающего анализ криминальных сделок по продаже доступа к корпоративным сетям, баз данных и вредоносных программ. Дешевле всего на хакерских форумах стоят учетные записи от аккаунтов — в среднем от $10 за шт. Дороже всего — доступы в партнерские программы вымогателей — до $100 000, а также 0-day — уязвимости нулевого дня — до $250 000. Наиболее востребованными у злоумышленников оказались доступы в корпоративную сеть (Initial Access) — в зависимости от компании-жертвы цены доходят до $10 000.
Теория мертвого 2GIS
Выбрали хороший ресторан (врача, СТО, юриста, риэлтора) по отзывам и высокому рейтингу в 2GIS, а оказалось, что там если не ужас-ужас-ужас, то как-то средне, явно не похоже на то, что вы бы ожидали от рейтинга 4.8 или даже 5 баллов. Знакомо?
Все знают, что в 2GIS могут быть накрученные фейковые отзывы (а их там всего 10-20 на весь город или там 99% фейковых? Есть ведь разница!), но не все умеют их легко опознавать. У 2gis, похоже, еще нет антифрода (что вполне нормально для пет-проекта, который делают веб-программисты в свободное время), но вы теперь можете различать ботов-зомби-инопланетян через мой антифрод af2gis, и выбирать себе те заведения, которые нравятся людям, а не ботам.
Статья будет длинная (она про все подряд о чем я думал и с чем разбирался последнее время), но тех, кто ее прочитает ждет фантастическая награда! Они смогут ходить в самые лучшие заведения города, их будут обслуживать самые красивые и шустрые официантки, еда будет очень вкусной, порции огромными и все это за…
Внедрение крупного open-source проекта only office server с портированием на astra linux
Я работаю в одной региональной государственной организации, в которой потребовалось внедрить онлайн систему управления документами, умеющую работать с документами формата docx и xlsx.
Конечно прежде чем что-то внедрять происходит анализ существующих решений и целесообразность их внедрения. Казалось бы тут как нельзя кстати походит Р7 офис корпоративный сервер, так как это решение входит в реестр отечественного ПО и нацелено как раз на этот рынок.
Был сделан запрос цены в АО «Р7», но когда руководство увидело предложение от правообладателя Р7, то сразу отклонило это предложение, ведь оказалось, что цена на 2 порядка выше, чем себе это представлял руководитель. Я могу понять правообладателя, ведь он потратил деньги на сертификацию, программистов и т. д., но нашему руководству этого не понять у них бюджет строго ограничен.
Итак задача изменена на внедрить онлайн систему управления документами но настолько дешево…
Soft skills которые изменили мою жизнь и могут изменить вашу
Четыре года назад я упёрся в стену. Я работал QA инженером, изучал инструменты, автоматизацию, базы данных — но карьерного роста не было. Мне хотелось развиваться, двигаться в сторону тест-менеджмента, но одних технических навыков оказалось недостаточно. Тогда я впервые осознал, что не только харды определяют успех.
Soft skills стали тем, что помогло мне выйти на новый уровень. Я научился планировать, делегировать, вести переговоры, работать с командой. Всем привет! Меня зовут Сергей Лебедев, я QA Lead в Яндекс Лавке и в этой статье я расскажу, какие soft skills действительно важны, как их развивать и почему без них сложно расти в IT.