3296
Новости, статьи, книги и видео из мира разработки софта Автор @adilkhash Веду блог https://khashtamov.com/
GIL и Python
Python, пожалуй, самый популярный язык программирования в дата инжиниринге несмотря на то, что его постоянно ругают за производительность и обжорство. Свои позиции он не сдал чего не скажешь, например, о Scala ☠️
Python своей "тормознутостью" отчасти обязан некогда архитектурному решению под названием GIL. Многие слышали эту аббревиатуру, но не все знают причину по которой появился GIL и как он работает под капотом. Если вам это интересно, то держите отличный доклад на русском языке: Зачем нужен GIL и как от него избавиться? от Евгения Афанасьева.
В Python версии 3.13, релиз которой будет уже в октябре, добавили опциональную возможность отключить GIL 😲, нюансы описаны в PEP-703. И про это есть в докладе у Евгения.
В общем, must watch
Курс про Apache Airflow бесплатно
Решил выложить свой курс про Apache Airflow абсолютно бесплатно для всех: Apache Airflow 2.2: практический курс
За то время что существует курс, Apache Airflow успел обрасти множеством новых фич, которые только предстоит покрыть в будущем, возможно в виде отдельных роликов на Ютуб или в виде статей у себя в блоге.
В любом случае курс не потерял своей актуальности и может послужить неплохим введением для новичков и более опытных пользователей. Например, в курсе я подробно разбираю как развернуть у себя на сервере production-ready Airflow, а также настроить автодеплой дагов через GitHub Actions.
Велком!
State of Kubernetes — результаты исследования о работе с Kubernetes в России
Команда VK Cloud провела исследование среди российских компаний, чтобы выяснить их опыт и планы по работе с Kubernetes. В исследовании приняли участие более 400 респондентов разных должностей и отраслей, а свои комментарии к результатам опроса дали эксперты из «Фланта» и Luntry.
Кратко: Kubernetes стал отраслевым мейнстримом. В России больше половины компаний, которые используют оркестраторы, работают с K8s. Количество инсталляций будет расти — 82% респондентов в ближайшие два года увеличат количество кластеров, при этом 44% планируют расширение более чем на 50%.
Также из отчета вы узнаете:
• Какие оркестраторы используют в России и какую долю занимает Kubernetes.
• В какой инфраструктуре работают с K8s. Как это изменится к 2025 году.
• Какие результаты от работы с Kubernetes получают компании.
• Каковы планы по инвестициям в развитие работы с Kubernetes на два года.
• Какие существуют сложности по обеспечению безопасности и что планируют компании для защиты кластеров Kubernetes.
Отчет бесплатный.
Получить исследование
Вводный гайд по работе с GitHub Copilot от Microsoft: https://github.com/microsoft/Mastering-GitHub-Copilot-for-Paired-Programming
Читать полностью…
Вышла 5-я версия Django: https://www.djangoproject.com/weblog/2023/dec/04/django-50-released/
Читать полностью…
django-trix-editor
Написал интеграцию WYSIWYG-редактора Trix от 37signals для Django: django-trix-editor
Удобный и минималистичный редактор для вашего веб-приложения =) Накидайте звёздочек в репу, пожалуйста ⭐️⭐️⭐️⭐️⭐️
Привет! На связи организатор IT-конференций по разным направлениям разработки Podlodka Crew.
♨️ Приглашаем посетить третий сезон Podlodka Java Crew. Окунёмся в масштабную и важную для каждого Java-разработчика тему «Работа с базой данных» и рассмотрим её со всех возможных сторон. Ведь какой бэкенд без SQL?
В этом сезоне вас ждёт много дискуссий, мнений и нетворкинга. В программе не только технические доклады, но ещё и два публичных собеседования, воркшопы и круглый стол:
🔸 Поговорим про паттерны обработки данных - стриминг, батчи, cdc;
🔸 Узнаем, как не наступить на грабли сочетая Debezium с Postgres;
🔸 Разберёмся в тонкостях CRUD-сервисов: Spring, Jooq, PostgreSQL, Liquibase, Testcontainers
🔸 Сравним использование NoSQL и SQL баз данных на конкретных примерах.
🤓 А ещё в программе — традиционный бар на тему «Интеграция через базу — не антипаттерн» — обсудим и поделимся опытом.
🤑 Для ранних пташек — низкие цены! Посмотреть программу и купить билет со скидкой можно на сайте:
https://podlodka.io/javacrew
Пользователи Angie получили возможность мониторить состояния веб-сервера через визуальную консоль
С новыми версиями у пользователей Angie появилось сразу несколько возможностей организовать мониторинг состояния веб-сервера. Один из них — Console Light — легковесная визуальная консоль для мониторинга активности в реальном времени. Она отображает ключевые показатели нагрузки и производительности сервера.
Мои друзья из Angie написали на Хабр подробный разбор того, как можно настроить всесторонний мониторинг Angie, при этом не потеряв по дороге частичку своей души. Подробнее можете почитать тут.
К слову, а демо-версию Console Light вы можете попробовать по ссылке.
Отличная новость для багхантеров: Одноклассники повысили баунти до 15 октября и добавили в скоуп apptracer.ru и api-hprof.odkl.ru. А выплаты за server-side уязвимости и вовсе удвоены: максимальная, например, составит 2,4 млн рублей.
Узнайте больше о программе на любой из трёх площадок: bi.zone, standoff365, bugbounty.ru.
Отличный гайд о работе процессора простым языком: https://cpu.land/
Читать полностью…
Крупнейшая в России конференция по инженерии данных SmartData 2023: 6-7 сентября в онлайне, 13-14 сентября офлайн в Москве (с возможностью подключиться к трансляции).
В программе доклады об архитектуре платформ, инструментах, DataOps, отказоустойчивости и внутреннем устройстве баз данных.
Также вас ждут живые дискуссии, круглые столы, новые знакомства и возможность перезагрузиться от рабочей рутины как в онлайне, так и в офлайне. В офлайне будет еще больше нетворкинга и афтерпати для всех участников.
Посетить конференцию можно за счет компании. Но если будете покупать билет самостоятельно, воспользуйтесь промокодом нашего канала devbrain — по нему билеты «Для частных лиц» будут дешевле.
Программа конференции и билеты — на сайте.
ML Research Engineer
GOAT.Al
4.000 to 5.000 USD NET per month
Almaty Office
GOAT.Al is a research lab on Human <> AI engagement.
The team behind the popular app GoatChat.Al.
We are working on solving the problems of large language models, including hallucination, mode collapse, and context length limitations.
Responsibilities:
• Conduct cutting-edge research on large language models
• Write and publish academic papers describing new research
Requirements:
• Broad knowledge of academic research in the field of deep learning, with a focus on the latest trends and papers
• Experience with PyTorch and related frameworks like DeepSpeed and HuggingFace
• Knowledge of state-of-the-art training techniques, including mixed-precision training
• Proficiency in MLOps and experience with distributed training
Optional skills: Experience with natural language processing (NLP) or reinforcement learning (RL) is preferred, but not required.
Contacts:
📧 yerzat.d@goat.ai
@rempact
Доклады с DjangoCon Europe 2023:
— Squeezing Django performance for 14.9 million users on WhatsApp
— Building and scaling a live event platform with django-channels
— Tuning PostgreSQL to work even better
— Good form: How Django’s form rendering improved during the 4.x series
Выше список наиболее интересных с моей т.з. докладов с прошедшей конференции. Полный список можно посмотреть тут.
Бесплатный курс об изучении языка Rust. Курс рассчитан на 12 полных недель. Каждую неделю открывается новый материал для изучения, сейчас доступен материал 1-й недели.
Читать полностью…
🔐 Насколько вы уверены в безопасности своей корпоративной сети?
22 марта в 11:00 по Москве приходите на вебинар Лаборатории Касперского и межсетевого экрана ИКС, чтобы узнать:
— как изменился характер IT-угроз за последний год
— какие теперь цели ставят киберпреступники
— какие методы используют для их достижения
Регистрация на вебинар
💡Будьте в курсе главных трендов информационной безопасности этого года, познакомьтесь ближе с инструментами защиты сетевого периметра в ИКС.
👍 35 дней бесплатного тестирования ИКС с модулями Kaspersky. Подробности по ссылке.
Django 5.1 has been released: https://www.djangoproject.com/weblog/2024/aug/07/django-51-released/
Читать полностью…
Всем привет!
Я сделал курс по Luigi бесплатным для всех, велком изучать — Введение в Data Engineering: дата-пайплайны
Luigi это компактный инструмент для построения зависимых между собой задач на базе нескольких сущностей: Task, Target. Он идеально подойдёт там, где Airflow кажется избыточным инструментом. В далёком 2017 году я писал небольшой обзорный пост на Luigi у себя в блоге: Строим Data Pipeline на Python и Luigi. С тех пор мало что изменилось в концепции инструмента, он по прежнему компактный и простой, именно в этом вся его прелесть.
Вокруг Kubernetes в VK — одно из крупнейших Kubernetes-сообществ в России, вы с нами?
Всё началось еще в 2019 году, когда команда VK провела первую российскую Kubernetes-only конференцию. С тех пор в канале публикуются новости Kubernetes Conference и других серий — DevOps, Databases, Big Data.
В канале вы найдете:
🔹 подборки российских и зарубежных материалов про Kubernets
🔹 советы по работе с инструментами
🔹 тьюториалы по работе с облачными программами
🔹 записи вебинаров про кибербезопасность
и многое-многое другое!
👉🏻 Подписывайтесь на Вокруг Kubernetes в VK, будет интересно!
DjangoCon US 2023
В сети появились доклады с DjangoCon US 2023: https://bit.ly/3teUC3P
Github Copilot теперь и через командную строку: https://github.blog/changelog/2023-11-08-github-copilot-in-the-cli-now-in-public-beta/
От себя скажу, что пользуюсь Copilot практически с момента его появления, очень выручает в написании тестов =)
23 октября вышла первая бета Django 5.0: https://www.djangoproject.com/weblog/2023/oct/23/django-50-beta-1-released/
Django 5.0 будет поддерживать Python 3.10 и выше. Версия 4.2 это последняя ветка, которая поддерживала 3.8 и 3.9. Если планируете обновиться, то имейте это в виду. Чуть позже в блоге будет разбор новых фич. Финальный релиз запланирован на начало декабря 2023 года.
Релиз Python 3.12: https://pythoninsider.blogspot.com/2023/10/python-3120-final-now-available.html
Читать полностью…
Налетай, разбирай. В Ютубе появились доклады с прошедшей конференции EuroPython 2023: https://www.youtube.com/playlist?list=PL8uoeex94UhFcwvAfWHybD7SfNgIUBRo-
Читать полностью…
Отличная новость. JetBrains выпустила отдельную IDE под язык Rust: https://blog.jetbrains.com/rust/2023/09/13/introducing-rustrover-a-standalone-rust-ide-by-jetbrains/
Читать полностью…
Всем любителей фреймворка Django посвящается: https://www.youtube.com/watch?v=wK3q_HelAyU
Читать полностью…
Спустя полтора года "молчания" в блоге, я таки написал небольшую заметку про тестирование RQ в Django с использованием fakeredis: Django, RQ и FakeRedis
Читать полностью…
Beeline Data Engineering Meetup: Решение бизнес-задач с помощью данных
🗓18 июля, 17:00 (МСК, GMT +3)
🌐Онлайн
В программе:
✔️ Максим Петров — «ETL Pipelines как микросервисы»
Внедрение микросервисов на ETL-потоках для создания системы со встроенными аналитическими возможностями.
✔️ Андрей Чучалов — «Как оптимизировать параметры запуска приложения Spark — ищем проблемы и повышаем производительность»
Доклад о том, как выявить ошибочную конфигурацию приложения, рассчитать параметры работы и эффективно использовать ресурсы кластера.
✔️ Владислав Шевченко, Оксана Солдатова — «Как мы управляем данными с помощью каталога данных»
Как в Альфа-Банке и билайне выбирался и внедрялся каталог данных: что от него ожидали и что фактически получилось.
Вы сможете задать вопросы спикерам и подискутировать с другими участниками. Авторы лучших вопросов получат подарки🎁 А еще будет разыгран онлайн-билет на конференцию SmartData 🔥
Участие бесплатное. Нужно только зарегистрироваться.
В сети появились долгожданные доклады с прошедшей в конце апреля конференции PyCon US 2023: https://bit.ly/3WLW0oG
Читать полностью…
Django 4.2 LTS
Вчера вышла LTS версия Django 4.2. Из значимых изменений:
— поддержка psycopg3 (асинхронный режим для работы с PostgreSQL)
— возможность добавлять комментарии к таблицам/моделям
— тёмный режим в админке Django
— асинхронный интерфейс для Related Managers
Привет! На связи Podlodka Java Crew!
А вы используете микросервисы? Это давно стандарт коммерческой разработки, но часто командам бывает сложно обеспечить согласованность данных, наблюдаемость, метрики, трейсинг. Поэтому темой второго сезона нашей онлайн-конференции выбрали микросервисную архитектуру.
Опытные эксперты расскажут:
🌟Как обеспечивать целостность данных в микросервисных архитектурах. Архитектор с 20+ годами опыта Филипп Дельгядо строил продукты в Яндекс.Деньгах, 1ЦУПИС, OpenWay и других финтех-проектах. Филипп разберёт паттерны реализации целостности, раскроет содержание понятия «саги», расскажет о связанных проблемах.
🌟Что делать, чтобы падения из детективных историй превратились в понятную последовательность логов и трейсов. Архитектор / IT leader цифровой платформы продаж Альфа-Банка Максим Чернухин объяснит, как обеспечить observability, на примерах реальных кейсов.
Ещё больше подробностей — на сайте. Стартуем 20 марта. Поспеши! Билеты ещё можно купить по сниженной цене 😉