Привет! К 20-летию «Единой России» мы подготовили материал о главных несдеражнных обещаниях партии власти
ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА
Почему мы решили взять только невыполненные обещания?
Во-первых, об успехах «Единой России» и так немало сказано: партия в 2021 году выпустила брошюру «100 главных дел „Единой России“», в которой депутаты перечислили свои заслуги. Прогосударственные СМИ тоже часто освещают деятельность партии.
Во-вторых, мы заметили, что среди выполненных «Единой Россией» обещаний нет глобальных, ключевых изменений. Побороть бедность, коррупцию, достичь уровня жизни как в Европе, сделать доступным жилье и качественную медпомощь, обеспечить россиянам свободу выражения мнений — все это не исполнено. А выполнены не настолько глобальные обещания — например, зафиксировать цены на жизненно важные лекарства или компенсировать плату за капремонт бедным.
В-третьих, в 2021 году председатель «Единой России» Дмитрий Медведев заявил, что предвыборная программа 2016 года выполнена, «несмотря на внешнеполитические трудности, санкции и пандемию». Но это не так, и об этом важно говорить. Тем более в 2016 году на съезде партии Владимир Путин заявил, что критика действующей власти «нужна и обязательно должна быть».
В текст и видео мы отобрали темы, которые можно проверить на данных. Их было много, поэтому текст писали всем дата-отделом. И вот как мы построили работу.
📍Сбор данных
Обещания мы искали в программах и манифестах партии. Некоторые программы 2000-х годов с сайтов уже удалили. Мы смогли их посмотреть с помощью Wayback Machine, который хранит архивные копии сайтов. Из каждого документа мы выписывали обещания, которые можно проверить на данных.
📍Фактчек
Для проверки мы использовали данные российских ведомств и международную статистику. Источниками стали:
🔹 Росстат,
🔹 Министерство просвещения (данные по школам и детям-сиротам),
🔹 платформа ЕМИСС (агрегирует статистику разных ведомств в одном месте),
🔹 Судебный департамент (данные по судебным решениям и оправдательным приговорам). В более удобном виде их можно получить на сайте платформы для доступа к статистике уголовных дел «Достоевский».
🔹 Исследования российских институтов: РАНХиГС, ВШЭ.
🔹 Статистика профильных НКО — Transparency International*, правозащитного центра «Мемориал»*, фонда помощи хосписам «Вера».
Опросы Левада-центра*, ВЦИОМ, ФОМ.
🔹 За международной статистикой обращались к данным World Bank и Организации экономического содружества.
📍Визуализация
Простые линейные и столбчатые диаграммы хорошо отражают реальное положение дел в России и наше место среди других стран.
Когда в тексте используются графики, важно, чтобы они хорошо смотрелись на разных устройствах, были понятны и не путали читателя. Журналисты верстают тексты на компьютере, а большинство пользователей читают материалы со смартфонов. Поэтому всегда проверяйте, чтобы визуализации хорошо отображались на мобильных устройствах разного типа. Можно просто открыть их с телефона или выбрать мобильный режим просмотра в инструментах разработчика.
Так как над текстом работал сразу весь отдел, сначала мы распределяли годы, за которые искали обещания. Когда стали понятны основные темы, их мы тоже распределили между собой. С таким подходом у нас получилось примерно за неделю собрать и проверить все обещания, которые партия давала на протяжении двадцати лет.
В разборе мы рассказали только основные этапы работы над материалом, если вас интересуют какие-то детали или остались вопросы — пишите в наш чат, будем отвечать.
Ну и конечно, читайте текст нашего исследования и смотрите видео!
* внесены в список НКО-«иноагентов». Мы обязаны это указывать, иначе наших коллег могут оштрафовать.
Привет, это Алеся Мароховская, редакторка дата-отдела «Важных историй» и Катя Бонч-Осмоловская из дата-отдела «Новой газеты»! Недавно у нас вышло совместное исследование о мифах вокруг мигрантов и о тех, кто эти мифы формирует.
ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА.
Идея изучить преступность среди мигрантов появилась после происшествия в Новых Ватутинках, когда четверо «уроженцев одного из государств Закавказья» напали на мужчину с ребенком. В СМИ поднялась буря — Маргарита Симоньян поругалась с Рамзаном Кадыровым, а СК возбудил дело о покушении на убийство. В итоге МВД обвинило СМИ-иноагентов в попытке «с одной стороны, криминализировать образ иностранца, которому он не соответствует, а с другой стороны, породить в душах коренного населения неприязнь к мигрантам».
Поэтому мы решили, во-первых, разобраться, какие СМИ на самом деле пишут о преступности мигрантов часто и какой образ приезжих в своих сообщениях они формируют. Кстати, об этом наша новая Мастерская! Прочитайте наше исследование и посмотрите Мастерскую — с помощью библиотеки word2vec вы научитесь узнавать, какой образ в разных текстах формируется у определенного явления или группы людей.
Во-вторых, мы решили проверить, а действительно ли соответсвуют ли мигранты этому образу: действительно ли мигранты опаснее россиян и какие преступления они чаще всего совершают. Для этого нам понадобились данные о гражданстве преступников и осужденных за несколько лет, их мы нашли у Генпрокуратуры и судебного департамента.
Чтобы корректно сравнивать уровень преступности среди мигрантов и россиян, нужно знать их общее количество. Если с россиянами все просто, то с мигрантами — не очень: эти данные публикуют сразу несколько ведомств, и они отличаются друг от друга. Например, ФСБ учитывает число людей, пересекших границу, МВД — вставших на миграционный учет, Росстат — зарегистрировавшихся по месту жительства. Чтобы разобраться в том, какие данные лучше показывают число находящихся в России мигрантов, мы поговорили с экспертами.
В результате оказалось, что мигранты примерно в два раза безопаснее россиян: из тысячи мигрантов преступления совершают два-три человека, а из тысячи россиян — шесть. Судя по реакции читателей, этот вывод сильно расходится с их представлениями. Кате писали, что мы наверняка что-то неправильно посчитали, и вообще, мигранты приезжают в гости и должны «не высовываться». Но данные подтверждают, что образ мигранта криминализирован незаслуженно, а виноваты в этом пропагандисты.
Чтобы не пропускать наши исследования, подписывайтесь на рассылку «Важных историй».
А если вам хочется выразить нам благодарность, вы можете оформить небольшое пожертвование, которое будет очень важно для нас!
Привет, это Соня Савина! В ноябре у «Важных историй» вышло несколько дата-материалов.
ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА
И на этой неделе мы решили поделиться с вами тем, как проходила работа над историями, как и обещали. Сегодня начну я.
Для материала «Сижу и богу молюсь, чтобы доехать живой» я проанализировала открытые данные о российском общественном транспорте. Идея родилась, когда мы наткнулись на очередное поручение президента модернизировать общественный транспорт в регионах. Чиновники обещают улучшить ситуацию не первый год, уже несколько лет в России проходит транспортная реформа – а значит это повод проверить, в каком состоянии транспорт находится сейчас.
Искать основную статистику было нетрудно: данные по наличию транспортных средств, их изношенности и возрасту публикует Росстат и Минтранс, об аварийности на транспорте – ГИБДД.
В начале работы идея была амбициозная: мы выгрузили все государственные контракты на перевозки, чтобы проверить, есть ли в этой сфере конфликт интересов. Но оказалось, что не все перевозки проходят через процедуру закупок, и в некоторых регионах пришлось бы искать реестры перевозчиков на сайтах муниципальных транспортных органов. Проверить владельцев каждой компании-перевозчика вручную оказалось слишком масштабной задачей.
Поэтому мы решили рассказать подробно о ситуации с общественным транспортом на примере одного города и отправились туда с камерой, чтобы самим поездить на разваливающихся автобусах и маршрутках, и поговорить с жителями, которые передвигаются на них ежедневно. Мы выбрали Астрахань – в рейтинге городов по качеству общественного транспорта, который опубликовала компания SIMETRA, он занял последнее место. Там мы поговорили с жителями поселка, которым не на чем добираться до города; с астраханским урбанистом; бывшей водительницей троллейбуса, которая потеряла работу, когда муниципальное транспортное предприятие обанкротилось; семьей с ребенком на инвалидной коляске, которые не могут перемещаться по городу из-за отсутствия доступной среды на транспорте; водителями маршруток и другими местными жителями.
В итоге получился видеорепортаж, который продолжает традицию дата-отдела «Важных историй» показывать, что за каждой цифрой в обезличенных государственных данных скрываются живые люди.
Привет! Сегодня у нас выходит вторая и заключительная мастерская про развиитие журналистики данных в России.
ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА
Для этого выпуска мы попросили дата-журналистов из разных СМИ рассказать, что они думают о профессии, и составили небольшой практический гид по дата-журналистике в России.
Рассказываем, что с ней будет в ближайшие годы? (спойлер: будет сложно, но интересно) Где учиться и где работать?
Рассказываем→
И напоминаем, что у «Нетологии» стартовал курс по журналистике данных, на котором с нуля научат создавать дата-материалы.
Курс подойдёт:
🔹 журналистам, которые хотят научиться делать исследования на данных,
🔹 специалистам, которые работают с текстами в компаниях и должны использовать данные в своей работе.
Для подписчиков Мастерской есть дополнительная скидка 5% к уже действующей на сайте до 45% по промокоду ISTORIES2021 (действует до 31 декабря).
Привет! Это Юлия Алыкова. Сегодня у нас необычный формат мастерской.
ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА
Мы будем рассказывать про историю журналистики данных!
Сначала мне казалось, что рассказывать будет особо нечего, потому что первые дата-журналистские тексты появились в России менее пяти лет назад, а в США — не более десяти лет назад.
Но стоило только углубиться… и вот я уже рассматриваю визуализации данных шестого тысячелетия до нашей эры
🤯🤯🤯
Этот обзор мы подготовили вместе с образовательной компанией «Нетология», у которой есть онлайн-курс по журналистике данных. Новый набор стартует уже 12 ноября, обучение продлится 7 месяцев. На курсе научат анализировать данные, программировать, делать визуализации и рассказывать истории.
❗️Важно!
Для подписчиков Мастерской есть дополнительная скидка 5% по промокоду ISTORIES2021 (действует до 31 декабря 2021 года).
И еще из приятного — на курсе преподает редакторка нашего дата-отдела Алеся.
🛋️ 🕵️ Как делать расследования не вставая с дивана (потому что придется много рисерчить)
ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА
Расследование по #PandoraPapers не состоялось бы, если б источник не принес журналистам архив с 11,9 млн документов.
Но есть истории, информация для которых лежит на поверхности и доступна практически каждому.
Известный журналист-расследователь и автор @istories_media Дмитрий Великовский для Мастерской рассказал, как провести расследование не вставая с дивана.
📍 Если вам интересно узнать больше о приемах расследовательской журналистики — пишите вопросы в комменты под этим постом, и мы разберем интересные темы.
Путь, который обычно проходят журналисты в такой работе, разберем на классической истории про незадекларированную (или записанную на родственников) компанию или недвижимость чиновника.
👨👩👧👦 СЕМЬЯ
Для начала надо определиться с именами членов семьи интересующего нас чиновника.
📌Что использовать:
🔹 социальные сети,
🔹 боты для пробива в Telegram,
🔹 утекшие в Сеть базы автовладельцев и собственников недвижимости,
🔹 выписки на жилплощадь из «Росреестра»,
🔹 старые-добрые поисковики — Google и «Яндекс».
Не все эти методы безупречны с точки зрения закона о персональных данных. Однако их комбинации могут привести к нужному результату.
💸 КОМПАНИИ
Проверьте, есть ли у людей из вашего списка (у чиновника и его родственников) бизнес-активы.
📌 Искать в России можно через:
🔹«СПАРК-Интерфакс»,
🔹«Контур.Фокус»,
🔹«СБИС»
или другие подобные базы, но это дорого. Если такого доступа нет, сойдет и обычный поисковик.
Самое сложное — отсеять компании, принадлежащие однофамильцам. Здесь могут помочь те же инструменты, что и при поиске родственников.
Если у директора или учредителя есть ИП, то поискав его, иногда удается обнаружить дату рождения. Зная ИНН и дату рождения, определиться не сложно.
Если компании нашлись, проверьте их упоминания в прессе, связи (через директоров, учредителей), историю судебных тяжб, а также на предмет госзаказа на «Госзакупках».
Далее по фамилиям из списка стоит поискать и в зарубежье.
📌 Базы для поиска:
🔹Aleph от OCCRP — одна из лучших; попадается информация не только по компаниям, но и по физическим лицам.
🔹OpenCorporates — удобно использовать для быстрого транснационального поиска, а уже оттуда переходить к реестру нужной страны.
🔹ICIJ ведет базу компаний и людей, упоминавшихся в глобальных утечках данных об офшорах.
Реестры компаний есть в каждой стране, однако их публичные части сильно различаются.
Обзор европейских реестров можно посмотреть здесь.
Найдя интересную компанию, изучите ее доступную отчетность. Аффилированные лица, директора, бенефициары, кредиты, залоги, пояснения аудиторов — все это кусочки пазла, из которых потенциально может сложиться законченная картинка.
🏰 НЕДВИЖИМОСТЬ
Адреса и отчетность компаний могут привести к зарубежной недвижимости.
Иногда ее удается обнаружить и просто сопоставляя фотографии из соцсетей (боже, храни Instagram) с Google.Картами.
Алгоритм поиска и получения информации на кадастровый объект различается от страны к стране. Тут придется изучать, как администрирует вопрос конкретная страна.
Обзор европейских реестров недвижимости здесь.
В России же разумнее всего зарегистрироваться в «Росреестре» и использовать его интерфейс ФГИС ЕГРН напрямую. Либо сочетать с платными решениями, которые упрощают массовый заказ выписок.
Так, в МОЙ ФГИС ЕГРН можно бесплатно заказывать по одной выписке, а массовые запросы (до 100 штук за раз) обойдутся в 500 рублей в месяц.
P.S.
Это только общие рекомендации. Никакого универсального рецепта ведения исследования, который можно сформулировать в трех строчках, просто нет: схемы работы у всех расследователей свои.
Так что чем больше практики, тем лучше.
👩🏫 Разбёремся в данных по выборам с Полиной Ужвак
В четверг, 14 октября дата-журналистка @istories_media Полина Ужвак на стриме у Андрея Дорожного (@data_publication) расскажет о данных и выборах-2021.
Что такое «пила Чурова», «гребень Панфиловой» и «пик Венедиктова»? Полина ответит на эти и другие вопросы.
Дата: 14 октября
Время: 20:00
Предварительно нужно зарегистрироваться→
Привет! Прошли выборы и мы традиционно сделали эксплейнер по тому, как вообще врубаться во все эти графики про фальсификации. Сделали мы его опять в формате скроллителлинга.
ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА
Посмотрите, как это выглядит, а если хотите повторить, то вам сюда. Дата-журналист Алексей Смагин записал выпуск Мастерской, как делать такие штуки с помощью Flourish и капельки программирования.
Курс по скрейпингу с помощью Python! Наконец-то!💃🏻💃🏻💃🏻
ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА.
Кажется, чаще всего нас просили сделать курс по скрейпингу, и вот дошла очередь и до него! В первом выпуске рассказываем на примере сайта Кинопоиск, как собрать оттуда данные в удобную табличку с помощью двух библиотек: Beautifulsoup и Requests.
👩💻Смотреть выпуск👨💻
💪Поддержать команду «Важных историй»💪
Привет! Последний выпуск нашего курса про робота! Сегодня мы приводим в порядок наш код, структурируем его так, чтобы и сторонний человек с легкостью мог понять, что мы тут понаписали!
ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА.
Дальше у нас для вас ещё много всего полезного и интересного!
Stay tuned!
🇷🇺 Сами вы иноагенты
20 августа телеканал «Дождь» и наших друзей из издания «Важные истории» признали СМИ, выполняющими функции иностранного агента.
Власти объявили 2021-й годом борьбы с независимой журналистикой. Иноагентами признали «Медузу», Insider, VTimes и персонально 20 журналистов, «Проект» вынудили закрыться, объявив нежелательной организацией, из-за похожих подозрений закрылись издания «МБХ» и «Открытые медиа».
Под прессинг попали не только СМИ: за прошедшие 8 месяцев в реестры нежелательных/иноагентов внесли 44 организации — это больше, чем за предыдущие два года вместе взятые.
Но пострадавших от этих законов гораздо больше: десятки НКО закрылись после попадания в реестр, не выдержав гигантских штрафов и сложной отчетности. Публичной информации о них нет, а предоставить эти данные по нашему запросу Минюст отказался.
Закон об иноагентах должен быть отменен, а все пострадавшие от него журналисты — реабилитированы.
#запрещенная_профессия
#рекомендация
У Александра Амзина, автора одной из лучших книг для новостников «Интернет-журналистика», есть телеграм-канал для журналистов и медийщиков.
Там публикуются ежедневные обзоры новостей и трендов, подборки важных статей и профессиональные лайфхаки.
А ещё у канала есть чат сообщества, где случаются жаркие дискуссии о будущем СМИ, участники обмениваются полезной информацией и помогают друг другу.
Подписывайтесь, если еще не!
Мы опубликовали дата-исследование о том, сколько россиян живет в местах, до которых бригадам скорой медицинской помощи невозможно добраться за то время, что необходимо для спасения человека. И рассказали, что 20 миллионов человек — это каждый седьмой житель России — живут в местах, до которых скорая помощь из ближайшего медицинского учреждения будет добираться дольше 20 минут.
Автор исследования Соня Савина рассказывает о работе с данными:
Мне всегда было интересно, как можно измерить последствия оптимизации здравоохранения, которые повлияли на территориальную доступность помощи. Сообщения о закрытии больниц и медпунктов поступают с самых разных регионов, но как оценить масштабы?
Сделать простой график, который показывал бы, как за время реформы сократилось количество медицинских учреждений невозможно, и вот почему. Минздрав России публикует данные о количестве больниц в динамике за разные годы. И в этих данных действительно видно масштабное сокращение, но это не отражает реального положения дел. Дело в том, что это численность юридических лиц — без филиалов, а ведь на базе одного юрлица могут существовать несколько учреждений, которые расположены в разных местах. В основе оптимизации лежало не только закрытие «неэффективных» больниц, но и слияние нескольких учреждений в одно, поглощение крупными более мелких. Поэтому эксперты советуют не обращать внимание на эти данные и оценивать ситуацию по обеспеченности медицинскими койками и врачами.
Так я и сделала, но на этом не остановилась. В дата-отделе мы нашли способ измерить расстояние и время в пути от каждого населенного пункта до ближайшего медучреждения. Мы запросили у Яндекса временный доступ к API для проведения исследования и все вместе написали код на Python, который брал координаты населенных пунктов, искал ближайшее медучреждение из нашего списка и прокладывал автомобильный маршрут до него так же, как это отображается на Яндекс-картах, а затем выдавал нам время в пути. За норму мы взяли 20 минут — это установленное Минздравом время, за которое скорая должна приехать, чтобы успеть спасти жизнь человека в экстренных случаях.
Для этого нам понадобилось всего два дата-сета:
— Список населенных пунктов с координатами (данные ИНИД);
— Реестр медицинских организаций (данные Федерального фонда обязательного медицинского страхования).
Мои коллеги из дата-отдела уже считали расстояния для другого текста — про то, как 100 тысяч российских школьников в 2021 году по-прежнему с трудом добираются до школы. Они использовали алгоритм, который считает расстояния без учета дорог и естественных преград в виде гор и рек – в этом его недостаток, но его плюс в том, что такой способ доступен бесплатно каждому, в отличие от API Яндекса. Попробовать его для своих исследований можете и вы: в этом выпуске мастерской Юля Алыкова рассказывает, как написать такой код.
Привет! Это Алеся Мароховская.
Сегодня разбираемся, как отправить письмо с подборкой госконтрактов при помощи модуля smtplib.
Смотрите новый выпуск.
Всем привет! Сегодня мы с вами научимся заполнять нашу HTML-таблицу спарсенными данными о госконтрактах и увидим, наконец, топ-10 крупнейших закупок за неделю. Для этого мы изучим Python-библиотеку Jinja2 — самый популярный шаблонитизатор (что это такое, тоже узнаем).
Напоминаю, что все уроки мы публикуем и в текстовой версии, там удобно смотреть скрипты. И надеюсь, вы не бросаете работу над нашим журналистским проектом и смотрите уроки даже в такую жару 😀🔥
ICIJ выложил первую часть #PandoraPapers в общую датабазу. Теперь упоминания людей и компаний из этой утечки можете изучать и вы
ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА
Международный консорциум журналистов-расследователей (ICIJ) вечером 6 декабря обновил The OffshoreLeaks Database – добавил туда часть базы #PandoraPapers от двух офшорных регистраторов.
Теперь любой желающий может изучить информацию о владельцах офшорных компаний, доверенных лицах и посредниках.
🚩 Важно: в базе вы НЕ найдете персональные данные владельцев офшоров, информацию о банковских счетах или личные документы.
Фактически это еще один способ проверить, есть ли у интересующего вас физического или юридического лица офшор и в какой юрисдикции.
Зачем нужна эту информация и как она помогает в расследованиях, вы можете прочесть в нашем базовом гайде от Дмитрия Великовского.
Привет, это Даша Таланова! Недавно для @istories_media я написала, как по всей стране сносят памятники архитектуры ради новостроек.
ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА
Чтобы понять масштаб проблемы, я обратилась к реестрам Минкульта за 2008 и 2021 годы. Там содержатся перечни объектов культурного наследия, которые охраняет государство.
После сравнения реестров оказалось, что в 16 регионах России с 2008 года количество памятников под охраной государства сократилось более чем в два раза. Это стало отправной точкой исследования.
Понять причины массовой утраты исторических зданий мне помогли данные Росстата, эксперты и градозащитники. Большой проблемой стало отсутствие у Минкульта данных об аварийности ОКН. Искать их пришлось вручную на сайтах комитетов и департаментов по сохранению культурного наследия. В итоге собрать статистику удалось только по нескольким субъектам.
Вологодская область попала в топ регионов и по проценту аварийных, и по проценту снятых с охраны памятников. Мы отправились туда, чтобы вживую увидеть заброшки и обугленные фасады исторических зданий, а также пообщаться с теми, кто пытается сохранить то, что еще осталось от Вологды.
Неравнодушных к массовым сносам оказалось так много, что мы решили дополнительно съездить на родину волонтерского движения «Том Сойер Фест» Самару, чтобы поговорить с его основателями.
В результате видео-история рассказывает не только о масштабах и причинах утраты культурного наследия, но и о людях, которым небезразличны история и облик их родных городов.
Привет! Продолжаем изучать парсинг на Python с помощью Scrapy.
ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА.
В прошлом видео мы познакомились с библиотекой и попробовали собрать информацию о книгах из одного раздела онлайн-магазина.
В этом уроке разберемся, как быстро собрать информацию обо всех книгах во всех категориях каталога с помощью класса crawlspider.
Смотрите виде по ссылке→
А если вы хотите научиться не только парсить с помощью Python, но и создавать сайты и приложения, это можно сделать на курсе в SkillFactory.
Кроме скидки 50% в эту «черную пятницу» по промокоду ВАЖНЫЕ ИСТОРИИ в подарок будет доступен 14-недельный курс «Soft Skills для digital-менеджеров». Акция действует до 30.11.2021
Привет! Возвращаемся к урокам по скрейпингу с помощью Python!
ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА.
В этот раз разбираемся, как работает библиотека Scrapy. Сначала она может показаться немного сложной. Но если разобраться, вы получите отличный инструмент, который очень быстро собирает информацию с сайтов и легко подстраивается под любые задачи. Попробуем начать с основных действий, которые нужны в скрейпинге: будет переходить по страницам, заходить внутрь ссылок и собирать информацию о книгах на сайте интернет-магазина.
Смотреть выпуск!
Опасен ли московский туман? Разбор
ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА
Москва два дня провела в тумане. Из-за него в соцсетях начали появляться предположения, что это не просто туман, а промышленные выбросы или что-то похуже.
Чтобы разобраться, действительно ли туман опасен, дата-отдел «Важных историй» изучил данные станций Мосэкомониторинга и поговорил с экспертами.
Коротко: этот туман — природное явление и бояться нечего. Но в концентрация веществ РМ2,5* и правда выросла, потому что туман не давал частицам рассеяться.
Подробнее — в карточках.
Если хотите узнать, как в России замеряют и занижают показатели по загрязненности воздуха, читайте исследование→
*РМ2,5 — загрязнитель, в состав которого входят частицы размером до 2,5 микрометра. По данным ВОЗ, они увеличивают смертность от заболеваний сердца и легких.
Привет, это Алеся Мароховская! У нас сегодня небольшой праздник — дата-отделу «Важных историй» исполнился год!
ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА.
Да, мы с самого начала делали дата-истории, но после создания отдела их стало больше и, надеемся, они стали интереснее. В честь небольшого праздника, хочется подвести маленькие итоги, рассказать о текстах, которыми лично я, как редакторка нашего небольшого, но важного отдела, очень горжусь.
Мне очень нравится, что несмотря на то, что мы делаем дата-материалы, в них всегда есть живые герои, мы ездим в командировки по всей стране, собираем материал и делаем не только тексты, но и фильмы.
🔹«Я больше в этот ад не вернусь — я больше не хочу рожать в этой стране»
Например, можно было бы рассказать о том, как страшно рожать в России только на сухих цифрах, было бы уже достаточно емко. Но Соня Савина и Глеб Лиманский нашли героев и привезли потрясающий текст и фильм об этой проблеме в духе социальной дата-журналистики.
🔹Расходный материал «палочной» системы
Еще один материал, который можно почитать и посмотреть — это рассказ о том, как в Самарской области полицейские годами фальсифицировали уголовные дела за наркотики, привлекая к этому наркозависимых людей в качестве «штатных» понятых. Мы с Ирой Долининой несколько дней общались с теми, кого осудили, и с самими бывшими оперативниками. Поэтому этот материал дорог мне не только работой с данными, где хитрым образом в судебных решениях мы нашли 86 подставных понятых, которые участвовали в 269 делах!
🔹Рожаем как богатые — умираем как бедные. Почему в России сокращается население
Также у нас появились эксплейнеры в формате скроллителлинга! Вы скроллите вниз, а у вас меняются графики и выползает текст, который все объясняет. Вот, например, власти любят говорить, что в России женщины недостаточно рожают, поэтому Русь вырождается. Юля Алыкова, Полина Ужвак и я разбирались, действительно ли в этом проблема.
🔹Нефтяные аварии случаются каждые полчаса: исследование реальных масштабов загрязнений природы
Отдельно лично я очень рада, что мы стали делать истории об экологии и находить охренительные инсайты в данных. Тема мало освещается, но от этого становится только важнее.
🔹Целевая аудитория: как чиновники отправляют своих детей учиться в престижные вузы без конкурса
Ну и наконец всегда здорово, когда за публикацией следует реакция. После этого текста была создана специальная комиссия, чтобы разобраться в проблеме конфликта интересов при целевом поступлении.
Я выбрала всего пять текстов, чтобы уж сильно не грузить вас, но на самом деле хочется рассказывать и гордиться практически каждым материалом. И самое главное, что впереди у нас для вас еще много историй и много форматов, в которых мы хотим их рассказать.
И нам очень важная ваша поддержка! Поэтому, если хотите, оформить даже небольшое пожертвование (это безопасно!), мы всегда этому очень рады.
💰💰💰Поддержать «важняков»!
P.S. Дата-отделу «Важных историй» пока год, но самой дата-журналистике в России уже чуть побольше. И скоро мы совместно с Нетологией расскажем, как же она тут началась, что с ней сейчас и куда мы идем. На данных! И не только.
🔥 3 октября. 19:30 Мск. #PandoraPapers
ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА
@istories_media – единственный российский участник расследования.
Самое время размьютить канал 😉
Привет! А курс по скрейпингу с помощью Python продолжается!
ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА.
В этот раз разбираемся, как можно имитировать некоторые пользовательские действия. Например, листать страницы, нажимать на кнопки и вписывать условия поиска. Для этих задач отлично подходит библиотека Selenium.
Смотреть выпуск!
Привет, это Алеся Мароховская! И теперь всегда мне приходится после любого поста добавлять:
ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА.
А добавлять эти 24 слова нужно, потому что не только @istories_media, но и меня лично, а так же четверых моих коллег, Минюст признал СМИ-иноагентами. Да, вот так вот: я теперь не просто человека, я целое СМИ.
Почему вы читаете об этом здесь?
Потому что мы не единственные внесены в этот реестр. И скорее всего мы не последние.
Внесение независимых медиа и журналистов в список иноагентов — очередной ужасный этап давления на свободу слова, попытка уничтожить все профессиональное сообщество, которое публикует честные расследования и исследования о жизни в России.
Главредам медиа-«иноагентов» и журналистам-«иноагентам» грозит штраф за малейшее нарушение «иноагентского» законодательства. После двух штрафов в течение года — уголовная ответственность.
Даже перед записью выпусков Мастерской нам приходится подолгу выяснять у юристов, а сколько упоминаний нам делать: одно или два? Ведь и «Важные истории» «иноагент», и я. А нужно ли мне, когда я представляюсь в видео, сказать, что я иноагент, чтобы не получить первый штраф? Или достаточно того, что первые 15 секунд видео вы видите и слышите эти 24 слова?
За статусом тут же последовала и дискриминация. Я часто принимаю участие в хакатонах в роли ментора. И вот НКО «Информационная культура», которое сначала было радо, что я буду ментором на их мероприятии, отказывает мне. Говорят, «юристы наши опасаются, поэтому контракт с тобой заключать не будем».
Раньше я рассказывала, как это здорово журналистам знать Python, а теперь — как мне живется в статусе «иноагента». Вместо того, чтобы делать свою работу, рассказывать истории и придумывать, чего бы еще полезного вам рассказать, я с коллегами бегаю по юристам, чтобы соблюсти еще одно безумное требование и зарегистрировать ООО.
А когда настанет октябрь уже каждый иноагент лично будет готовить отчетность о том, сколько и от кого денег получил и на какую туалетную бумагу потратил: на ту, которая двухслойная, или на ту, которая четырехслойная. И так четыре раза в год.
Этот плач Ярославны можно продолжать вечно, но мне хочется, чтобы вы понимали, в какой реальности сейчас оказалось наше профессиональное сообщество. И рассказывали об этом сегодня — в Международный день солидарности журналистов — своим родственникам, друзьям, знакомым.
Беззаконие творится в тишине. А закон об «иноагентах» по-другому не назовешь.
Нет «иноагентов», есть только журналисты. А у нас есть вы! И с вашей поддержкой нас так просто не остановить.
💪💪💪Поддержать «Важные истории»
Привет! Сегодня разбираемся с тем, как запускать ваши Python-скрипты и bash-файлы на виртуальной машине.
ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА.
Это предпоследний выпуск Мастерской по нашему роботу. Если вам понравился курс, то можете поддержать нашу работу.
Смотрите выпуск!
Чем полезны государственные отчеты и как с ними работать
Привет! Это Полина Ужвак. В начале августа вышел мой текст о проблемах экомониторинга в России. В нем я объясняла, почему существующая система наблюдений за качеством воздуха не объективна и как это угрожает здоровью людей.
Большую часть фактуры для текста я собирала из государственных отчетов. У официальной статистики есть много слабых мест. Я постаралась их обойти и сейчас расскажу, в чем особенность работы с официальными данными.
🚩 Где искать официальные данные
Государственная статистика — это не только публикации Росстата. Почти все государственные службы и ведомства собирают статистическую информацию и пишут отчеты. Их можно найти на сайтах ведомств.
Например, главный источник официальных данных о загрязнении окружающей среды — ежегодники Росгидромета.
Еще один не самый очевидный источник данных для многих тем — отчеты Счетной палаты (СП). Эксперты СП оценивают, насколько эффективно тратятся государственные деньги на самые разные цели — от обеспечения жильем детей-сирот до создания системы экологического мониторинга. Их выводы и расчеты могут быть полезны для подготовки материалов.
В госотчетах и ежегодниках можно найти данные практически на любую тему по каждому региону за последние 10-20 лет. Это позволяет показать ситуацию в динамике и сравнить регионы между собой.
🚩 Почему нельзя полностью доверять госстатистике
Создавать материал, основываясь только на официальной статистике не стоит. За «красивыми» цифрами на бумаге может стоять изменение методологии расчета, ослабление нормативов или некачественный сбор данных.
Такие искажения могут даже стать темой для отдельного материала. Например, в тексте «Надоело уже хоронить товарищей», опираясь на научные статьи и сравнение с другими странами, мы показывали, как в России занижается официальное количество травм на производстве.
🚩 Как проверять официальные данные
Оценить достоверность данных и погрузиться в контекст помогают эксперты. Это могут быть представители экологических или правозащитных организаций, авторы научных публикаций по вашей теме, люди «на местах», которые понимают, как устроен сбор статистики и какие у него есть проблемы.
Например, разбираясь в проблемах экологического мониторинга, я обратилась к экспертам Гринпис, потому что экологи из этой организации уже давно следят за качеством воздуха в России и изменением экологических нормативов.
Разговор с экспертом помог найти новые повороты для темы и отказаться от неинформативной статистики.
Например, я решила не писать о том, как меняется количество очистных сооружений. Эти показатели рассчитываются исходя из данных, которые предоставляют сами компании, а к их достоверности есть вопросы.
Кроме того, очистные сооружения могут включать только на время проверок (нам рассказывали о таком) — это тоже снижает объективность показателя.
🎁 Бонус:
Альтернативой государственной статистике могут быть данные независимых исследований, мониторингов, международных рейтингов. Но журналист, который только начинает работать над исследованием, не может знать все датасеты, которые есть по нужной теме.
Поэтому иногда полезно обращаться за помощью коллег. В Telegram есть чат «Открытые данные RU», в котором можно задавать вопросы по работе с открытым данным.
Коллеги обычно отвечают оперативно и информативно, но перед тем, как задавать вопрос, лучше посмотрите в истории сообщений, не спрашивали ли уже что-то подобное.
Привет! Это Юля Алыкова. Мы возвращаемся к вам с новым небольшим уроком, в котором продолжим писать приложение для отправки госконтрактов на почту.
Сегодня мы научимся безопасно работать с логинами, паролями и другими личными данными в коде, обращаясь к ним через переменные окружения.
Смотрите видеоурок здесь, текст — на сайте.
Если вам нравится Мастерская, поддержите нашу работу донатом!
🦠😷Как работать с коронавирусными данными? Опыт @new_data
«Новая газета» изучает статистику по COVID-19 почти полтора года. Они исследуют разные стороны пандемии — от фальсификации данных и темпов вакцинации до очагов распространения болезни.
Специально для рассылки Мастерской «Важных историй» мы попросили корреспондентку дата-отдела «Новой» Катю Бонч-Осмоловскую рассказать, как именно они ведут эту работу.
Но главный вопрос, конечно же, был: не задолбались ли они всё это анализировать.
Катя: Конечно, устали от темы. Еще хуже становится, когда видишь, что в результате твоей работы ничего не меняется.
Но есть и единичные «истории успеха». Например, нам удалось исправить «собянинский коридор» в Москве, когда число новых больных застряло в интервале 650–700 случаев, — после публикации «Новой» оно вышло за пределы интервала.
Для нас по-прежнему важно анализировать и официальные данные, и косвенные индикаторы, чтобы помочь читателям понять, какова реальная ситуация с распространением заболеваемости. Официальная статистика не позволяет этого сделать.
Советы по работе с коронавирусными данными от дата-отдела «Новой»:
🦠 Чтобы быстро получить таблицы с официальными данными о заболеваемости за всё время пандемии, можно воспользоваться облачным сервисом «Яндекса».
🦠 Но не верьте официальной коронавирусной статистике.
Самые важные данные до сих пор закрыты для журналистов и граждан. Поэтому ищите альтернативу.
Можно ориентироваться на косвенные показатели:
🔹 поисковые запросы того же «Яндекса» покажут рост/падение интереса по теме;
🔹«избыточная» смертность — самый надежный общий показатель. Он позволяет оценить общее число жертв пандемии.
🦠 Чтобы заметить махинации с официальной статистикой, обращайте внимание на эти признаки:
🔹 неправдоподобно гладкие цифры выявленных больных в течение долгого времени («полочки» и «коридоры»);
🔹 резкое падение числа активных случаев вплоть до отрицательного и потом резкий взлет («дагестанский отскок»);
🔹 постоянное соотношение числа заболевших и выздоровевших.
#советы
✅ Полную версию читайте тут→
✅ Подписаться на рассылку Мастерской можно здесь→
#анонс
Зачем журналистам учить язык Python? Алеся Мароховская расскажет на вебинаре у АНРИ-Медиа
Уже полгода мы в @istories_media выпускаем видеоуроки по програмированию на Python.
Но у многих все еще звучит вопрос: а зачем вообще журналисту учиться программировать?
21 июля редакторка дата-отдела «Важных историй» Алеся Мароховская подробно расскажет:
🔹 почему Python необходим в работе над расследованиями и исследованиями,
🔹как найти историю в данных: от гипотезы к плану материала,
А также на примере публикаций в «Важных историях», «Новой газете» и «Медузе» расскажет, как навыки программирования помогали журналистам искать данные и выявлять скрытые схемы.
📅 Дата: 29 июля
⏰ Время: 10:30
📍 Площадка: Zoom
🏁 Регистрируйтесь по ссылке
✅ Специально для подписчиков Мастерской действует промокод Phyton (❗️ обратите внимание, как написан промокод).
С ним стоимость участия всего 300 рублей.
Всем привет! У нас осталось несколько заключительных уроков в рамках нашего большого журналистского проекта.
Наш робот уже умеет собирать крупнейшие госконтракты, заключенные в России. Осталось научить его упаковывать данные в удобную для чтения таблицу и затем отправлять ее нам на почту.
Сегодня мы научимся основам языков для верстки сайтов HTML и CSS и создадим с помощью них тестовую таблицу.
А на следующем уроке научим нашего робота автоматически собирать спарсенные данные о госконтрактах в таблицу.
Попробуйте поэкспериментировать со стилями вашей таблицы и показываете, что у вас получилось, в чате Мастерской 🙂