7029
I write about Open Data, Procurement, e-Government, Open Government, Budgets, Privacy and other govtech stuff Chat https://telegram.me/begtinchat Facebook - https://facebook.com/ibegtin Secure contacts ivan@begtin.tech
В рубрике интересных продуктов на данных SemOpenAlex [1] граф знаний на 26 миллиардов RDF triples с базой из более чем 249 миллионов научных работ от 135 миллионов авторов и из 226 тысяч источников.
Проект включает открытое API и возможность скачать дамп целиком [2].
Данные и API доступны под лицензией CC0 и имеют множество возможных применений во всём что касается картирования науки и научной деятельности.
Ссылки:
[1] https://semopenalex.org
[2] https://semopenalex.org/resource/?uri=http%3A%2F%2Fdatasets.metaphacts.com%2Fsemopenalex
#opendata #datasets #researchdata #science #semanticdata
Можно сказать новый/старый жанр в технических инструментах, сделай как лидер рынка, но с открытым кодом и приватностью. Bruno - это клиент с открытым кодом для тестирования и работы с API [1], фактическая замена продукта Postman хорошо известного инструмента в среде создателей API.
Особенность Bruno в том что в нём нет никакой необходимости в облачном аккаунте, нет синхронизации в облаке и есть явный акцент на приватности. Дословно это звучит так
Bruno is offline-only. There are no plans to add cloud-sync to Bruno, ever. We value your data privacy and believe it should stay on your device. Read our long-term vision here.
Авторы подробно рассказывают о своём видении подобных инструментов [2], сравнивают их и описывают свой как единственный полностью оффлайновый.
А тем кто хочет синхронизовать свои спецификации API с другими, они дают возможность делать это через git, на Github или другом сервисе.
Лично я на этот инструмент обратил внимание по двум причинам.
Первая, конечно, в том что инструменты моделирования API будут актуальны ещё долго.
И вторая в том что сама модель оффлайн инструментов с синхронизацией через Git представляется хорошей идеей. Не монетизируемой, но востребованной.
Ссылки:
[1] https://www.usebruno.com
[2] https://github.com/usebruno/bruno/discussions/269
#opensource #api
Международная активность по открытым данным иногда для меня удивительна.
Например, есть свежая инициатива и разговоры про стандартизацию публикации открытых данных о выборах от OKF. Было несколько таких проектов, на самом деле много проектов, например Open Election Data [1] профинансированный USAID и, похоже, не институционализированный. А у OASIS стандарт Election Markup Language (EML) [2], а также множество национальных и других стандартов и форматов.
Как бы ни было удобно иметь данные о выборах в машиночитаемой форме, сдаётся мне что не это главное в конкретном данном случае. К примеру, "открытость данных" блокчейна с электронными голосами в России доверие государству нисколько не повысили. А вот ситуация когда власти могут использовать международные стандарты для "симуляции открытости" без соблюдения других условий прозрачности выборов и наблюдения за ними, вполне возможно.
В каких-то странах сложившейся или переходной демократии они могут быть важны, но уже в рамках общей открытости того что называют political integrity.
Что думаете? Актуальны ли стандарты публикации данных о выборах?
Ссылки:
[1] https://openelectiondata.net
[2] https://www.oasis-open.org/standard/eml/
[3] https://datastandards.directory/Elections
#opendata #openstandards
В который раз напишу что комментировать все законодательные инициативы российских нормотворцев дело крайне вредное для желудка и настроения. Не пропущу только вот эту инициативу по доступу силовиков к базам персональных данных коммерческих операторов и возможности эти данные менять. О ней написали в российском Forbes [1], а также можно прочитать (продраться до смысла) в первоисточнике на сайте ГД [2].
У этого законопроекта много разных плохих последствий, начиная с глубокой государственной руки в задницах российских интернет компаний вмешательства государства в бизнес деятельность и есть ещё одна немаленькая хрень немаловажная проблема. Компании в российской юрисдикции оперируют данными пользователей других стран наравне с россиянами. Это жители Казахстана, Грузии, Армении, Узбекистана, Кыргызстана, Узбекистана и др., да и в каких-то ещё странах. Что сделают регуляторы этих стран после принятия такого закона в России? Правильно, потребуют от всех компаний в на которые регулирование распространяется подтвердить что данные их жителей в единой базе компаний не содержаться и российским силовикам недоступны.
Хотите перечислим компании у которых будет пиздец сёрьёзные проблемы с регуляторами? Многие, очень многие. Сотовые операторы как минимум, но не только.
И это, заметим, что я привожу только понятные нормотворцам проблемы. Не вдаваясь в этические и проблемы нарушения прав человека, вмешательства силовиков в частную жизнь и, наоборот, сокрытие информации о разного рода нехороших людях особых категориях граждан определённых указом ПП РФ.
Ссылки:
[1] https://www.forbes.ru/tekhnologii/497493-biznes-vystupil-protiv-beskontrol-nyh-pravok-silovikov-v-bazah-personal-nyh-dannyh
[2] https://sozd.duma.gov.ru/bill/416441-8
#privacy #regulation #russia
В рубрике интересных наборов данных CloudDrift, a platform for accelerating research with Lagrangian climate data [1] - это программная библиотека для доступа к данным собираемым с 25 тысяч дрейфующих буев в рамках программы Global Drifter Program (GDP) [2] реализуемой Национальным управлением океанических и атмосферных исследований США. Сами данные размещены на серверах Amazon и доступны в их сервисе S3 [3].
Особенность Clouddrift в том к конкретным датасетам публикуется ещё и полноценная библиотека для доступа к ним и анализа с учётом специфики данных и контекста. Авторы не первые и не единственные кто так делает, для Python есть какое-то количество программных библиотек реализованных на том же принципе, когда данные доступны не только как файлы и API, но и сразу в виде DataFrame для Pandas или как XArray в данном случае.
Что характерно, этот проект один из десятков проектов данных и инструментов о Земле финансируемый Национальным научным фондом США в рамках сообщества и программы EarthCube [4]
Ссылки:
[1] https://cloud-drift.github.io/clouddrift/
[2] https://www.aoml.noaa.gov/phod/gdp/
[3] https://registry.opendata.aws/noaa-oar-hourly-gdp/
[4] https://www.earthcube.org/funded-projects
#opendata #opensource #science #usa #earthsciences #geodata
Свежий портал открытых данных, на сей раз в Баварии open.bydata.de [1]
Более 1100 наборов данных, несколько видов API для доступа; через SPARQL, API для CKAN и своё API для доступа к внутренней базе.
Что характерно для всех европейских порталов с данными почти половина наборов данных - это геоданные. Они включают: слои к геокартам в формате WMS, файлы GeoJSON, файлы Esri Shape (SHP) и API серверов ArcGIS.
Помимо геоданных большая часть других датасетов посвящена городской инфраструктуре и её использованию в городах Баварии. У портала явный акцент на вовлечение в использовании городских/территориальных данных.
Ссылки:
[1] https://open.bydata.de
#opendata #datasets #germany
О том что не так с докладом СП РФ по открытости государства. Часть 5. Завершение
Чуть ли не самое главное в отношение доклада в том что, казалось бы, доклад должен иметь практическое применение. Но что с его выводами могу сделать я или кто-либо ещё? Кто его адресаты? Для кого он пишется? Ответы были бы понятны если бы госполитика открытости в какой-либо форме в России существовала и была бы последовательной. В мире она бывает с разными акцентами:
- на политической прозрачности власти и повышения доверия
- на выравнивании социальной несправедливости и доступности данных о качестве жизни
- на развитии цифрового бизнеса и любого иного бизнеса связанного с данными
- на развитии науки и интеграции в мировую научную инфраструктуру
Это довольно очевидные направления, в разных формах реализуемые в большинстве стран и, как правило, закреплённые законами, дорожными картами и так далее.
Очень недолгое время в России акцент был на политической прозрачности, позже было несколько попыток связать открытые данные и потребности бизнеса, сейчас нет вообще ничего. Отсюда проистекает и "подвешенность" этого доклада, невозможно ответить на вопрос зачем он нужен, потому что предметная область находится в зыбком состоянии.
Был бы в нём акцент на политической прозрачности, речь бы шла о доступности данных деклараций чиновников, выборов, госфинансов помимо публикуемой информации и ещё много что.
Был бы в нём акцент на экономическом развитии, речь бы шла о экономическом эффекте и открытии данных из государственных информационных систем, публикации геоданных и тд.
Был бы в нём акцент на социальной несправедливости, речь бы шла о доступности данных об успешности операций, качестве образования, уровне преступности, уровне загрязнения почвы, воды, воздуха и тому подобном в максимально детальном разрезе
Был бы в нём акцент на развитии науки, речь бы шла о публикации результатов научных исследований, наличии данных полученных российскими исследователями на платформах публикации научных данных.
Но в докладе нет об этом всё ровным счётом ничего, а от сравнения ФОИВов по _абсолютно любой методике_ мы ничего не приобретаем. Даже Счетная палата уже давно ничего не приобретает поскольку изначальная цель в получении больших полномочий по надзору за открытостью уже совершенно точно недостижима. Люди внутри органов власти это, также, прекрасно понимают, потому что никакого содержательного выхлопа нет ни от доклада, ни от тех кто мог бы подискутировать вокруг его результатов.
Да и сам повод для обсуждения стал совершенно ничтожным. Я бы даже не писал об этом если бы какая-то часть моей жизни много лет назад не была бы связана с подготовкой первых редакций. Но, пожалуй, и у меня интереса не осталось.
Открытые данные как тема существовала и существует без органов власти, может развиваться без их вовлечения или с минимальным вовлечением тех кто ещё готов выстраивать диалог с потребителями. Вне зависимости от того последний ли это доклад Счетной палаты, будет ли следующий значительно лучше или останется таким же плохим, он ни на что не влияет.
#opendata #russia #opengov
О том что не так с докладом СП РФ по открытости государства. Часть 3. Что реально происходило с открытостью
Открытость государства, конечно, охватывает довольно много областей. Взаимодействие с гражданами, свобода доступа к информации и открытые данные. При этом открытость данных уже давно является приоритетной темой для большинства развитых стран и рассматривается скорее отдельно от открытости коммуникации поскольку имеет не только социальные, но и экономические эффекты. Открытость данных государств замеряется многими способами, были Open Data Index и Open Data Barometer, а также и по сей день существуют методики оценки Global Data Barometer и OURData. Это специализированные рейтинги, посвящённые открытости данных, подробные и хорошо документированные.
Среди них ключевым я бы выделил оценку от Global Data Barometer как наиболее продуманную и детальную, а OURData — это был индекс ОЭСР и охватывал только развитые страны и кандидатов в ОЭСР.
Ключевое во всех международных рейтингах в том, что они оценивают не органы власти, не конкретное министерство, службу или какое-то там учреждение, они оценивают принципиальную доступность данных в конкретной области. Например, данных о качестве работы школ или данных о национальном бюджете или данных о государственных закупках/контрактах и так далее. Доступность этих данных — это решения не органов власти, а Правительства как политической структуры, иначе говоря, это исключительно политические решения. Кстати, в разговорах с чиновниками министерств эта также вскрывается. В тех случаях, когда внутри органа власти нет жёсткого сопротивления всё равно всё упирается в то есть ли политическое решение на открытость или нет.
Позиции России в рейтинге Global Data Barometer в 2021были не такими уж плохими примерно, как у Португалии, но это всё было результатом решений принятых ещё в 2005-2018 годах, после этого периода, более 5 лет тренд шёл на закрытость данных.
Это выражалось во многом. В том что были закрыты данные о субсидиях федеральной власти, в том что были скрыты сведения об учредителях вначале НКО, а далее всех юр лиц, в том были скрыты сведения о получателях контрактов по закупкам по 223-ФЗ (госкомпании и естественные монополии), в том что скрываются значительные пласты данных по статистике, в том что что более не публикуются данные криминальной статистики и так далее.
#opendata #russia
О том что не так с докладом СП РФ по открытости государства. Часть 1. Предистория
Как обещал пишу про смысл/отсутствие смыслов в докладе Счетной палаты по открытости. Чтобы не расписывать простыню текста постараюсь сжато и разделю на несколько постов.
Итак, что не так с докладом СП и вообще откуда он появился, для чего был нужен изначально и во что превратился в итоге.
Изначально, когда доклад по открытости Счетной палаты затевался в 2019 году в РФ была ситуация когда Открытое Правительство было закрыто ещё в 2018 году и формально полномочия по регулированию/развитию открытых данных были нечётким образом разделены между Аппаратом Правительства РФ и Минэкономразвития РФ. Почему нечётко? Потому что никаких НПА по поводу этого разделения принято не было, совет по открытым данным при правительственной комиссии закрыли, а экспертный совет при Пр-ве также закрыли и сейчас, кстати, его тоже нет, то что пришло ему на смену называется несколько иначе, но об этом отдельно.
В этом "вакууме открытости" в Счетную палату приходит Алексей Кудрин и в документе стратегии развития Счетной палаты вписываются задачи обеспечения и мониторинга открытости со стороны СП. С вполне логичной амбицией контролю за открытостью ФОИВов раз Правительство де-факто отказалось от этой функции. В рамках этой позиции по открытости создавался, например, такой портал как Госрасходы (spending.gov.ru) совсем недавно закрытый руководством СП. В рамках этого раскрывался код связанный с частью проектов СП, в рамках этого же создавался первый доклад Счетной палаты и в рамках этого я участвовал в подготовке первых 2-х докладов и прекратил участвовать в начиная с 3-го поскольку лично мне стало очевидность тупика в создании подобных докладов.
В чём особенность этого доклада? С самого начала он создавался как медийный, а не как аналитический продукт. Его условными KPI были массовость публикаций в СМИ, особенно в деловой прессе, реакция органов власти. Конечно, с некоторой надеждой на последующий конструктивный диалог со стороны правительственных структур, но без большой надежды. Отход от открытости у органов власти в РФ начался задолго до военного конфликта февраля 2022 года и был результатом окончательного политического сдвига в патерналистическую модель коммуникации с обществом и параллельными репрессиями в отношении наиболее активных потребителей открытости государства - это журналисты расследователи и некоммерческие организации в первую очередь.
#opendata #russia
Ребята из Если быть точным своё участие прокомментировали, что ж, это хорошо, ко крайней мере я могу извиниться за часть грубых слов в их адрес. Хотя я и по прежнему считаю что никакой методикой оценки ФОИВ ситуацию не исправить и в 2021 году это было также бесполезно. Как обещал, свой разбор этого доклада я также напишу. Придётся, правда, писать не о том что там есть, а о том чего там нет.
Читать полностью…
Рубрика "Циничная открытость"
Счетная палата выпустила юбилейный, 5-ый по счету доклад "Открытость государства в России".
Если вам казалось, что год от года открытость государства в России снижается, то вам казалось.
Потому что год от года открытость государства остается на высоком уровне, хотя <цитата из пресс-релиза СП> по некоторым направлениям наметилась тенденция к снижению.
Я циник, и я не участвовал в подготовке доклада СП, поэтому у меня искаженная точка зрения на открытость государства:
1. С 2020 года Минфин и Казначейство закрыли реестр соглашений о субсидиях федерального бюджета. То, что "открыли" через год с лишним, иначе как издёвкой не назвать.
2. С весны 2022 года Казначейство перестало публиковать отчеты о кассовом исполнении федерального бюджета. Чтобы - сами понимаете...
3. Паспорта национальных и федеральных проектов не публикуются с 2020 года.
4. Из постановлений Правительства РФ об утверждении госпрограмм с 2022 года исчезли паспорта с финансовыми данными.
5. С осени 2022 года Минцифры закрыло (сделало вид, что поломался) раздел открытых данных на портале ФГИС КИ, где можно было увидеть хоть и кривой, но хоть какой-то перечень федеральных ГИС.
6. С начала 2023 года Минэк закрыл Портал открытых данных "на реконструкцию и перевод на платформу Гостех". Впрочем, пользы от этой инфопомойки и в пору ее открытости было ноль.
7. Из всей движухи вокруг Гостеха открытым является только пиар. Все содержательные решения по Гостеху принимаются президиумом Правкомиссии по цифровому развитию в закрытом режиме.
8. Рейтинги "цифровых спецназовцев" (замруководителей ведомств по цифровой трансформации) федерального и регионального уровней ни разу не публиковались в полном виде - только в виде пиар-цитат. Не говоря уже о методике рейтингования.
9. Не менее четверти (с тенденцией к постоянному повышению) расходов на госИТ федерального уровня идет в форме субсидий из федерального бюджета, сведения о которых (см. пункт 1) не публикуются уже почти 3 года.
10. Летом 2023 года закрылся проект Счетной палаты "Госрасходы", агрегировавший и публиковавший открытые данные о расходах федерального бюджета (госконтракты, субсидии, госпрограммы, нацпроекты, исполнение бюджета) из официальных источников. Видимо, за ненадобностью. Ведь открытость государства и так на высоком уровне.
А в остальном, прекрасная маркиза, всё хорошо, всё хорошо...
Хороший ли механизм историй в Телеграм или наоборот неудобный? Лично я пока ещё не решил. В любом случая я обещаю им не злоупотреблять, классические публикации в канале мне нравятся больше. Однако если у Вас премиум аккаунт и истории здесь Вы читать готовы, то жмите на ссылку /channel/begtin?boost
#blogging #telegram
Друзья, мы ещё напишем о планах на ближайшее будущее, которое в последние дни сократилось до минут, а пока делимся акцией товарищей, которым мы доверяем.
Читать полностью…
Любопытное про стартапы на данных:
- Collibbra приобрели стартап по созданию SQL тетрадок Huspray [1] учитывая что основной бизнес Collibra это корпоративные каталоги данных, причём изначально с сильным акцентом на выявление персональных данных, то эта покупка про сдвиг приоритетов на дата аналитиков.
- Treefera подняли pre-seed $2.2 миллиона инвестиций на дата-платформу по мониторингу лесного покрова [2], внутри обещают ИИ и создание data продуктов
- DataBricks получили ещё $500 миллионов инвестиций в рамках Series I [3], пишут что это скорее всего раунд перед IPO и на IPO оценка может достигнуть $43 миллиардов.
- Gable получил $7 миллионов на seed стадии [4] - Gable это стартап по повышению качества данных через применение data contracts. Тут так и хочется спросить "а что так можно было?!", стартап явно под экосистему работы с данными в Modern data stack и под последующую покупку одним из крупных платформенных игроков.
Ссылки:
[1] https://www.collibra.com/us/en/company/newsroom/press-releases/collibra-acquires-sql-data-notebook-vendor-husprey
[2] https://www.treefera.com/blog/treefera-pre-seed-funding-round
[3] https://techcrunch.com/2023/09/14/databricks-raises-500m-more-boosting-valuation-to-43b-despite-late-stage-gloom/
[4] https://www.linkedin.com/feed/update/urn:li:activity:7107413267072917504/
#startups #data #dataquality
Меня тут зацепил пост Ивана Бегтина про то, какие данные собирают производители автомобилей (советую читать статью, а не пост, она более взвешенная). Общий смысл, что данных собирается очень много, включая данные про про все перемещения и даже сексуальную жизнь. И хотя сначала я был разочарован что вся аналитика там строиться лишь по пользовательским соглашениям, мне стало любопытно что в пользовательских соглашениях в России, причем именно в сфере общественного транспорта. Вот что получилось:
1. Московский транспорт - ссылка на лицензионное соглашение ведет на https://api.mosgorpass.ru/license_agreement - у меня не открылось. Посмотреть не смог.
2. Помощник Москвы - тоже не открылось. Ведет на https://pakpm.mos.ru/api/help/privacy_policy.
3. Метро Москвы - Ссылка ведет на https://www.mosmetro.ru/app/oferta/new_oferta.pdf. Сайт выдает ошибку 404.
4. Моя Тройка - приложение Сбера по управлению картой тройка. Пишет что данных не собирается совсем - но описания снова нет - ошибка 404.
5. Приложение ЦППК (официальное?) - тут документ есть, но датирован аж 2018 годом и ведется от лица неизвестной компании Айтифорс, сайт которой уже не работает. Из еще более странного - это соглашение об обработке пользовательских данных, которое лежит в самом приложении - это явно внутренний документ описывающий взаимоотношения работодателя и его сотрудников, но никак не пользователей приложения.
6. Транспорт Подмосковья - соглашение с ООО ДатаПакс есть, но довольно формальное. Передача третьим лицам есть.
7. Яндекс Такси - самое подробное и детальное соглашение, нормально описывающее что именно будет собрано, с уточнением юрисдикций.
8. Социальное такси - тоже от московского дептранса. Тут соглашение есть, но максимально формальное и обезличенное. Документ в гуглдоке не имеет даже имени компании или адреса от лица кого это соглашение.
9. Транспорт Перми - приложения о персданных нет, ссылка на сайт разработчика.
10. Парковки Краснодара - ссылка битая - документа нет. Как впрочем и у 99% других приложений из регионов.
Вывод по общественному транспорту в итоге еще страшнее, чем с автомобилями. В случае тех, приложений, что вам предлагаю государственные органы власти и аффилированные компании вы даже не сможете узнать что и как делают с вашими персональными данными. Чем дальше от государства тем лучше и честнее представлена информация и тем прозрачнее политика работы с персональными данными.
В рубрике интересных наборов данных проект Census Tree [1] как результат работы группы исследователей по сопоставлению данных переписей США с 1870 по 1940 годы и созданию наборов данных связей между людьми. Причём искали их создавая специальный алгоритм сопоставления и используя генеалогические базы данных. Уникально и то что в США существуют открытые микроданные переписей начиная с 1790 года [2] и то что исследователи могут с этим работать.
Результаты представлены в виде коллекции наборов данных [3] сопоставлений связей между двумя переписями. Наборы данных включают файлы от нескольких мегабайт до нескольких гигабайт, но для выгрузки нужна регистрация на OpenICPSR [4].
Данные доступны в формате CSV под лицензией CC-BY 4.0
Ссылки:
[1] https://www.censustree.org
[2] https://usa.ipums.org/usa/full_count.shtml
[3] https://www.censustree.org/data
[4] https://www.openicpsr.org
#opendata #usa #census #sociology #datasets
Для тех кто работает с открытыми данными регулярно не могу не напомнить что у Open Knowledge Foundation есть проект Frictionless Data и, в частности, frictionless-py [1], программная библиотека и утилита командной строки для анализа данных и подготовки пакетов данных для публикации. Это инструмент совершенно далёкий для большинства тех кто занимается корпоративной дата-инженерией, но уже немного известный тем кто готовит научные данные для публикации. Инструмент сильно развился за последний год, там теперь поддерживается много разных форматов, наконец-то поддерживаются форматы вроде Parquet и JSONl/NDJSON. Если бы он был на несколько лет раньше, я бы многие свои инструменты делал на его основе. Как бы то ни было это существенная часть экосистемы вокруг ПО порталов для публикации открытых данных CKAN.
Сейчас его же авторы сделали GUI обёртку под названием Open Data Editor [2], продукт позволяющий готовить данные вручную и отправлять на публикацию в CKAN, Zenodo или Github.
Пока ещё это не финальный продукт и ошибки встречаются, но вот это хороший прогресс в экосистеме публикации открытых данных в мире.
Ссылки:
[1] https://framework.frictionlessdata.io
[2] https://opendataeditor.okfn.org
#opensource #opendata #ckan #datatools
Свежее исследование Consumer Surveillance and Financial Fraud [1] о том как новые требования к приложениям по ограничению слежки за пользователями повлияли кибербезопасность и частоту жалоб пользователей, опубликованное National Bureau of Economic Research в США.
Тем кому лень читать всё исследование расскажу коротко. Apple ввели App Tracking Transparency (ATT) в 2021 году как обязательное требование для всех кто создает приложения для iOS, iPadOS и tvOS [2]. Эти требования сильно ограничили бизнес компаний которые отслеживали поведение пользователей внутри приложений и внешними трекерами.
В исследовании выяснилось что если 10% пользователей блокируют сбор данных, то снижение жалоб на взломы и нарушение приватности снижается на 3.21%. Много ли это или мало? Это очень много.
Ссылки:
[1] https://www.nber.org/papers/w31692
[2] https://support.apple.com/en-us/HT212025
#privacy #apple #mobileapps
Наглядная визуализация датасетов Google и Microsoft с распознанными зданиями [1], а также открытый код библиотеки Leafmap[2] с помощью которой идет визуализация. Автор утверждает что для отображения всего набора данных в 165 ГБ потребовалось всего несколько строчек кода [3]
Ссылки:
[1] https://apps.opengeos.org/buildings.html
[2] https://github.com/opengeos/leafmap
[3] https://twitter.com/giswqs/status/1706800470290051548
#opendata #dataviz #geodata
В Forbes, который не российский, а глобальный большая статья про открытые данные [1] от Linux Foundation, с незамысловатыми акцентами на том что open source, open hardware и open data - это всё разные стороны одного глобального движения за открытость. С явным акцентом на языковые модели, открытые стандарты и международные организации активные в этой области. При этом важно помнить что Linux Foundation всегда были про открытый код, в том числе для управления корпоративными данными, но про открытые данные они почти не были.
Честно говоря, даже интересно, является ли эта статья прологом к тому что в этой области появится ещё один институциональный игрок или это просто, можно сказать, обзор в контексте популярной темы открытых языковых моделей. Я вот не знаю, но интересно.
Впрочем кое что уже есть, например, Overture Maps Foundation [2] это порождение от Linux Foundation, также как и Agstack [3] проект по открытой цифровой инфраструктуре для сельского хозяйства - это тоже Linux Foundation.
В свою очередь сам фонд - это порождение коллективных активностей Big Tech, которые где-то конкурируют, а где совместно создают весьма любопытные продукты. Скажем так - это наиболее социально значимая/социально ответственная область их деятельности.
Ссылки:
[1] https://www.forbes.com/sites/adrianbridgwater/2023/09/20/linux-foundation-why-open-data-matters/
[2] https://overturemaps.org
[3] https://agstack.org
#opendata #readings
До свидания, «Госрасходы»
Пришло время сообщить, что с 1 августа 2023 года мы больше не занимаемся проектом СП РФ «Госрасходы».
Это был, наверно, единственный крупный проект по открытости, запущенный после упразднения Открытого Правительства (с 2018 года). Пользуясь случаем, не могу не поблагодарить А.Л. Кудрина (@AlekseiKudrin) и Ивана Бегтина (@begtin) за то, что этот проект существовал и активно развивался больше 4 лет. Еще и на домене, на который мы засматривались года с 2013 (spending.gov.ru).
За это время было немало сделано (но хотелось, конечно, больше):
- мы почти достигли 1 млн уникальных посетителей;
- посещаемость сайта проекта практически в два раза превышала посещаемость сайта СП РФ;
- мы запустили раздел «Нацпроекты», методика отбора контрактов для которого была точнее, чем у Казначейства России;
- проект был единственным государственным источником, содержавшим архив реестра субсидий из федерального бюджета (реестр был удален с Портала Электронного бюджета);
- мы агрегировали данные по Госпрограммам, предоставляя их в более детализированном виде, чем на портале госпрограмм;
- мы разработали профили организаций, вовлеченных в операции с бюджетными средствами, объединив данные из ЕГРЮЛ, субсидий и контрактов;
- мы смогли придумать формат представления данных о федеральном бюджете, позволяющий не только отслеживать построчное исполнение бюджета, но и наглядно расшифровывать для пользователей все используемые классификаторы;
- мы формировали собственные справочники бюджетной классификации, вычищая дубликаты, черновые записи и добавляя недостающие записи в те файлы, которые официально публиковались Минфином России и Федеральным казначейством;
- отдельного внимания заслуживает интерактивный рейтинг регионального протекционизма и наборы индикаторов по разработанным аналитиками проекта методикам;
- также мы занимались и «невидимой» пользователям работой, взаимодействуя с инспекциями СП РФ, предоставляя им данные и разрабатывая методики для проверки гипотез и проведения контрольных мероприятий.
Большое спасибо коллегам из СП РФ, которые участвовали в работе над проектом и использовали его данные в реальных задачах, и, конечно, спасибо команде проекта, без которой не было бы этих результатов ♥️.
Надеюсь, это не последний крупный государственный проект по открытости, а мы в свою очередь продолжаем работу над «Госзатратами» (clearspending.ru) и готовим кое-что новое.
О том что не так с докладом СП РФ по открытости государства. Часть 4. Что реально происходило с открытостью, в примерах
Всё это находилось и находится в ведении, не отдельных ФОИВов, не они принимают решения, решения принимаются на уровне Правительства и Президента. Хотя правильнее сказать не принимаются.
Я приведу несколько примеров. Данные криминальной статистики публиковались до недавнего времени на портале crimestat.ru, при этом у него не было никогда нормативного закрепления и требований по доступности, он был создан исключительно по "доброй воле Генеральной прокуратуры РФ". Но Генеральная прокуратура не ФОИВ, им вообще никто не может приказать кроме законодателя что-то открывать. Составители доклада даже не предполагали, видимо, что какие-то данные могут быть не у исполнительной власти.
Другой пример, данные результатов судебных слушаний. По ним полная монополия у Судебного департамента, который, опять же, никому кроме законодателей в лице ГД, СФ и ПР РФ не подчиняется, эти данные не были и не планируются к открытию. Участники рынка данных прекрасно знают, что как минимум поверх базы данных арбитражных судов существуют коммерческий монополист, которого де-факто почти не обойти, когда нужны данные в этой области.
И таких примеров много, очень много. Но особенно яркая картина за все эти годы складывалась вокруг национального портала открытых данных data.gov.ru. Минэкономразвития РФ, которое отвечало за его ведение, вначале превратило его в помойку из бесконечного числа сверх мелких бессмысленных датасетов по 10–20 строчек вакансий или подведов организаций, а закончилось всё закрытием портала открытых данных.
#opendata #russia
О том что не так с докладом СП РФ по открытости государства. Часть 2. Продолжение предистории
Собственно идея оценки ФОИВов в этом докладе исходила из как раз взгляда на него как медийного продукта. Журналистам было гораздо проще писать про понятные им позиции в рейтинге, чем про смысл доступности тех или иных данных. Лично я до сих пор считаю своей большой ошибкой того времени что я не настаивал на качественном, а не рейтинговом описании происходящего с открытостью, но качественное описание - это не медийный продукт. Это серьёзная аналитическая работа, к которой, на тот момент готовности внутри СП не было. Всё это с оговоркой общей благонамеренностью всех участников с желанием добиться открытость или хотя бы сохранить то что было сделано за предыдущие годы.
Как я писал выше модель с рейтингом была востребована СМИ, на неё живо реагировали ФОИВы и начиная с 2020 и уже к 2021 годам она привела к тому что параллельно привела к тому что команда внутри СП проводила семинары для ФОИВов разъясняя методологогию оценки. Многие органы власти быстро поняли как именно им "прокачать открытость" не реализуя практически никаких шагов в этом направлении кроме эстетических. Многие критерии методологий по всем направлениям были таковы что их было очень просто реализовать, при этом не повышая реальную открытость органа власти. Почему так? Потому что все подобные количественные оценки не основанные на качественном анализе были бессмысленно. Для меня лично было совершенно очевидно что подавляющее число ФОИВов не только относятся к подобным оценкам крайне формально, но и реально не хотят ничего открывать. Почему? Потому что, я напомню, правила / НПА по открытости находятся в ведении ФОИВов и политика текущего состава Правительства и его аппарата была в заметании всей этой темы под ковер. ФОИВы реагировали в инерционной модели, но и даже в рамках неё рейтинг не оказывал никакого влияния на их реальные шаги по открытости для граждан.
О том что реально происходило я опишу в следующей публикации.
#opendata #russia
Счетная Палата представила рейтинг открытости российских органов власти. «Если быть точным» участвовал в разработке дизайна исследования, но мы не согласны с выводами – вот почему
Сегодня Счетная палата опубликовала ежегодный рейтинг открытости государственных органов исполнительной власти. В разработке методологии рейтинга этого года участвовала команда «Если быть точным».
Важно: мы не занимались оценкой открытости данных и не имеем отношения к итоговым баллам, которые получили ведомства. Мы давали внешний комментарий по методологии, который не был учтен в основном докладе, а самой оценкой занимались другие эксперты.
Более того, мы считаем, что открытость данных в России радикально ухудшилась, о чем регулярно пишем. Всего с начала 2022 года, по нашим оценкам, данные засекретили как минимум 20 органов власти.
В чем состоял наш вклад в рейтинг
В конце 2021 года мы начали готовить для СП аналитическую записку, в которой описали один из недостатков текущей методологии исследования – формальный критерий открытости. Он заключается в том, что оценивается в первую очередь само наличие в открытом доступе наборов данных, но не их качество и востребованность.
Яркий пример такого подхода — Минздрав. На его сайте выложены перечни лекарств, списки медицинских учреждений, актуальные на 2014–2017 год. При этом министерство не дает доступа к важной информации по заболеваемости и охвату лечением разных групп болезней.
Расширенная методология предполагает более глубокую оценку того, насколько востребованы и актуальны опубликованные наборы данных, но не решает многих других проблем, связанных с открытостью государства. К тому же основной доклад СП построен по старой методике. Альтернативные результаты представлены в конце как приложение.
Мы считаем важной экспертную дискуссию про методологии оценки открытости, но не можем согласиться с выводами из рейтинга СП. Подробнее про это можно почитать в нашем материале, а здесь – полный текст доклада.
Честно говоря у меня в сегодняшних планах не было ничего связанного со Счетной палатой, но сегодня публично вышел их доклад по открытости гос-ва. Я ещё несколько месяцев назад думал что у оставшихся там коллег хватит ума и совести такой доклад не выпускать, но думал зря. Ссылку специально не даю, его несложно найти, впрочем и интерес к нему уже исключительно искусствоведческий по предмету "Искусство манипуляции".
Говоря коротко - всё плохо, особенно плохо что там засветились ребята из Если быть точным которых я ещё недавно хвалил. Зря хвалил похоже, очень зря(
Большую часть того что происходит на самом деле Вы и так читали в моём телеграм канале все эти годы. А самое главное, идущее вне категорий, что открытость невозможна без тех кто открытостью пользуется - журналистов и НКО, в первую очередь. В ситуации массовых репрессий против них и отсутствие их упоминаний весь доклад, как бы помягче, ну в общем вы меня поняли.
Я сегодня позже разберу подробнее что там не так.
#opendata #russia #opengov
Сразу две интересных новости про данные от Яндекса.
Первое - это открытие кода Datalens [1] и это вот просто таки прекрасно, очень-очень интересно попробовать уже в open source исполнении и хочется чтобы такой проект активно развивался. Больше BI инструментов хороших и разных. Инфа и документация продукта на отдельном сайте [2]
Вторая новость в публикации Geo Reviews Dataset 2023 [3] где собраны 500 000 уникальных отзывов на организации по России с января по июль 2023 года. Очень интересно и под MIT лицензией. Для исследовательских целей подходит очень хорошо.
Ссылки:
[1] https://github.com/datalens-tech/datalens
[2] https://datalens.tech
[3] https://github.com/yandex/geo-reviews-dataset-2023
#opendata #opensource #yandex
Свежая статья [1] о Data Commons [2] от исследователей в Google с обзором текущего состояния проекта и потенциала его развития. Вообще этот проект называется Google’s Public Data Commons (GPDC) и он является открытой корпоративной альтернативой Wikidata и идее Linked Data. Главная цель проекта в том чтобы облегчить интеграцию открытых / общедоступных данных в единый граф знаний. При этом акцент у проекта явным образом на США и статистике в США, это именно те данные которых там более всего, но по другим территориям данные тоже есть, хотя их и меньше.
Собственно статья хотя и научная, но обзорная, о том как этот проект устроен внутри и такие идеи как подключение к нему языковых моделей для структурированных ответов на вопросы на естественном языке.
Ссылки:
[1] https://docs.datacommons.org/papers/dc_overview.pdf
[2] https://www.datacommons.org
#opendata #datasets #statistics
Я редко пишу здесь о чем то кроме гос-ва, технологий и данных, но это важная тема которую невозможно проигнорировать любому кто связан с Арменией.
Читать полностью…
В качестве регулярного напоминания, хотя портал data.gov.ru недоступен и нет признаков что даже если его перезапустят там будут те же данные что были и ранее и хотя есть большие сомнения что ранее опубликованные там данные были актуальны и полезны, но мы сделали полную архивную копию. Это ZIP файл на 14 GB в который сохранено всё что можно было сохранить, на 2 февраля 2022 года. Соответственно после распаковки размер будет несколько больше. Сразу скажу что основной объём там создают несколько больших наборов данных вроде слепка базы ФИАС (не самого актуального, кстати), а всё остальное представлено в виде бесконечного числа мелких CSV файлов из регионов и муниципалитетов.
Прямую ссылку не даю чтобы совсем не забить трафик на сервер, но если кому-либо понадобится этот архив - пишите в личку в телеграм, пришлю ссылку. Есть желание, также, загрузить эти данные в Интернет-архив, но всё это время просто не доходили руки.
#opendata #archive #russia #datasets
Алексей Радченко в своём канале разбирает условия использования данных в транспортном комплексе Москвы, рекомендую почитать, это полезный пример того что даже на самом старте юридического, а ещё даже не технического анализа сбора данных, всплывает много косяков. В данном случае ключевые проблемы в том что условия использования... отсутствуют. В России с этим большая проблема, при запуске многочисленных государственных и полугосударственных систем про условия использования часто забывают. Не только в области транспорта, а просто повсеместно. И ведь исправить это несложно, но видимо мало жалоб. А с другой стороны, куда жаловаться, в Роскомнадзор?
#privacy #russia #transport