264
Пишу о технологиях и датасетах, немного ML Рекламирую Чебоксары
Я провёл анализ данных, извлечённых из ЕГРН и публичной кадастровой карты по Чебоксарам (Кадастровый Округ "21:01"). В результате было обработано 94072 земельных участка.
По параметру "Категория земель" было выявлено следующее распределение:
- Земли населённых пунктов: 60301 участок
- Категория не установлена: 342 участка
- Земли лесного фонда: 222 участка
- Земли сельскохозяйственного назначения: 17 участков
- Земли промышленности, энергетики, транспорта, связи, радиовещания, телевидения, информатики, земли для обеспечения космической деятельности, земли обороны, безопасности и земли иного специального назначения: 13 участков
- Земли особо охраняемых территорий и объектов: 7 участков
При анализе поля "Разрешенное использование" было выявлено больше категорий — их оказалось 122.
Однако наибольшее удивление вызвал параметр "Разрешенное использование по документу" — здесь было обнаружено аж 5796 различных наименований.
Отсортированные категории в комментариях. Исходники опубликую позже)
Думаю на kaggle.com выпустить полные кадастровые данные по Чебоксарам (полигоны и метаданные), и посмотреть как территорию города будут анализировать)
Читать полностью…
С помощью технологии GPT от OpenAI удалось успешно решить проблему незаконно установленного киоска "Славица", который нарушал закон с 17 февраля 2023 года (с этого дня территория, на которой расположен киоск, сменилась на муниципальную). Обращения, перед подачей через приложение "Решаем вместе", были трансформированы из обычного человеческого текста в более структурированный и грамотный формат при помощи GPT4.
Читать полностью…
Хм, а ведь можно пропатчить эту скрепку и запихнуть в неё API от OpenAI
Читать полностью…
Геочеки от ФНС — https://geochecki-vpd.nalog.gov.ru/geochecks
Открытые данные Федеральной налоговой службы о потреблении товаров и услуг в различных локациях, агрегированные по гексагональной сетке.
Может пригодиться для исследований городских центров и решения геомаркетинговых задач, например, уровень обеспеченности города
Появление React ребята из Facebook часто объясняют примерно вот так:В далеком 2013 году в Facebook Chat часто появлялись фантомные сообщения: уведомление приходило, иконка загоралась, а самого сообщения не было.
Это было вызвано ужасным императивным кодом, а чтобы это починить и был придуман React.
У меня всегда были вопросы к этому объяснению. А вчера Adam Wolff причастный к разработке добавил деталей: Да, React, был действительно создан для решения проблемы фантомных уведомлений, но эту проблему он в результате не решил, потому что проблема на самом деле была в кривых настройках DNS где-то в Индии, и когда DNS починили проблема ушла.
https://twitter.com/dmwlff/status/1762885255030259854?s=20
2030 год
@
90% части информации поступает от бездушных сгенерированных нейросетей
Файл "cik_gosuslugi.json" - список из 87 616 избирательных участков внутри страны. У каждого участка есть свои метки
Количество участков с меткой hasVideosurveillance (Оснащение средствами видеонаблюдения) = 20960
Количество участков с меткой forPeopleWithLimitedHearing (Возможности для людей с нарушениями слуха) = 2507
Количество участков с меткой forDisabledPeople (Оснащение пандусом для маломобильных групп населения) 15244
Количество участков с меткой hasVideosurveillance (Возможности для людей с нарушениями зрения) 20960
Количество участков с меткой forPeopleWithLimitedVision (Возможности для людей с нарушениями зрения) 19236
Количество участков с меткой hasCulturalProgram (Проведение культурно-развлекательных мероприятий в дни голосования) 9407
Также на госуслугах есть возможность выбора избирательного участка за рубежом. Всего их 254 штуки - это файл "cik_countries.json"
JSON Scheme и Pydantic к первому файлу в комментариях
Я планирую предоставить общественности доступ к информации о всех кадастровых участках в РФ. Эта информация включает в себя полигоны и сведения об участках, такие как адрес, кадастровая стоимость и категория земли.
Сейчас я уже загрузил данные по 20 регионам России, что занимает около 6 ГБ. Стоит отметить, что эти данные требуют дополнительной проверки и перезагрузки из-за проблем с временем ожидания. Из уже известных проблем нуждаюсь в необходимости увеличения количества используемых прокси-серверов с 20 до 100 для устойчивости работы, а также сложность не поломать сервера Росреестра (например, 100 запросов в секунду не выдерживает).
Я могу предоставлять полные данные по каждому региону отдельно или ожидать, пока полностью скачаю все данные и выложу их одним файловым репозиторием
Если вы хотите поддержать эту инициативу, вы можете сделать пожертвование на счет 2200700506179109 или связаться со мной лично по @quokkus.
Изучаю сервис Росреестра, который предлагает возможность отслеживать изменения по объектам недвижимости на различных территориях. Однако, столкнулся с рядом ограничений, о которых хотел бы сообщить.
Во-первых, отслеживание изменений ограничено до 300 элементов. Этими элементами могут быть как кадастровые участки, так и территории площадью до 500 000 квадратных метров. В сумме не больше 300.
В случае, если в сервисе отслеживается конкретный кадастровый участок, то в данных мониторинга отображаются все изменения, касающиеся этого участка. Это может быть, например, изменение цены или типа участка, а также даты последнего изменения.
Однако, если отслеживаются изменения по территориям (например, я разделил Чебоксары на квадраты и добавил эти данные в систему с помощью скрипта), то система только указывает наличие пересечения с земельными участками. К сожалению, полезной информации об изменениях этих земельных участков не предоставляется.
В целом, данный микросервис оставляет впечатление несколько ограниченного инструмента. Однако, если API будет всегда открытым, это может компенсировать некоторые из его недостатков
Часть интерфейса по мониторингу земельных участков
Читать полностью…
Почалось
На фрилансах появилась куча проектов про написанию автоматических отзывов и ответов на вопросы Wildberries через ChatGPT
Гении из MSCHF нашли способ легально показывать фильмы в интернете без нарушения авторских прав. Встречайте — ASCII кинотеатр, в котором можно посмотреть свежие новинки фильмов.
Чтобы обойти все юридические запреты, фильмы генерируются в ASCII. Это такой формат, где каждый кадр представляет собой динамическое полотно цветных текстовых символов.
Сами MSCHF заявляют, что кинотеатр будет работать, пока его не закроют.
Сделал для Чебоксар канал, который мониторит публичные обращения и ответы в приложении «Решаем вместе» от Госуслуг
/channel/cheb_problems
В целом, можно расширить на всю страну, учитывая что я уже публиковал небольшой датасет t.me/opendatarussiachat1/35032
Может можно сделать какой-нибудь микросервис по этой теме?
Мы совершенно новый стартап с революционной идеей (с)
Рынок:
Наконец доехал из перевода Veles2.5 - переведенный на русский Hermes2.5 через gpt3.5
Вероятно доедет за несколько недель вихрь-велес
Датасет для русского
Упорно работаю над своим проектом, при помощи которого можно будет запрашивать информацию по базе Розыска в МВД.
https://github.com/daniilak/ru_mvd_search_wanted
Собираюсь выпустить его на pypi.org и нахожусь на заключительном этапе, по которому осталось выполнить следующие задачи:
1. Написать тесты для проверки функционала.
2. Экспериментально проверить его работоспособность.
3. Доработать раздел "Readme" для более полного описания проекта.
4. Заменить возвращение ошибок на исключения.
5. Качественно оптимизировать код.
Несмотря на текущий прогресс, на данный момент этот проект является только частичным парсером. Для его полноценной работы требуется:
1. Добавить код и модель, которые смогут автоматически решать капчу.
2. Реализовать функцию, позволяющую получить дополнительные данные о найденном человеке через проверку ответов на почте.
Думаю, что будет создан отдельный репозиторий в формате FastAPI приложения, который будет включать в себя отдельные модули для решения капчи и работы с почтой.
Иван Бегтин сегодня анонсировал новую платформу для поиска данных — Dateno.
Это сайт, на котором можно найти открытые данные и статистику со всего мира по поисковому запросу. На нём уже проиндексировано 10 миллионов датасетов (из них — 219 тысяч по России), а к концу года это количество планируют расширить до 30 миллионов. Можно указать тематику, язык источника, формат данных. А работает это уже лучше, чем тот же Google Dataset Search.
Портал пока находится в стадии беты, но уже работает:
https://dateno.io/
Почему вообще используются восьмиугольники на картах?
Агрегация случайных точечных данных в регулярные сетки используется по многим причинам, в частности для нормирования географии для нанесения на карту или для уменьшения неоднородности при использовании полигонов неправильной формы, созданных произвольно (например, границы избирательных округов или блоков, созданных в результате политических процессов). Регулярные сетки могут состоять только из равносторонних треугольников, квадратов или шестиугольников, т.к. только такая геометрия полигонов позволяет создавать мозаичное замощение (совокупность одинаковых фигур, охватывающую всю область без пробелов и перекрытий), чтобы получить равномерную сетку.
Хотя сетка квадратов является основным типом геометрии в ГИС-анализе и тематической картографии, бывают ситуации, когда шестиугольники лучше подходят для анализа, в зависимости от сути вопроса.
Можно утверждать, что MongoDB не всегда является оптимальным выбором базы данных. Да, она может быть эффективной для кеширования JSON-объектов и в некоторых специфических ситуациях, например, как хранилище для вывода потоковых данных или когда важна оптимизация под вставку неструктурированных данных, и скорость чтения не является приоритетом - что может быть актуально для парсеров.
Однако, стоит учесть три важных момента:
1. Даже в вышеупомянутых случаях существуют другие решения, которые могут быть более эффективными.
2. MongoDB часто используется не по назначению, а в качестве полноценной базы данных, что может привести к ряду проблем.
3. MongoDB часто используют аутсорсеры, которые не заинтересованы в удобном использовании написанного кода в будущем
Проблема не только в отсутствии у MongoDB конкретных преимуществ перед другими базами данных, такими как PostgreSQL, но и в том, что использование MongoDB может негативно сказаться на качестве кода и архитектуры в целом.
Отсутствие схем в MongoDB, миграций, транзакций (хотя они были добавлены позже) делают эту базу данных менее надежной. Вследствие этого возникает необходимость обрабатывать большое количество возможных ошибок прямо в коде, что усложняет бизнес-логику. Если в базе данных нет схемы, значит, она определена в коде, что затрудняет ее чтение и понимание.
В итоге, хотя ответ на вопрос об использовании MongoDB, конечно, "зависит от задачи", общее правило может заключаться в том, чтобы избегать использования MongoDB, если это возможно.
Весьма интересный факт: бюрократические органы не признают наличие леса на определённых территориях, например, после пожара, несмотря на то что новый лес уже давно пророс там. Но через несколько лет, эти же территории подвергаются очистке с помощью бульдозеров, в результате чего уничтожается молодой лес и нарушается состояние почвы. После этого проводятся мероприятия по посадке нового леса
Вот ссылка на видео, которое иллюстрирует данную проблему: https://youtu.be/7Axo91WNQik
Я всегда стремлюсь обозревать новые сервисы и веб-сайты стартапов, чтобы открывать для себя свежие идеи и определять основные тенденции в разработке. Например, часто обитаю в каталоге betalist.com. Однако, мне успешно удалось пропустить веб-сайт с каталогом стартапов от акселератора Сбербанка.
Многие из этих сервисов мне уже знакомы, и я имел возможность их протестировать, но некоторые из них, к моему сожалению, остались незамеченными. Я не собираюсь составлять какой-либо рейтинг или список сервисов, ведь у каждого человека свои предпочтения, а кроме того, мне просто не хочется тратить на это время. Поэтому предлагаю вам ссылки на списки сайтов каждой волны акселератора:
1. Первая волна
2. Вторая волна
3. Третья волна
4. Четвертая волна
Касаемо этого файла. Данных там куда меньше, чем на сайте ЦИК'а
На госуслугах есть форма для Выбора избирательного участка https://www.gosuslugi.ru/600412/1/form
В консоли разработчика отправляется запрос на получение списка регионов
https://elections.gosuslugi.ru/api/v2/voter/kf/regions
95,96,97,98,31" номера регионов.https://elections.gosuslugi.ru/api/v1/election/configParam/blackListRegions
https://elections.gosuslugi.ru/api/map/uiks?bbox={x},{y},{x1},{y1}&electionLevel=1&electionDate=17.03.2024&callback=uik_48_7793_55_8564_49_3945_55_9058
XX.XXXX.for y in range(41, 82, 1):
for x in range(19, 181, 1):
x1, y1 = x + 1, y + 1
bbox = f"{x}.0000,{y}.0000,{x1}.0000,{y1}.0000"
Спарсил список избирательных участков с сайта ЦИК
Формат ссылок такой:
http://www.cikrf.ru/iservices/voter-services/committee/subjcode/НОМЕР_РЕГИОНА/num/ПОРЯДКОВЫЙ_НОМЕР_УЧАСТКА
Для каких-то регионов я сделал перебор от 1 до 2000 номера, а для каких-то от 1 до 10 000 номера
У объектов есть поле "status", которое имеет 3 варианта:
— "yes" - данные есть
— "no" - на момент парсинга данных не было
— "502" - сервис стабильно выдает по запросу ошибку 502
JSON-Schema и Pydantic в коментариях
В идеале, для оставшихся регионов надо бы еще просканировать номера участков в диапазоне от 2000 до 10 000
Чат-бот склоняется как одушевлённое существительное:
🔵чат-бот — чат-боты
🔵чат-бота — чат-ботов
🔵чат-боту — чат-ботам
🔵чат-бота — чат-боты
🔵чат-ботом — чат-ботами
🔵о чат-боте — о чат-ботах
✅ Напишите в чат-бота
❌ Напишите в чат-бот
Присоединяйтесь ко Дню открытых данных 2024
6 марта приглашаем к участию в нашем ежегодном мероприятии для сообщества — «День открытых данных 2024».
Мероприятие пройдет в онлайн формате. Центральный фокус программы мероприятия этого года — открытые данные для сообщества. Мы планируем включить программу ваши доклады, презентации проектов и мастер-классы.
Оставьте заявку до 15 февраля, если хотите стать спикером и выступить на мероприятии, и мы с вами свяжемся: https://forms.gle/HMxjCkKi9cR3NYS77
Приглашаем разработчиков, ИТ-специалистов, дата-журналистов, гражданских активистов и других участников российского движения открытости.
Организатором Дня открытых данных в России выступает АНО «Информационная культура».
Подробности и регистрация: opendataday.ru/msk.
Минцифры РФ планирует в 2024 году начать внедрение на портале "Госуслуги" технологии ChatGPT для консультации граждан.
Уже вчера у RU зоны сломался DNSSEC
Однако, можно глянуть на список предыдущих поломок, разделенных по зонам и датам
https://ianix.com/pub/dnssec-outages.html
Например, ранее у рунета ломалось в августе 19 года
если бы маркетологи лезли со своими идеями во все продукты
Читать полностью…
Ловите список кадастровых участков в РФ
Список кварталов тут
Архив разделен на папки (директории) по регионам и кадастровым районам. Полностью распакованный архив занимает 21.1 Гб.
Структура:
Массив объектов, где каждый объект представляет собой информацию о кадастровом квартале и его участках. Каждый объект содержит следующие поля:
1) "quarter": строковое значение, представляющее кадастровый квартал.
2) "total": числовое значение, показывающее общее количество кадастровых участков в данном квартале.
3) "items": массив объектов. Объекты состоят из 3 полей:
— "id": строковое значение (может быть null).
— "cad_num": строковое значение. Кадастровый участок.
— "address": строковое значение. Адрес кадастрового участка.
— "layer_name": строковое значение (может быть null). Тип кадастрового участка
В комментариях описание в виде JSON Schema / Pydantic
* Все данные взяты с сервиса nspd.rosreestr.gov.ru