264
Пишу о технологиях и датасетах, немного ML Рекламирую Чебоксары
Иван Бегтин сегодня анонсировал новую платформу для поиска данных — Dateno.
Это сайт, на котором можно найти открытые данные и статистику со всего мира по поисковому запросу. На нём уже проиндексировано 10 миллионов датасетов (из них — 219 тысяч по России), а к концу года это количество планируют расширить до 30 миллионов. Можно указать тематику, язык источника, формат данных. А работает это уже лучше, чем тот же Google Dataset Search.
Портал пока находится в стадии беты, но уже работает:
https://dateno.io/
Почему вообще используются восьмиугольники на картах?
Агрегация случайных точечных данных в регулярные сетки используется по многим причинам, в частности для нормирования географии для нанесения на карту или для уменьшения неоднородности при использовании полигонов неправильной формы, созданных произвольно (например, границы избирательных округов или блоков, созданных в результате политических процессов). Регулярные сетки могут состоять только из равносторонних треугольников, квадратов или шестиугольников, т.к. только такая геометрия полигонов позволяет создавать мозаичное замощение (совокупность одинаковых фигур, охватывающую всю область без пробелов и перекрытий), чтобы получить равномерную сетку.
Хотя сетка квадратов является основным типом геометрии в ГИС-анализе и тематической картографии, бывают ситуации, когда шестиугольники лучше подходят для анализа, в зависимости от сути вопроса.
Можно утверждать, что MongoDB не всегда является оптимальным выбором базы данных. Да, она может быть эффективной для кеширования JSON-объектов и в некоторых специфических ситуациях, например, как хранилище для вывода потоковых данных или когда важна оптимизация под вставку неструктурированных данных, и скорость чтения не является приоритетом - что может быть актуально для парсеров.
Однако, стоит учесть три важных момента:
1. Даже в вышеупомянутых случаях существуют другие решения, которые могут быть более эффективными.
2. MongoDB часто используется не по назначению, а в качестве полноценной базы данных, что может привести к ряду проблем.
3. MongoDB часто используют аутсорсеры, которые не заинтересованы в удобном использовании написанного кода в будущем
Проблема не только в отсутствии у MongoDB конкретных преимуществ перед другими базами данных, такими как PostgreSQL, но и в том, что использование MongoDB может негативно сказаться на качестве кода и архитектуры в целом.
Отсутствие схем в MongoDB, миграций, транзакций (хотя они были добавлены позже) делают эту базу данных менее надежной. Вследствие этого возникает необходимость обрабатывать большое количество возможных ошибок прямо в коде, что усложняет бизнес-логику. Если в базе данных нет схемы, значит, она определена в коде, что затрудняет ее чтение и понимание.
В итоге, хотя ответ на вопрос об использовании MongoDB, конечно, "зависит от задачи", общее правило может заключаться в том, чтобы избегать использования MongoDB, если это возможно.
Весьма интересный факт: бюрократические органы не признают наличие леса на определённых территориях, например, после пожара, несмотря на то что новый лес уже давно пророс там. Но через несколько лет, эти же территории подвергаются очистке с помощью бульдозеров, в результате чего уничтожается молодой лес и нарушается состояние почвы. После этого проводятся мероприятия по посадке нового леса
Вот ссылка на видео, которое иллюстрирует данную проблему: https://youtu.be/7Axo91WNQik
Я всегда стремлюсь обозревать новые сервисы и веб-сайты стартапов, чтобы открывать для себя свежие идеи и определять основные тенденции в разработке. Например, часто обитаю в каталоге betalist.com. Однако, мне успешно удалось пропустить веб-сайт с каталогом стартапов от акселератора Сбербанка.
Многие из этих сервисов мне уже знакомы, и я имел возможность их протестировать, но некоторые из них, к моему сожалению, остались незамеченными. Я не собираюсь составлять какой-либо рейтинг или список сервисов, ведь у каждого человека свои предпочтения, а кроме того, мне просто не хочется тратить на это время. Поэтому предлагаю вам ссылки на списки сайтов каждой волны акселератора:
1. Первая волна
2. Вторая волна
3. Третья волна
4. Четвертая волна
Касаемо этого файла. Данных там куда меньше, чем на сайте ЦИК'а
На госуслугах есть форма для Выбора избирательного участка https://www.gosuslugi.ru/600412/1/form
В консоли разработчика отправляется запрос на получение списка регионов
https://elections.gosuslugi.ru/api/v2/voter/kf/regions
95,96,97,98,31" номера регионов.https://elections.gosuslugi.ru/api/v1/election/configParam/blackListRegions
https://elections.gosuslugi.ru/api/map/uiks?bbox={x},{y},{x1},{y1}&electionLevel=1&electionDate=17.03.2024&callback=uik_48_7793_55_8564_49_3945_55_9058
XX.XXXX.for y in range(41, 82, 1):
for x in range(19, 181, 1):
x1, y1 = x + 1, y + 1
bbox = f"{x}.0000,{y}.0000,{x1}.0000,{y1}.0000"
Спарсил список избирательных участков с сайта ЦИК
Формат ссылок такой:
http://www.cikrf.ru/iservices/voter-services/committee/subjcode/НОМЕР_РЕГИОНА/num/ПОРЯДКОВЫЙ_НОМЕР_УЧАСТКА
Для каких-то регионов я сделал перебор от 1 до 2000 номера, а для каких-то от 1 до 10 000 номера
У объектов есть поле "status", которое имеет 3 варианта:
— "yes" - данные есть
— "no" - на момент парсинга данных не было
— "502" - сервис стабильно выдает по запросу ошибку 502
JSON-Schema и Pydantic в коментариях
В идеале, для оставшихся регионов надо бы еще просканировать номера участков в диапазоне от 2000 до 10 000
Чат-бот склоняется как одушевлённое существительное:
🔵чат-бот — чат-боты
🔵чат-бота — чат-ботов
🔵чат-боту — чат-ботам
🔵чат-бота — чат-боты
🔵чат-ботом — чат-ботами
🔵о чат-боте — о чат-ботах
✅ Напишите в чат-бота
❌ Напишите в чат-бот
Присоединяйтесь ко Дню открытых данных 2024
6 марта приглашаем к участию в нашем ежегодном мероприятии для сообщества — «День открытых данных 2024».
Мероприятие пройдет в онлайн формате. Центральный фокус программы мероприятия этого года — открытые данные для сообщества. Мы планируем включить программу ваши доклады, презентации проектов и мастер-классы.
Оставьте заявку до 15 февраля, если хотите стать спикером и выступить на мероприятии, и мы с вами свяжемся: https://forms.gle/HMxjCkKi9cR3NYS77
Приглашаем разработчиков, ИТ-специалистов, дата-журналистов, гражданских активистов и других участников российского движения открытости.
Организатором Дня открытых данных в России выступает АНО «Информационная культура».
Подробности и регистрация: opendataday.ru/msk.
Минцифры РФ планирует в 2024 году начать внедрение на портале "Госуслуги" технологии ChatGPT для консультации граждан.
Уже вчера у RU зоны сломался DNSSEC
Однако, можно глянуть на список предыдущих поломок, разделенных по зонам и датам
https://ianix.com/pub/dnssec-outages.html
Например, ранее у рунета ломалось в августе 19 года
если бы маркетологи лезли со своими идеями во все продукты
Читать полностью…
Ловите список кадастровых участков в РФ
Список кварталов тут
Архив разделен на папки (директории) по регионам и кадастровым районам. Полностью распакованный архив занимает 21.1 Гб.
Структура:
Массив объектов, где каждый объект представляет собой информацию о кадастровом квартале и его участках. Каждый объект содержит следующие поля:
1) "quarter": строковое значение, представляющее кадастровый квартал.
2) "total": числовое значение, показывающее общее количество кадастровых участков в данном квартале.
3) "items": массив объектов. Объекты состоят из 3 полей:
— "id": строковое значение (может быть null).
— "cad_num": строковое значение. Кадастровый участок.
— "address": строковое значение. Адрес кадастрового участка.
— "layer_name": строковое значение (может быть null). Тип кадастрового участка
В комментариях описание в виде JSON Schema / Pydantic
* Все данные взяты с сервиса nspd.rosreestr.gov.ru
Захожу в магазин возле дома, - а там дед луковицу покупает. Одну луковицу, понимаете? Одну!
Ну я в соседнюю очередь втиснулся с килограммом лука в пакете, деда уже на выходе догнал и сую тому пакет в руки: "На дед, ЕШЬ!". Ну тот начал что-то мямлить про "да бабке одной на котлеты не хватило", "да не надо, сынок", "я не хочу, не буду", но я-то ведь ПРАВДУ знаю! Заставил-таки!
Вот сидим мы с дедом на ступеньках магазина - он третью луковицу дожёвывает, сам плачет. Я курю и плачу. Молчим оба, всё понимаем. Да что же за страна-то у нас ТАКАЯ?!
////////
В парк развлечений с детьми пошёл, - а там дед! Ну тот самый! С луковицей! Билет покупает на аттракцион. Один билет, понимаете?!
Ну я быстренько абонемент ему купил на весь день, деда за руку хватаю: "Пошли, дед!". Тот лепетать начал, что мол, "внучке покататься", "сердце слабое", "люди, помогите!". Но я-то ПРАВДУ знаю, - закалка старая, неудобно ему просто такое внимание.
Уже на посадке вырваться пытался, но мы с билетёром его ремнями скрутили и усадили на место. Запустили.
Стоим вместе с билетёром - курим.
Когда через пару часов крики стихли - прослезились, да что же за страна-то у нас ТАКАЯ!?
// // //
Идём с мужиками по улице, снег, ветер, мороз. А тут дед снег убирает во дворе частного дома - лопатой. И кучу нагрёб. Одну кучу. Понимаете?! Одну жалкую кучку!
Ну мы с ребятами посовещались, КАМАЗ наняли, трактор с ковшом и ему ещё кубов шесть снега во двор закинули.
Дед сидит плачет - на снег смотрит.
Мы плачем, - да что же за страна-то у нас такая?!
// // //
Угадайте кого в шиномонтажке встретил? Ага! Деда! Он меня тоже узнал - убежать пытался, да куда же он убежит - колесо-то проколото! Понимаете?! ОДНО КОЛЕСО! Довели - сил нет!
Ну я деду шилом быстренько три оставшихся колеса проткнул, а когда тот расплакался - ещё и запаску в нескольких местах.
Стоим с шиномонтажником - курим, дед в машине заперся, выходить не хочет пока не уйду.
Да что же за страна-то у нас ТАКАЯ?!
// // //
Ногу подвернул. зашёл в травмотологию, а там дед знакомый, - помните его? Точно! С луковицей! А теперь и пальцем сломанным, с рентгена выходит! Одним пальцем! ОДНИМ, понимаете?! Да что же это такое-то?!
Дед побледнел, мямлит что "рентген не его", "да он просто спросить", "пощады". Но меня-то не обманешь! С санитаром переглянулись и без слов поняли что нужно делать!
Теперь у него три пальца на левой и два на правой руке сломаны. Ну и нога до кучи.
Пока деду гипс накладывали плакали все вместе, да что же за страна-то у нас ТАКАЯ!?
// // //
Я же того деда лукового снова встретил в больнице через пару недель. Он на каталке с ногой был - в лифт въехать пытался, да до кнопки этажа достать не мог. Ну я помог - коляску вкатил, поинтересовался здоровьем, всё ли в порядке у него? Дед смотрел подозрительно, но разговаривал. И тут выяснилось, что ему на один этаж только подняться! Всего на один! Понимаете?! Один!!!
Ну что уж тут поделать?! Я его на восемнадцатый отправил, а сам на своём вышел.
Уже потом курил, стоял и думал, а как же он один с восемнадцатого спускаться на коляске будет? До чего страну-то довели, понимаете?!
// // //
Судьба с дедом нас в стоматологии свела почти через год! Я на осмотр зашёл к доктору, а тот зуб выдёргивать. Ну вы понимаете? Один зуб! Всего один! Ну вот до чего страну довели!?
Врач знакомый, я ему денег дал, а сам деда держу: "Я за восемь зубов заплатил, дед. Гуляй, рванина!"
Дед вырывается, кричит что-то типа "у меня только четыре!", "а наркоз?!", "хоть один оставьте!". Но мы-то с врачом всё понимаем. Эх, мало их осталось таких - старой закалки. Гвозди бы из таких делать!
Уже потом стояли с доктором и курили. Без слов всё ясно было. Распрощались так же молча и в слезах простым кивком. Что же страна-то у нас такая?!
Хм, а ведь можно пропатчить эту скрепку и запихнуть в неё API от OpenAI
Читать полностью…
Геочеки от ФНС — https://geochecki-vpd.nalog.gov.ru/geochecks
Открытые данные Федеральной налоговой службы о потреблении товаров и услуг в различных локациях, агрегированные по гексагональной сетке.
Может пригодиться для исследований городских центров и решения геомаркетинговых задач, например, уровень обеспеченности города
Появление React ребята из Facebook часто объясняют примерно вот так:В далеком 2013 году в Facebook Chat часто появлялись фантомные сообщения: уведомление приходило, иконка загоралась, а самого сообщения не было.
Это было вызвано ужасным императивным кодом, а чтобы это починить и был придуман React.
У меня всегда были вопросы к этому объяснению. А вчера Adam Wolff причастный к разработке добавил деталей: Да, React, был действительно создан для решения проблемы фантомных уведомлений, но эту проблему он в результате не решил, потому что проблема на самом деле была в кривых настройках DNS где-то в Индии, и когда DNS починили проблема ушла.
https://twitter.com/dmwlff/status/1762885255030259854?s=20
2030 год
@
90% части информации поступает от бездушных сгенерированных нейросетей
Файл "cik_gosuslugi.json" - список из 87 616 избирательных участков внутри страны. У каждого участка есть свои метки
Количество участков с меткой hasVideosurveillance (Оснащение средствами видеонаблюдения) = 20960
Количество участков с меткой forPeopleWithLimitedHearing (Возможности для людей с нарушениями слуха) = 2507
Количество участков с меткой forDisabledPeople (Оснащение пандусом для маломобильных групп населения) 15244
Количество участков с меткой hasVideosurveillance (Возможности для людей с нарушениями зрения) 20960
Количество участков с меткой forPeopleWithLimitedVision (Возможности для людей с нарушениями зрения) 19236
Количество участков с меткой hasCulturalProgram (Проведение культурно-развлекательных мероприятий в дни голосования) 9407
Также на госуслугах есть возможность выбора избирательного участка за рубежом. Всего их 254 штуки - это файл "cik_countries.json"
JSON Scheme и Pydantic к первому файлу в комментариях
Я планирую предоставить общественности доступ к информации о всех кадастровых участках в РФ. Эта информация включает в себя полигоны и сведения об участках, такие как адрес, кадастровая стоимость и категория земли.
Сейчас я уже загрузил данные по 20 регионам России, что занимает около 6 ГБ. Стоит отметить, что эти данные требуют дополнительной проверки и перезагрузки из-за проблем с временем ожидания. Из уже известных проблем нуждаюсь в необходимости увеличения количества используемых прокси-серверов с 20 до 100 для устойчивости работы, а также сложность не поломать сервера Росреестра (например, 100 запросов в секунду не выдерживает).
Я могу предоставлять полные данные по каждому региону отдельно или ожидать, пока полностью скачаю все данные и выложу их одним файловым репозиторием
Если вы хотите поддержать эту инициативу, вы можете сделать пожертвование на счет 2200700506179109 или связаться со мной лично по @quokkus.
Изучаю сервис Росреестра, который предлагает возможность отслеживать изменения по объектам недвижимости на различных территориях. Однако, столкнулся с рядом ограничений, о которых хотел бы сообщить.
Во-первых, отслеживание изменений ограничено до 300 элементов. Этими элементами могут быть как кадастровые участки, так и территории площадью до 500 000 квадратных метров. В сумме не больше 300.
В случае, если в сервисе отслеживается конкретный кадастровый участок, то в данных мониторинга отображаются все изменения, касающиеся этого участка. Это может быть, например, изменение цены или типа участка, а также даты последнего изменения.
Однако, если отслеживаются изменения по территориям (например, я разделил Чебоксары на квадраты и добавил эти данные в систему с помощью скрипта), то система только указывает наличие пересечения с земельными участками. К сожалению, полезной информации об изменениях этих земельных участков не предоставляется.
В целом, данный микросервис оставляет впечатление несколько ограниченного инструмента. Однако, если API будет всегда открытым, это может компенсировать некоторые из его недостатков
Часть интерфейса по мониторингу земельных участков
Читать полностью…
Почалось
На фрилансах появилась куча проектов про написанию автоматических отзывов и ответов на вопросы Wildberries через ChatGPT
Гении из MSCHF нашли способ легально показывать фильмы в интернете без нарушения авторских прав. Встречайте — ASCII кинотеатр, в котором можно посмотреть свежие новинки фильмов.
Чтобы обойти все юридические запреты, фильмы генерируются в ASCII. Это такой формат, где каждый кадр представляет собой динамическое полотно цветных текстовых символов.
Сами MSCHF заявляют, что кинотеатр будет работать, пока его не закроют.
Сделал для Чебоксар канал, который мониторит публичные обращения и ответы в приложении «Решаем вместе» от Госуслуг
/channel/cheb_problems
В целом, можно расширить на всю страну, учитывая что я уже публиковал небольшой датасет t.me/opendatarussiachat1/35032
Может можно сделать какой-нибудь микросервис по этой теме?
Мы совершенно новый стартап с революционной идеей (с)
Рынок:
Посоветуйте норм аналоги
https://rozetked.me/news/31618-nemeckiy-hosting-hetzner-prekratit-rabotu-s-rossiyskimi-pol-zovatelyami
Ловите обновленный список кадастровых кварталов в РФ
Структура:
Массив объектов, где каждый объект представляет собой информацию о кадастровом районе. Каждый объект содержит следующие поля:
- "rayon": строковое значение, представляющее кадастровый район.
- "total": числовое значение, показывающее общее количество кадастровых кварталов в данном районе.
- "items": список строк, где каждая строка представляет собой название кадастрового квартала.
В комментариях описание в виде JSON Schema / Pydantic