17610
@haarrp - админ Вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейроннным сетям @data_analysis_ml - анализ данных @ai_machinelearning_big_data @itchannels_telegram - важное для программиста
🏴☠️ Представляем новый открытый набор данных "Character Codex"!
Он содержит данные о 15 939 персонажах из самых разных источников, от аниме до исторических личностей, ученых и популярных персонажей, как вымышленных, так и не вымышленных!
Скачать на HuggingFace: https://huggingface.co/datasets/NousResearch/CharacterCodex
Потенциальные варианты использования - это использование для генерации синтетических данных, анализа данных о ролевых играх и многого другого.
https://huggingface.co/datasets/NousResearch/CharacterCodex
#датасет
@bigdatai
top CVPR 2024 papers
Конференция по компьютерному зрению и распознаванию образов CVPR 2024 - это масштабная конференция.
Только в 2024 году было представлено 11 532 доклада, из которых 2 719 были приняты.
Вот репозиторий, чтобы помочь вам найти лучшие публикации CVPR.
▪Github
@bigdatai
Яндекс запустил Lite-версию генеративной текстовой модели YandexGPT 3
YandexGPT 3 Lite — это облегчённая версия генеративной модели Яндекса нового поколения. Особенность таких Lite-моделей заключается в более высокой скорости ответов, что позволяет решать простые задачи бизнеса буквально в режиме реального времени. Поэтому нейросеть хорошо показывает себя в сценариях, где важны время реакции и оптимизация затрат: например, бот-консультант на сайте, система подсказок для операторов колл-центров или суммаризатор результатов деловых встреч.
✈️ По данным замеров, YandexGPT 3 Lite стала ещё быстрее и точнее — и она уже доступна в режиме release candidate на облачной платформе Yandex Cloud. То есть клиенты могут протестировать её и плавно внедрить в свои продукты через API уже в ближайшее время.
Одним из ключевых этапов обучения модели стало выравнивание (Alignment), включающее в том числе стадию обучения с подкреплением (RL). В статье на Хабре - детали реализации Alignment и RL.
@bigdatai
💡 Действительно интересный репозиторий
Датасет, который состоит из 15 140 запросов ChatGPT с Reddit, Discord, курупыных веб-сайтов и наборов данных с открытым исходным кодом (включая 1 405 запросов для взлом ответов gpt).
https://github.com/verazuo/jailbreak_llms
#датасет
@bigdatai
📃Google представили NATURAL PLAN: бенчмарк для LLM для задач планирования на естественном языке
Представляет реалистичный бенчмарк для планированияс поездок, встреч и календарного планирования.
Это на удивление сложная задача для современных моделей.
https://arxiv.org/abs/2406.04520
@bigdatai
📌Классный интерактивный учебник по Machine Learning
Отличный ресурс для погружения в ML
Здесь очень много интерактивных элементов, которые помогают не просто запомнить, а понять важные концепции машинного обучения
Среди разбираемых тем такие как:
— нейронные сети
— регрессия: линейная/логистическая
— ROC & AUC
— кросс-валидация
— и многие другие темы, часть из них видна на изображениях
📎 Учебник по ML
@bigdatai
🚀 Google выпустил статью - верить или не верить Вашему LLM
https://arxiv.org/abs/2406.02543
@bigdatai
[xLSTM] от руки ✍️
Что означает каждая буква?
@bigdatai
⚡️ ЛУЧШИЕ БЕСПЛАТНЫЕ Курсы и Книги для изучения МАШИННОГО ОБУЧЕНИЯ.
https://www.youtube.com/watch?v=j0BrMPgrCuo
@bigdatai
⭐️ Awesome Detection Engineering
Коллекция технических ресурсов по детекции объектов:
* Концепции и фреймворки
* Контент и сигнатуры для обнаружения,
* Ведение журнала, мониторинг и источники данных
* Общие ресурсы.
https://github.com/infosecB/awesome-detection-engineering
@bigdatai
⚡️ Если бы вам разрешили выбрать только один ресурс для подготовки к собеседованию, какой бы вы выбрали?
Безусловным лидером среди таких ресурсов является репозиторий Tech Interview Handbook.
Этот обширный справочник, созданный усилиями большого сообщества, помог сотням тысяч разработчиков успешно подготовиться к собеседованиям.
В репозитории вы найдете:
* Практические советы по подготовке к различным этапам собеседования
* Подробные обзоры тем
* Шпаргалки и другие полезные материалы
Главное преимущество репа Tech Interview Handbook перед аналогичными ресурсами заключается в том, что он содержит всю необходимую и полезную информацию непосредственно в самом репозитории, без необходимости переходить по внешним ссылкам. Кроме того, в нем рассматривается более широкий спектр тем, включая не только алгоритмы и паттерны, но и другие важные аспекты собеседований.
#репозиторий #собеседование #советы #en
▪Github
@bigdatai
Приходите на High SQL — митап ЮMoney о работе с базами данных 😎
Встречаемся 28 мая в 19:00 (мск). Можно прийти в наш офис в Петербурге или подключиться к онлайн-трансляции.
На встрече эксперты ЮMoney и приглашённый спикер расскажут, как строят и развивают базы данных.
Темы докладов ⤵️
🟣SQL Agent Jobs As Code: подход ЮMoney к хранению и деплою заданий для Microsoft SQL Server.
🟣Декомпозиция монолита в DWH: когда делить базу на множество компонент.
🟣Телеметрия в реальном времени и в экстремальных условиях: всё про архитектуру отправки данных.
Участие бесплатное. Чтобы попасть на митап, нужно зарегистрироваться. Все подробности — на сайте High SQL ❤️
🫖 Слёрм набирает новый поток курса «Data-инженер»
Кто владеет информацией, тот владеет миром. А Data-инженер умеет выстраивать рабочие гипотезы и помогает бизнесу решать бизнес-запросы. А вы можете освоить инструменты и подходы Data-инженера на курсе от Слёрм.
Старт 3 июня. Записаться на курс можно по ссылке ⬅️
Вы освоите наиболее популярные инструменты Data-инжениринга: Bash, Hadoop, Spark, PostgreSQL, ClickHouse, AirFiow, Nifi, Kafka, Neo4j, MongoDBI и другие. Это обширный и полноценный курс, который охватывает как базовые темы, так и более сложный материал.
Эксперты курса:
🔎 Николай Марков. Работал с сетями, протоколами и различными облаками (AWS, GCP, Azure, OpenStack), писал проекты на Python, а также Golang, C/C++, Scala и Rust. Сейчас выстраивает аналитические архитектуры и Data Governance в разных компаниях.
🐍 Николай Акимов, инженер по внедрению в TaskData. В профессиональном IT уже более 20 лет. Активно участвует в Open Source проектах на Github, поддерживает сообщество NiFi.
🌺Ася Гайламазян. Работала в сферах телекоммуникаций, игровой индустрии, розничных и оптовых продажах в роли разработчика системного обеспечения.
Как проходит обучение:
Эксперты рассматривают каждую тему в коротких видеоуроках.
После каждого занятия будут идти практические задания и тесты — можно пройти теорию и сразу закрепить её.
В заданиях вы можете развернуть стенды и отработать учебный материал на практике.
Всех студентов мы соберем в одном чате в Telegram: здесь можно будет поделиться инсайтом, задать вопрос кураторам и экспертам курса.
После каждого тематического блока спикеры курса готовы будут встретиться с вами на онлайн-сессиях и обсудить возникшие сложности, ответить на любые вопросы по учебной программе.
Старт 3 июня. Записаться на курс можно по ссылке
Реклама ООО «Слёрм» ИНН 3652901451
Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.
Ближайшее Fast Track мероприятия:
• 8–9 июня — Fast Track для дата-инженеров, офер за 2 дня в DWH команды Маркета.
Зарегистрироваться
🔥Подборка лучших обучающих каналов для программистов.
➡️ Делитесь с коллегами и сохраняйте себе, чтобы не потерять
⚡Машинное обучение
Machine Learning - запускаем лучшие ИИ модели, пишем код, погружаемся в нейросети
Ml Собеседование - подготовка к собесу по мл, алгоритмам, коду
Ml ru - актуальные статьи, новости, код и обучающие материалы
Ml Jobs - вакансии ML
ML Книги - актуальные бесплатные книги МО
ML чат
🏆 Golang
Golang
Golang собеседование - разбор задач и вопросов с собесов
Golang вакансии -работа для Go разработчика
Golang книги библиотека книг
Golang задачи и тесты
Golang чат
Golang news - новости из мира go
Golang дайджест
💥 Linux /Этичный хакинг
Linux Academy - гайды, секреты и лучшие материалы по Linux
Kali linux - погрузись в мир этичного хакинга и кибербезопасности
linux_kal - kali чат
Информационная безопасность
🚀 Data Science
Анализ данных - полезные фишки, код, гайды и советы, маст-хэв датасаентиста
Data Jobs - ds вакансии
Аналитик данных
Data Science книги - актуальные бесплатные книги
Big data
🛢Базы данных
Sql базы данных - научим работе с базами данных профессионально
Библиотека баз данных
SQL чат
Вакансии Sql аналитик данных
#️⃣C#
С# академия - лучший канал по c#
С# заметки — код, лучшие практики, заметки программиста c#
С# задачи и тесты
С# библиотека - актуальные бесплатные книги
C# вакансии - работа
🐍 Python
Python/django - самый крупный обучающий канал по Python
Python Собеседование - подготовка к собеседовению python и разбор алгоритмов
Pro python - статьи, новости, код и обучающие материалы
Python Jobs - вакансии Python
Python чат
Python книги
☕ Java
Java академия - java от Senior разработчика
Java вакансии
Java чат
Java вопросы с собеседований
Java книги
💻 C++
C++ академия
С++ книги
C++ задачи - подготовка к собеседовению мл, алгоритмам
C++ вакансии
⚡️ Frontend
Javascript академия - крупнейший js канал
React - лучшие гайды и советы по работе с react
Frontend - тутрориалы, уроки, гайды, код
PHP
Книги frontend
Задачи frontend
🦀 Rust
Rust программирование
Rust чат
Rust книги для программистов
📲 Мобильная разработка
Android разработка
Мобильный разработчик гайды и уроки
🇬🇧 Английский для программистов
🧠 Искусственный интеллект
ИИ и технологии
Neural - нейросети для работы и жизни
Книги ИИ
Artificial Intelligence
🔥 DevOPs
Devops для программистов
Книги Devops
🌟 Docker/Kubernets
Docker
Kubernets
📓 Книги
Библиотеки Книг для программситов
💼 Папка с вакансиями:
Папка Go разработчика:
Папка Python разработчика:
Папка Data Science
Папка Java разработчика
Папка C#
Папка Frontend
💥 Бесплатный Chatgpt бот
⭐️ Яндекс выложил в опенсорс свою библиотеку YaFSDP
Это библиотека для обучения больших языковых моделей с открытым исходным кодом, которая позволяет ускорить их обучение до 25%, а также тратить до 20% меньше ресурсов графических процессоров.
Использование библиотеки даёт существенный выигрыш в производительности и потреблении памяти: YaFSDP позволяет использовать ровно столько памяти процессоров, сколько необходимо, а коммуникацию между GPU в сети при этом ничего не тормозит.
https://habr.com/ru/companies/yandex/articles/817509/
@bigdatai
🌟 DuckDuckGo представила собственный ИИ-чат
Разработчики DuckDuckGo представили собственный бесплатный ИИ-чат. Сейчас пользователям доступны четыре модели машинного обучения, но в будущем список планируют расширить.
Доступ к чат-боту от DuckDuckGo можно получить несколькими способами:
— на портале DuckAI duck.ai;
— на специальной странице чата — duckduckgo.com/chat;
— в поисковой выдаче;
— с помощью bangs !ai и !chat в адресной строке.
На выбор пользователям доступно четыре языковые модели: GPT 3.5 Turbo, Claude 3 Haiku, Llama 3 и Mixtral 8x7B. Запросы к ним можно отправлять бесплатно, но с ограничением по количеству запросов в сутки. Пока нет возможности получить безлимитный доступ, но представители компании отметили, что уже думают над платным тарифом и расширенным списком языковых моделей.
@bigdatai
🌟 Whisper WebGPU — распознавание речи локально, при помощи Whisper
git clone https://github.com/xenova/whisper-web.git
cd whisper-web
npm install
npm run dev
# http://localhost:5173/
NVIDIA’s New Tech: Next Level Ray Tracing!
https://www.youtube.com/watch?v=FniSuh9C_fk
@bigdatai
🐦⬛ BIRD - это новый метод восстановления изображений, который может качественно восстанавливать изображения.
https://github.com/hamadichihaoui/BIRD
@bigdatai
Хотите попробовать себя в роли аналитика и попрактиковаться на реальных задачах?
Приходите на бесплатный курс-симулятор Нетологии и Yandex Cloud «Основы анализа данных в SQL, Python, Power BI, DataLens».
В этой профессии много разных направлений — аналитик данных, BI-аналитик, продуктовый аналитик, Data Scientist. Но везде пригодится навык работы с инструментами-помощниками, которые вы и освоите на курсе.
Эксперты-практики расскажут, как делать простые отчёты, исследовать данные и строить интерактивные дашборды. А чтобы понять, что анализ данных — это точно ваше, вместе решите практические задачи из реальных кейсов.
Воспользуйтесь шансом попробовать новые инструменты и запишитесь на бесплатный курс Нетологии.
Регистрация: https://netolo.gy/dbfN
Реклама ООО "Нетология" 2VSb5yVAiAC
Анонс грантов от fal Research, которые предоставляют бесплатные вычислительные ресурсы исследователям и разработчикам, работающим над передовыми инициативами с открытым исходным кодом.
Чтобы подать заявку на получение исследовательского гранта, просто напишите на почту atgrants@fal.ai.
В своей заявке, укажите описание вашего проекта, его цели и то, как он согласуется с миссией по продвижению инноваций с открытым исходным кодом в области искусственного интеллекта.
Прикрепитн свои любые работами или репозиториями на GitHub, которые демонстрируют ваши навыки и энтузиазм.
https://fal.ai/grants
@bigdatai
⭐️ Сравниваем DBSCAN и OPTICS
Поговорим сегодня о 2 популярных алгоритмах кластеризации — DBSCAN и OPTICS, посмотрим их особенности и сравним
Поехали!
https://habr.com/ru/articles/818889/
@bigdatai
OpenAI’s ChatGPT: This is Science Fiction!
https://www.youtube.com/watch?v=ewLMYLCWvcI
@bigdatai
⚡️ MIT 6.S191: Reinforcement Learning
https://www.youtube.com/watch?v=8JVRbHAVCws
@bigdatai
⚡️ RLAIF-V-Dataset - это большой мультимодальный датасет отзывов, содержащий изображения + вопросы, а также выбранные и отклоненные ответы.
Доступно на сайте hugging.
Hub: https://huggingface.co/datasets/HaoyeZhang/RLAIF-V-Dataset
@bigdatai
💻 Kafka БАЗА по Теории и Практике.
https://www.youtube.com/watch?v=W7ZCXcxQxV8
@bigdatai
⚡️ Google выпустил Model Explorer — самый передовой инструмент для визуализации архитектуры моделей большого языка (LLM). Он позволяет пользователям глубоко погружаться в внутреннее устройство, слои и операции выбранной LLM.
Model Explorer представляет LLM как четкую иерархическую структуру, помогая пользователям понять их работу и диагностировать возможные проблемы. Для специалистов, работающих с ИИ, этот инструмент является незаменимым помощником.
Перейдите по ссылке, чтобы использовать Model Explorer: ссылка на Model Explorer
https://ai.google.dev/edge/model-explorer
@bigdatai
Panoptic Scene Graph Generation
Мы живем в трехмерном пространстве, в то время как движемся вперед через четвертое измерение - время.
Новая модель 4D Panoptic Scene Graph (PSG-4D), для всестороннего понимание 4D-окружения, которое объединяет необработанные визуальные данные, воспринимаемые в динамичном 4D-мире, и визуальное понимание высокого уровня
PSG-4D интерпретирует различные сенсорные данные в формате 4D в узлы, которые представляют объекты с точным местоположением и информацией о статусе объекта, и ребра, которые фиксируют временные отношения.
Чтобы облегчить исследования в этой новой области, разработки выпустили аннотированный набор данных PSG-4D, состоящий из 3K RGB-D видеороликов общим объемом 1 млн кадров, каждый из которых помечен 4D-масками для сегментации, а также детализированными динамическими графиками сцен.
Для решения задачи PSG-4D представлена PSG4DFormer - модель на основе трансформеров, которая может предсказывать маски сегментации, отслеживать маски вдоль оси времени и генерировать соответствующие графики сцен с помощью компонента отношений.
Обширные тесты с новым набором данных показывают, что метод может послужить надежной основой для будущих исследований PSG-4D.
▪Github
▪Paper
@ai_machinelearning_big_data
Google I/O 2024: AI That Looks Like Magic!
https://www.youtube.com/watch?v=MEJo5YSOrnU
@bigdatai