15160
@haarrp - админ Вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейроннным сетям @data_analysis_ml - анализ данных @ai_machinelearning_big_data @itchannels_telegram - важное для программиста
🔥 model2vec — реализация модели для обучения эмбедингов (embeddings) нейросетевых моделей. Основная идея проекта — создание представлений моделей, которые могут быть использованы для оценки схожести между моделями, их кластеризации или других задач.
Model2Vec - библиотека для создания компактных и быстрых моделей на основе предобученных Sentence Transformer моделей.
Model2Vec позволяет создавать эмбединг-модели слов и предложений, которые значительно меньше по размеру, но при этом сопоставимы по производительности с исходными Sentence Transformer моделями.
Отличительные особенности:
🟢быстрая дистилляция, процесс создания модели занимает несколько минут;
🟢быстрый инференс, в 500 раз быстрее на CPU относительно родительской модели;
🟢BYOM и BYOV, можно использовать на любой Sentence Transformer модели с любым словарем;
🟢мультиязычность, все что нужно - только мультиязычная модель в качестве источника;
🟢интеграция с Huggingface, загрузка\выгрузка моделей привычными from_pretrained и push_to_hub.
Пайплайн Model2Vec трехэтапный. На первом этапе словарь пропускается через модель Sentence Transformer для получения векторов эмбедингов для каждого слова.
Далее, размерность полученных эмбеддингов сокращается с помощью метода главных компонент (PCA). Наконец, применяется zipf-взвешивание для учета частотности слов в словаре.
Model2Vec работает в двух режимах:
🟠Output, в котором модель работает подобно Sentence Transformer, используя subword токенизацию;
🟠Vocab, в котором создается набор статических эмбедингов слов, аналогично GloVe или Word2Vec.
Оценку производительности Model2Vec делали на наборе данных MTEB на задачах PEARL (оценка качества представления фраз) и WordSim (оценка семантической близости слов).
Результаты показывают, что Model2Vec превосходит по производительности GloVe и модели, основанные на WordLlama по всем задачам оценки.
🌟 Репозиторий предоставляет набор инструментов и инструкций для работы с этими представлениями, включая подготовку данных, обучение и использование. В нем также есть примеры использования и инструкции по запуску.
▪️GitHub
@bigdatai
🖥 EfCore.SchemaCompare — инструмент для сравнения схем баз данных Entity Framework Core (EF Core). Он позволяет проверять различия между базой данных и миграциями, обеспечивая удобный способ отслеживания изменений в схемах данных
🌟 Этот инструмент может быть полезен для управления версиями баз данных и предотвращения ошибок, связанных с несовпадением структуры данных при разработке приложений на EF Core
▪️GitHub
@sqlhub
🌟 Zamba2-Instruct: две гибридные SLM на 2.7 и 1.2 млрд. параметров.
Zamba2-Instruct - семейство инструктивных моделей на архитектуре Mamba2+Transformers для NLP-задач.
В семействе 2 модели:
🟢Zamba2-1.2B-instruct;
🟠Zamba2-2.7B-instruct.
Высокая производительность семейства по сравнению с релевантными Transformers-only моделями достигается за счет конкатенации эмбедингов модели с входными данными для блока внимания и использование LoRA projection matrices к общему MLP-слою.
Модели файнтюнились (SFT+DPO) на instruct-ориентированных наборах данных (ultrachat_200k, Infinity-Instruct, ultrafeedback_binarized, orca_dpo_pairs и OpenHermesPreferences).
Тесты Zamba2-Instruct продемонстрировали внушительную скорость генерации текста и эффективное использование памяти, обходя MT-bench более крупные по количеству параметров модели/ (Zamba2-Instruct-2.7B превзошла Mistral-7B-Instruct-v0.1, а Zamba2-Instruct-1.2B - Gemma2-2B-Instruct)
⚠️ Для запуска на СPU укажите use_mamba_kernels=False при загрузке модели с помощью AutoModelForCausalLM.from_pretrained.
▶️Локальная установка и инференс Zamba2-2.7B-Instruct:
# Clone repo
git clone https://github.com/Zyphra/transformers_zamba2.git
cd transformers_zamba2
# Install the repository & accelerate:
pip install -e .
pip install accelerate
# Inference:
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
tokenizer = AutoTokenizer.from_pretrained("Zyphra/Zamba2-2.7B-instruct")
model = AutoModelForCausalLM.from_pretrained("Zyphra/Zamba2-2.7B-instruct", device_map="cuda", torch_dtype=torch.bfloat16)
user_turn_1 = "user_prompt1."
assistant_turn_1 = "assistant_prompt."
user_turn_2 = "user_prompt2."
sample = [{'role': 'user', 'content': user_turn_1}, {'role': 'assistant', 'content': assistant_turn_1}, {'role': 'user', 'content': user_turn_2}]
chat_sample = tokenizer.apply_chat_template(sample, tokenize=False)
input_ids = tokenizer(chat_sample, return_tensors='pt', add_special_tokens=False).to("cuda")
outputs = model.generate(**input_ids, max_new_tokens=150, return_dict_in_generate=False, output_scores=False, use_cache=True, num_beams=1, do_sample=False)
print((tokenizer.decode(outputs[0])))
📚 Пришло время провести розыгрыш подарков для буста вашей карьеры
На этот раз мы разыграем целую коллекцию актуальных и нужных книг Дата Саентиста.
Условия просты:
👉 подписаться на Machine Learning,
👉 подписаться на Нескучный Data Science
Каждый победитель получит Telegram Premium и одну из книг, которые рекомендуют прочитать авторы каналов:
📖 System Design. Машинное обучение. Подготовка к сложному интервью | Сюй Алекс
📖 Глубокое обучение Курвилль Аарон, Гудфеллоу Ян
📖 Как быть успешным в Data Science.
📖 Все, что нужно, чтобы понимать математику в одном толстом конспекте
📖 Илон Маск | Айзексон Уолтер
Итоги подведем при помощи бота, который рандомно выберет победителя. Всем удачи ❤️
P.S. Не забывайте ставить огонек под этим постом. Поговаривают, что шанс на победу может увеличится ))) 🔥
🌟 Возвращение RNN: LSTM и GRU — все, что нам было нужно?
Архитектура Transformer доминирует в моделировании последовательностей уже несколько лет, демонстрируя отличные результаты в задачах NLP, машинного перевода и генерации текста. Главный недостаток Transformer — они долго считают длинные последовательности. А если вычислительных ресурсов мало, то реализация занимает либо много времени, либо требует их увеличения.
Авторы исследования предлагают вернуться к RNN, ведь они быстрее считают и параллельно учитывают контекст. Чтобы отвязаться от обратного распространения ошибки (BPTT), которая требует линейного времени обучения, применяется алгоритм параллельного сканирования за счет устранения зависимости от срытых состояний из гейтов LSTM и GRU.
В предлагаемом методе представлены "уменьшенные" LTSM и GRU - minLSTM и minGRU. Они не только обучаются параллельно, но и используют значительно меньше параметров, чем их старшие аналоги.
Минимализм версий достигается следующим образом:
🟢Устранение зависимостей скрытых состояний из гейтов.
В minLSTM и minGRU input, forget и update gate зависят только от входных данных, а не от предыдущих скрытых состояний.
🟢Отказ от ограничения диапазона candidate hidden state.
В традиционных LSTM и GRU функция гиперболического тангенса используется для ограничения диапазона значений скрытых состояний. В minLSTM и minGRU это ограничение снимается.
🟢Неизменность масштаба выходных данных во времени (только для minLSTM).
Для minLSTM выполняется нормализация forget и input гейтов, чтобы гарантировать, что масштаб состояния ячейки не зависит от времени.
Результаты экспериментов:
🟠Время выполнения: minLSTM и minGRU скорость обучения по сравнению с LSTM и GRU, больше в 1361 раз для последовательности длиной 4096;
🟠Задача выборочного копирования: minLSTM и minGRU успешно справились, в отличие от S4, H3 и Hyena;
🟠Обучение с подкреплением на датасете D4RL: minLSTM и minGRU обошли Decision S4 и показали производительность, сопоставимую с Decision Transformer, Aaren и Mamba;
🟠Языковое моделирование: minLSTM, minGRU, Mamba и Transformer показывают одинаковые результаты, но Transformer требует значительно большего количества шагов обучения.
Прикладная реализация численно-устойчивой в логарифмическом пространстве версии метода minGRU на Pytorch представлена в репозитории на Github.
▶️ Локальная установка и запуск minGRU в последовательном и параллельном режиме :
# Install miniGRU-pytorch
pip install minGRU-pytorch
# Usage
import torch
from minGRU_pytorch import minGRU
min_gru = minGRU(512)
x = torch.randn(2, 1024, 512)
out = min_gru(x)
assert x.shape == out.shape
# Sanity check
import torch
from minGRU_pytorch import minGRU
min_gru = minGRU(dim = 512, expansion_factor = 1.5)
x = torch.randn(1, 2048, 512)
# parallel
parallel_out = min_gru(x)[:, -1:]
# sequential
prev_hidden = None
for token in x.unbind(dim = 1):
sequential_out, prev_hidden = min_gru(token[:, None, :], prev_hidden, return_next_prev_hidden = True)
assert torch.allclose(parallel_out, sequential_out, atol = 1e-4)
Бизнесу данные нужны как воздух📊
На их основе компании принимают важные стратегические решения. Поэтому специалисты, которые собирают, обрабатывают и анализируют данные, всегда востребованы.
Таких профессионалов готовят на курсе «Аналитик данных» от МФТИ и Нетологии. За 10 месяцев вы получите фундаментальные знания, актуальные навыки и кейсы в портфолио.
Вы научитесь:
- использовать Python для анализа данных;
- применять методы ИИ в своих задачах;
- работать с базами данных;
- визуализировать данные.
После обучения получите дипломы о профессиональной переподготовке от МФТИ и Нетологии. Центр развития карьеры поможет с трудоустройством, резюме и портфолио.
Освойте профессию на стыке IT и бизнеса
Реклама. ООО "Нетология". Erid 2VSb5zBiKfv
Вечерний митап для ML-инженеров в Белграде и онлайн
📅 17 октября в 18:00 собираемся в хабе «Сербская Роза», чтобы обсудить тренды, новые подходы, решения и вызовы индустрии в неформальной обстановке.
Спикеры и темы докладов:
🔸 Илья Ирхин, руководитель подразделения аналитики в Яндекс Еде. Подробно рассмотрит рекламу ресторанов в сервисе: аукцион, ранжирование, ценообразование
🔸 Дмитрий Солодуха, руководитель группы в Алисе и Умных устройствах Яндекса. Покажет, как мы учим Алису откликаться без имени
🔸 Антон Клочков, руководитель подгруппы распознавания текста в VLM в Яндекс Поиске. Расскажет о развитии навыков распознавания текста в VLM
🔸 Пётр Вытовтов, руководитель группы в Яндекс Погоде. Рассмотрит трансформеры сервиса и расскажет, как начать прогнозировать до миллиметра осадков
После докладов офлайн-участников ждёт нетворкинг с экспертами из разных компаний!
📎 Регистрация и подробности тут.
Ждём вас на ML Party в Белграде!
Реклама. ООО "Яндекс", ИНН 7736207543.
Стать Data-инженером за 120 часов
14 октября в Слёрме стартует поток курса «Data-инженер»: 88 часов практики и 32 часа теории.
Будем работать с большими данными:
✔️ Сбор, хранение и обработка
✔️ Визуализация и отчетность
✔️ Интеграция
⚙️ Освоим инструменты и технологии для аналитики и обработки данных и научимся эффективно их подбирать под задачу: PythonSQL, PostgreSQL, Сlickhouse, MongoDB, HDFSHadoop, Spark, Apache Kafka, Redis, Airflow, NiFi, dbt, Metabase.
⚡️Смотреть программу подробнее и оставить заявку по ссылке – на сайте⚡️
⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:
МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/python_job_interview
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
АНАЛИЗ Данных: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Linux: t.me/linuxacademiya
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/golang_interview
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy
😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno
🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy
✔️ "Электронный язык" с ИИ распознает вкусовые характеристики.
Ученые из Penn State разработали электронный язык, способный различать жидкости - молоко с разным содержанием воды, различные виды соды и кофе, а также определять свежесть соков и потенциальные проблемы с безопасностью пищевых продуктов.
Язык использует графеновый ионно-чувствительный транзистор, подключенный к нейронной сети. ИИ сначала оценивал жидкости по 20 заданным параметрам, достигнув точности более 80%. Однако, когда ИИ самостоятельно определял параметры оценки, точность возросла до 95%.
Исследователи использовали метод Shapley Additive Explanations, чтобы понять, как ИИ принимает решения, и обнаружили, что он учитывает более тонкие характеристики данных. По словам исследователей, возможности языка ограничены только данными, на которых он был обучен.
psu.edu
✔️ Google представляет Tx-LLM: Модель ИИ для ускорения разработки лекарств.
Google представила новую большую языковую модель Tx-LLM, разработанную для прогнозирования свойств биологических объектов на всех этапах разработки лекарств. Tx-LLM обучена на 66 наборах данных, охватывающих задачи от ранней идентификации целевых генов до утверждения клинических испытаний на поздних стадиях.
Модель Tx-LLM, построенная на базе PaLM-2, достигла конкурентоспособных результатов по сравнению с современными моделями, превзойдя их в 22 из 66 задач. Tx-LLM продемонстрировала способность эффективно объединять молекулярную информацию с текстовой и переносить знания между задачами с различными типами терапии.
Google планирует предоставить доступ к Tx-LLM внешним исследователям для ускорения процесса разработки лекарств.
research.google
✔️ Tesla готовится к презентации роботакси.
Tesla проводит мероприятие под названием «Мы, роботы», 10 октября в 19.00 EPT (2:00 11 октября GMT) на котором, как ожидается, будет представлен дизайн роботакси - автомобиля Tesla, предназначенного исключительно для перевозки пассажиров без водителя.
На мероприятии также может быть представлен гуманоидный робот Optimus.
npr.org
✔️ Liftoff запускает Cortex, модель машинного обучения для улучшения мобильной рекламы.
Liftoff, занимающаяся консалтингом мобильных приложений, запустила новую платформу машинного обучения под названием Cortex. Эта платформа использует специализированные модели нейронных сетей для повышения эффективности мобильных рекламных кампаний.
Cortex позволяет достичь более высокой рентабельности инвестиций в рекламу, определяя наилучшие каналы и аудитории для рекламных кампаний. По данным Liftoff, Cortex уже показал положительные результаты: снижение стоимости установки (CPI) на 23%, стоимости привлечения клиента (CPA) на 21% и увеличение рентабельности рекламных расходов (ROAS) на 16%.
venturebeat.com
✔️ Выпущен релиз Gradio 5.
Gradio выпустила стабильную версию Gradio 5, он получил ряд улучшений, направленных на решение проблем, с которыми сталкивались разработчики ранее.
Среди ключевых обновлений: улучшенная производительность за счет рендеринга на стороне сервера (SSR), обновленный дизайн основных компонентов и новые темы, поддержка потоковой передачи с низкой задержкой, включая WebRTC, экспериментальная AI-площадка для генерации и модификации приложений с помощью ИИ.
В ближайшее время планируется добавить поддержку многостраничных приложений, мобильных устройств и новые компоненты для работы с изображениями и видео.
huggingface.co
✔️ NVIDIA поставила долгожданные чипы Blackwell AI в OpenAI и Microsoft.
OpenAI объявила, что получила первые инженерные образцы DGX B200 от Nvidia. Они обещают трехкратное увеличение скорости обучения и 15-кратное увеличение производительности инференса по сравнению с предыдущими моделями.
Microsoft также сообщила, что ее платформа Azure первой использует систему Blackwell от Nvidia с AI-серверами на базе GB200.
analyticsindiamag.com
@ai_machinelearning_big_data
#news #ai #ml
🖥 Whisper — созданная OpenAI универсальная модель распознавания речи, обученная на большом объеме данных. Она способна выполнять мультиязычное распознавание речи, перевод речи и идентификацию языка. Whisper поддерживает несколько размеров моделей, оптимизированных для различных сценариев (разных размеров, с разной точностью и производительностью)
🌟 Модель можно использовать через командную строку или в Python
🔐 Лицензия: MIT
▪️Github
@bigdatai
🌟 UnSAM — метод сегментирования любых изображений полностью без ручного аннотирования
UnSAM (Unsupervised SAM) — это метод для сегментации сложных изображений, которая не требует аннотаций человека.
На графиках можно увидеть, как эффективно справляется UnSAM с изображениями разных датасетов
🔐 Лицензия: не указана
▪️Github
@bigdatai
🤗 Приложение Depth Pro теперь доступно huggingface
https://huggingface.co/spaces/akhaliq/depth-pro
@bigdatai
⚡️ Apple Depth Pro: Карта глубина с расчетом фокусного расстояния менее чем за секунду.
Depth Pro - базовая модель для метрической монокулярной оценки глубины по по одному изображению в режиме zero-shot. Она позволяет синтезировать Hi-Res карты глубины с высокой точностью определения границ объектов, воспроизводя их форму, расположение и абсолютный масштаб без использования метаданных камеры.
Архитектура модели основана на применении энкодеров ViT к фрагментам изображения, извлеченным в нескольких масштабах.
Используются два кодировщика ViT: фрагментный энкодер, обрабатывающий блоки изображения для изучения масштабно-инвариантных представлений и энкодер изображения, фиксирующий предсказания в глобальном контексте.
Модель работает с фиксированным разрешением 1536x1536 пикселей, а каждый из модулей ViT - 384x384 пикселей.
Для обучения используются 5 целевых функций (LMAE, LMSE, LMAGE, LMALE и LMSGE ) на основе канонической обратной глубины и применяется двухэтапный план обучения. Набор данных состоит из 43 датасетов.
Первый этап учит обобщающим признакам, основанным на смеси реальных и синтетических данных, а второй — повышению резкости границ на синтетических данных с точной информацией о глубине.
Модель показала высокую точность на различных наборах данных (Booster, ETH3D, Middlebury, nuScenes, Sintel и Sun-RGBD91011) .
Depth Pro превзошла другие методы по точности оценки фокусного расстояния на наборах данных DDDP, FiveK, PPR10K, RAISE, SPAQ и ZOOM.
Скорость инференса, замеренная в тестировании - 0,3 секунды на генерацию карты глубины 2,25-мегапиксельного изображения.
▶️ Локальная установка и инференс в CLI или Python:
# setting up a venv:
conda create -n depth-pro -y python=3.9
conda activate depth-pro
pip install -e .
# Download pretrained checkpoints:
source get_pretrained_models.sh
# Run the inference from CLI on a single image:
depth-pro-run -i ./data/example.jpg
# Running from python
from PIL import Image
import depth_pro
model, transform = depth_pro.create_model_and_transforms()
model.eval()
image, _, f_px = depth_pro.load_rgb(image_path)
image = transform(image)
prediction = model.infer(image, f_px=f_px)
depth = prediction["depth"] # Depth in [m].
focallength_px = prediction["focallength_px"] # Focal length in pixels.
⚡️ Pangea-7B - полностью открытый MLLM для 39 языков
✨Обучен на основе разнообразного набора данных с 6 миллионами мультиязычных мультимодальных данных для настройки инструкций, охватывающих 39 языков.
✅Полностью открытый дотаяет, код и контрольные точки
▪️Модель: https://huggingface.co/collections/neulab/pangea-6713c3b0d78a453906eb2ed8
▪️Документация: https://huggingface.co/papers/2410.16153
@bigdatai
Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.
Ближайшее мероприятие:
• 9-11 ноября — для продуктовых и аналитиков данных, офер за 3 дня в команды Финтеха и Яндекс Практикума.
Зарегистрироваться
🔥 Ditto — это простой инструмент для автоматической генерации кода. Он позволяет пользователю описать приложение на языке, близком к естественному, а затем создает полноценное многокомпонентное приложение Flask. Ditto использует языковую модель для построения маршрутов, шаблонов и статических файлов без необходимости вручную писать код
🌟 Основная цель проекта — упростить процесс разработки веб-приложений, автоматизируя создание структуры кода на основе текстового описания
🔐 Лицензия: MIT
▪️Github
@bigdatai
🖥 FacePoke — это приложение для интерактивной трансформации лиц в реальном времени. Пользователь может загружать портреты и перемещать головы персонажей по клику, изменяя их положение. Для достижения наилучших результатов рекомендуется использовать собственное оборудование (например, GPU). Проект использует алгоритмы из LivePortrait и предназначен для работы на локальной машине или через Docker
🖥 Язык: JavaScript
🔐 Лицензия: MIT
▪️Github
@bigdatai
Полностью локальный Super SDK, предоставляющий простой, унифицированный и мощный интерфейс для вызова более 200 LLM.
Language: TypeScript
#ai #ai_agents #anthropic #language_model #llm #llmops #openai #prompt_engineering #togetherai #typescript
Stars: 277 Issues: 0 Forks: 5
https://github.com/adaline/gateway
@bigdatai
🖥 MegaBlocks — это легковесная библиотека от Databricks для обучения моделей с использованием смеси экспертов (Mixture-of-Experts, MoE). Она включает оптимизированные MoE-слои, поддерживает параллельное обучение данных и экспертов, а также использует алгоритмы, которые позволяют повысить эффективность тренировки
🌟 Библиотека интегрирована с Megatron-LM и предназначена для ускорения работы больших языковых моделей за счет использования разреженных вычислений и сокращения объема данных без потерь в производительности
▪️Github
@bigdatai
Большая шпаргалка по SQL — внутри ждёт всё, от основных команд до продвинутых фишек, вроде оконных функций.
— Основные команды SQL;
— SOL Joins;
— SQL Unions, Intersect, Except;
— Временные таблицы SQL, таблицы просмотра, CTE;
— Ранги SQL.
Сохраняйте себе, чтобы не потерять.
@bigdatai
🔈 Open NotebookLM — конвертируйте ваши PDF документы в подкасты, используя ИИ модели с открытым кодом (Llama 3.1 405B, MeloTTS, Bark)!
🔗 Huggingface: *клик*
@bigdatai
🖥 Все LLM сходятся к одной точке 🤔
🌟 Центральной предлагаемой гипотезой является «гипотеза Platonic Representation»: нейронные сети, обученные с разными целями на разных данных и модальностях, сходятся к общей статистической модели реальности в своих пространствах представления. В частности, в статье утверждается, что по мере того, как модели ИИ масштабируются по размеру, данным и разнообразию задач, их внутренние представления становятся все более согласованными, даже в разных модальностях, таких как зрение и язык
🔗 Arxiv: *клик*
@bigdatai
🖼 VideoGuide — метод для улучшения временной согласованности видео в моделях диффузии, не требующий дополнительного обучения
🌟 VideoGuide использует предварительно обученные видео-диффузионные модели в качестве руководящих агентов на ранних стадиях интерференции, чтобы улучшить качество и согласованность видео. Это решение снижает вычислительную нагрузку и сохраняет высокое качество изображений, решая проблемы временных артефактов в генерации видео
🔗 Arxiv: *клик*
@bigdatai
Qwen2.5-72B теперь доступен для пользователей бесплатного уровня на HF Serverless Inference API (с щедрой квотой)!
Начать работу можно здесь: https://huggingface.co/playground?modelId=Qwen/Qwen2.5-72B-Instruct
@bigdatai
Нейросетевая модель Сбера GigaChat обрела новую модальность
Сервис научился обрабатывать изображения и получать из них необходимую информацию. Искусственный интеллект распознает печатный текст, таблицы и формулы. Пользователю нужно лишь загрузить свою картинку и объяснить задачу: сделать описание содержимого или придумать подпись.
Эта фича особенно актуальна для бизнеса, ведь появится ещё больше сценариев применения искусственного интеллекта. Например, компании смогут модерировать и классифицировать отзывы, автоматизировать линию поддержки и многое другое.
Есть и второй важный апдейт: объём запроса увеличился в четыре раза — с 8 до 32 тысяч токенов. Раньше действовало ограничение, равное 12 страницам А4. Теперь же лимит расширили до 48 страниц, что позволит поддерживать более длинные диалоги.
Обновлённый GigaChat уже доступен бесплатно в веб-версии и Telegram-боте.
🖥 Fireducks: Ускорь Pandas в 20 раз, изменив всего одну строчку кода!
https://www.youtube.com/watch?v=3mcs_MDiLwY
@bigdatai
📊 Обработка больших данных с использованием Apache Flink
Apache Flink предлагает расширенные возможности для потоковой и пакетной обработки данных.
💼 Эта мощная платформа призвана помочь вам поработать с миллионами записей в реальном времени.
Поддерживает сложные события и состояние в реальном времени.
🔗 Ознакомьтесь с ресурсами: Apache Flink Documentation
💡 Откройте для себя новые горизонты обработки данных!
@bigdatai