6541
— Машинное обучение, NLP/CV — HFday.ru — lingtra.in
Поискал сравнение актуальных цен на популярные LLM, чтобы не делать свой скрипт, и почти везде цены не всегда правильные (особенно часто отличаются у Gemini или нет моделей типа DeepSeek, которая по ощущениям уже сравнима с лучшими).
1️⃣ В итоге нашел на docsbot.ai, вроде бы цены правильные.
2️⃣ А на openrouter.ai ещё любопытней — можно посмотреть на каких платформах раздается API модели и их средние показатели типа задержки и те же цены.
Там же видно, где и какие модели сейчас доступны бесплатно (по API).
🔺 Новые фото Стругацких
Ух, вроде получилось. Друзья, весь день провозился с обучением лоры под Стругацких, совместно сделать их одной лорой так и не получилось (Борис Натанович есть в предыдущем посте).
Осложняется все тем, что фотографий у братьев крайне мало, особенно у старшего, Аркадия. А то, что есть — это подобие сканов.
Поулучшал найденный материал, как смог, и обучил несколько моделей. Работают они менее стабильно, иногда соскакивают на женский пол и рисуют сестру Стругацкую (!)
Пришлось изрядно почеррипикать, но всё же полученные генерации — это теперь лучшие фото АБС в сети! 😄
🎉 P.S. Оказалось, что сегодня — День научной фантастики (приурочен к ДР другого супер-фантаста). С чем я вас и поздравляю.
На этом, наверное, закончу с картинками и опишу, как такие делать.
🎉 Друзья, с Новым годом. Вперёд к задуманному!
Читать полностью…
Осваиваю ComfyUI, прикольная штука. Пайплайн для нужной задачи нужно составлять самому из набора блоков и это занятие само по себе довольно увлекательное (пока разберешься, что куда прикручивать, узнаешь много нового).
Какие-то несложные вещи, типа добавления цветности к ч/б фото или масштабирования, можно освоить довольно быстро. Попробую сделать что-то поинтересней, типа подключения LoRA и массовой обработки фоточек.
Хорошей документации я пока не нашел (может вы видели?), зато отдельных примеров есть огромное количество.
🔸 Установить ComfyUI можно локально, просто скачав и распаковав архив.
🔸 Сразу установите ComfyUI-Manager, через него можно будет находить и устанавливать кастомные блоки, которые будут почти в каждом примере, которые вы увидите.
🔸 Вот тут есть сотни моделей для upscale'а картинок. Надо скачать веса и подложить в папку upscale_models.
🔸 А вот тут написано про то как установить модуль ComfyUI-DDColor для задачи добавления цветности.
👉 Предлагаю поразбираться на досуге и собрать собственный AI-редактор изображений у себя на компьютере. Легкие операции будут спокойно отрабатывать без видеокарты.
🇯🇵 Всем привет с родины Годзиллы
Тут все спокойно, титаны не атакуют. Если тоже соберетесь, то:
🔸 Визу делают за 4 дня, бесплатно. Дали на три года, раньше тут не был.
🔸 Удобно до вылета купить eSIM и ходить потом везде с 5g интернетом.
Местные везде стараются помочь, по-английски часто не понимают. При пересадке в Пекине не могли найти гостиницу, нам сначала объясняли по карте, а потом проводили до нее за 15 минут. Сейчас в Осаке.
Сделал обзор Phi-4. Как вам?
Обзор полностью автоматический (делается по ссылке на статью) + небольшие правки по тексту. Использовал только что вышедшую Gemini 2 (gemini-2.0-flash-exp).
Если норм, то буду периодически добавлять такие обзоры к некоторым статьям (буду пробовать разные модели).
👉 Они будут тут: https://hfday.ru/u/
Тем временем Грок почти научился рисовать надписи на русском.
P.S. Это вчерашний релиз x.ai. Выкатили модель для генерации картинок Aurora.
//по-моему, надписи на русском до этого в популярных моделях не работали
👉 Релиз | Grok
🔺 Switty
Коллеги из Яндекса выложили новую T2I модель. Рисует неплохо, хотя главное улучшение в архитектуре. Как я понял, ускорили генерацию на 30 процентов (убрали авторегрессионность и на высоких разрешениях в конце отключили guidance — усиление влияния текста на генерацию).
P.S. Не то, чтобы я сразу полез рисовать нюдсы, но да, они генерятся.
👉 Статья | GitHub | Демо на HF
🔺 Энциклопедия ИИ
Друзья, мой коллега Сергей Марков написал книгу в жанре научпоп про машинное обучение. Называется она «Охота на электроовец: большая книга искусственного интеллекта».
🔸 Писал он её 6 лет (!), переработав несколько тысяч источников.
🔸 Если вам интересно, как область зарождалась и развивалается, какие люди за этим стоят и как это всё работает, то очень рекомендую.
🔸 Книга не дешёвая — формат у нее подарочный, но красивая. А еще её можно скачать бесплатно прямо на сайте автора.
👉 Труд автора можно поддержать плюсиком к статье на Хабре про эту книгу.
👉 Upd. Купить можно на озоне.
В Claude добавили возможность создания стиля ответа. Можно скормить немного текста, например, отрывок из какого-нибудь писателя, кусок документации или даже просто спам. Получите стиль, который можно затем выбирать при генерации.
Скорее всего текст или его характеристики просто идут в промпт, поэтому такое можно эмулировать с любой другой моделью, но как часть UI выглядит удобно.
🔺 HFday.ru
Начинаем потихоньку заглядывать в полные тексты статей. Сделал обкачку и парсинг PDF с arxiv'а, занятие очень познавательное. Научился делать с PDF скриншоты и обрезать белые поля (они могут быть разные). Добавил их на карточки статей.
Полные обзоры
Путем долгих экспериментов получилось сделать первые полные обзоры. Делаю GigaChat'ом, пока получается как на картинке (сделано по этой статье). Самое сложное, конечно, с переводом терминов. Все сетки понемногу галлюцинируют.
Поэкспериментирую дальше. Если будет стабильно работать, то для избранных статей можно будет добавить такое на hfday.ru.
Аффилиации
Название конторы или института и имена авторов также научился доставать, пока сохраняются в json'ы. Скоро протащу на странички, можно будет смотреть статьи только от Google или MS.
Ссылки с тегами
Еще прокинул фильтры в параметры. Теперь вот так можно найти, например, все статьи по RAG'ам за ноябрь.
https://hfday.ru/m/2024-11.html?cat=rag
🔸 Напоминаю, что на этой страничке у нас ежедневные обзоры статей с HF Dily Papers, все делается скриптами, которые лежат на гитхабе, там же все развернуто. Контент генерируется разными LLM, можете переделать эту машинерию свои нужды.
👉 GitHub
Вот это я понимаю спам, а не эти ваши "заберите nft, заберите nft".
//пойду за картофаном, пока не улетел
Тут коллеги намекают, что есть же официальный клиент, а вы про него не знаете. Давайте исправлять.
У него и функционал побогаче (есть потоковая передача токенов, например, и работа с функциями), и имя погигачатистей.
#pip install gigachat
from gigachat import GigaChat
key = "N2RlZmM4MDAtMWI4Ny00YmZjLWIxZjgtYTAwYjI1YmNhZTUwOjFmMjhiZmIzLTFlYTktNDQ2Zi05ZDQ5LWZmMWYyNmVhMjllOQ=="
with GigaChat(credentials=key, verify_ssl_certs=False) as giga:
response = giga.chat("Почему у кошек мокрый нос?")
print(response.choices[0].message.content)
Сегодня день рождения Юрия Кнорозова, человека, который в 1950-х годах дешифровал письменность майя.
Археолог и майянист Майкл Ко в книге «Разгадка кода майя» пишет, что Кнорозов, работая несколько десятилетий в институте Этнографии, занимал «весьма уютный уголок у окна, в ужасающе тесной комнатушке в конце коридора».
«Для меня работа Кнорозова знаменует триумф человеческого духа: упорный и целеустремленный одиночка-ученый смог исключительно силой своего ума проникнуть во внутренний мир чужого народа, который жил тысячу лет назад, да еще в джунглях на другой стороне земного шара»
🔺 DeepSeek v3
Поигрался с DeepSeek v3, который вышел недавно. Соскоки с русского на китайский, которые были раньше (типа "力ный" вместо "сильный", что само по себе любопытное явление), прекратились.
🔸 Есть web-поиск и режим DeepThink, аналог o1. Работает похуже, чем ChatGPT, те же буквы может посчитать неправильно, но в целом рассуждения работают.
🔸 Цена дешевая, если получится поплнить баланс, — $0.27 и $1.10 за 1M токенов на вход и выход. У GPT-4o — $2.5 и $10.
👉 Я тут в отпуске освоил AliPay и смог оплатить, делюсь ключом от API поиграться (пока там есть деньги): sk-2d6cfbbd72d74b52bba11ea5336cc2f6
🔸 Но есть и просто обычный чат и он бесплатен, попробуйте обязательно. Работать стала почти на уровне лучших моделей.
👉 DeepSeek-чат | HF | Статья
🔺 Осваиваем FLUX, LoRA и ComfyUI
Написал заметку про то, как дообучать модель FLUX на небольшом количестве картинок, как настраивать ComfyUI и работать в нем.
🔸 Можно обучать локально, если есть видеокарта дома. Можно арендовать сервер с картой на полчаса. Можно обучить и генерировать на платформе типа fal.ai.
🔸 По-умолчанию LoRA получается примерно на 30 Мб, а на различных сервисах около 130 Мб и работает получше. Можно поменять ранги в скриптах обучения, чтобы увеличить размер. Про это тоже написал.
🔸 Подходит, само собой, не только для лиц, а для чего угодно. Можно переносить стили с ваших картинок или обучать на какие-то специфические вещи.
👉 https://habr.com/ru/companies/ods/articles/871256/
🔺 Минутка статистики за 2024 год
Всем спасибо за репосты, идеи и комментарии!
#подарки
📚📚📚📚📚📚📚📚
Привез из отпуска несколько прикольных книжек на японском и китайском, так как книжные там очень понравились и ничего не купить в них я не смог.
Парочку оставил себе, остальные решил подарить, так что, кто учит язык, — пишите, отправлю (если по России) или передам, если в Москве.
🫣 Коллеги из музыкальной команды зарелизили генератор песен. Сделал вам медитативную композицию.
P.S. В Гигу доезжает, скоро будет во всех интерфейсах.
👉 Попробовать | Хабр
Друзья, вернул Градиент на место.
Для справки, это все еще отсылка к Стругацким. В некоем искусственно созданном городе между желтой стеной и обрывом проходит Эксперимент. Люди, живущие в городе, попали в него из разных эпох и о деталях эксперимента не знают, пытаясь жить в соответствии со своими взглядами.
Книга не то, чтобы очень легкая и понятная, писалась в 70-х, а была издана гораздо позже. Название, кстати, со слов авторов, читается через букву «е».
🔺 Умный редактор в GigaChat'е
Коллеги много трудились и выкатили в Гигу инструмент для редактирования текстов (аналог Canvas в ChatGPT и AI-помощника в notion).
Можно по-разному редактировать свой текст — дополнять, сокращать, менять стиль и переводить. Так как все работает на наших моделях, то функционал можно будет расширять как угодно.
Я бы, например, добавил еще генерацию иллюстраций по тексту, применение стиля на основе образца и ввод команд в свободной форме.
Попробуйте и напишите идеи, что бы еще было полезно сделать.
👉 giga.chat
Сходили на лекцию Владимира Сурдина и Алексея Семихатова про научные открытия.
Узнал, что условия для жизни есть даже в нашей Солнечной системе на нескольких планетах. И что в 2030 году к спутнику Юпитера прилетит Europa Clipper, чтобы там эту жизнь поискать. Ждём ⏳
В общем лекция отличная, часть Сурдина даже чуть больше понравилась. Такие просветительские лекции происходят довольно часто и не только в Москве, так что сходите при оказии.
На выходных переделал дизайн странички с обзорами статей. Стало красивей!
➕ добавил разных мелочей типа аффилиаций (скоро добавлю фильтры по ним).
Завтра в 19:00 презентация моей книги в «Архэ». Приходите, расскажу разное
📍Вход свободный! Регистрация: https://arhe.msk.ru/?p=144635
📹 Также мы организуем прямую трансляцию лекции. Трансляция пройдет здесь: https://www.youtube.com/c/ЦентрАрхэ
📌 По всем вопросам относительно лекции обращайтесь по почте arhe.msk@gmail.com
♦️ Лекция пройдет по адресу: Москва, ст. метро «Павелецкая», ул. Дубининская, д. 20, стр. 1 (Научно-популярная библиотека «Научка»)
🔺 GlotLID. Классификатор языков на 2000+ классов
Вышла новая модель для детекции языков с большим упором на малоресурсные.
🔸 Всего 2102 класса, полный список с кодами в статье, занимает 60% от самой статьи. Модель — fasttext, обучили на своем датасете GlotLID-C.
🔸 Пишут, что на самых редких языках (скорее всего нижние по данным несколько сотен), работает не очень. Попробовал на языках России, которые есть в «Маленьком принце» (башкирский, удмурсткий, эрзянский, якутский и т.д.), все кроме кубачинского и орокского языков определяет без ошибок (а этих языков в модели, судя по всему, нет).
🔸 В репозитории есть полезная кастомная обертка для модели — CustomLID. Через нее можно задать только нужные языки, чтобы классификация шла только по ним.
В общем штука полезная, берём.
👉 Paper | GitHub | Демо на HF
🔺 GigaChat MAX в API
Друзья, последняя версия модели стала доступна по API. Можно тестировать.
🔸 Для удобства накидал простенький клиент (закинул на pypi):
#pip install gigadoom
import gigadoom as gd
SECRET_KEY = "secret"
acc_token, token_exp = gd.chat.get_access_token(SECRET_KEY)
#models
models = gd.chat.get_models(acc_token)
print(models)
#chat
system = "Ты отвечаешь в стиле Николая Гоголя, с юмором и глубоким смыслом."
query = "В чем смысл жизни?"
history = [{"content": system, "role": "system"}]
answer, history, usage = gd.chat.get_completion(query, acc_token, history=history, model="GigaChat-Max")
#Ах, батенька! Смысл жизни...
#use previous history
query = "А теперь расскажи про квантовую механику в общих чертах."
answer, history, usage = gd.chat.get_completion(query, acc_token, history=history)
print(history)
print(answer)