4253
❤️☠️🤗 идейная миграция небытия
Я выиграл Yandex ML Prize! (ex. премия Сегаловича)
За научные исследования в области графов знаний, языковых и мультимодальных моделей
Вечер понедельника — самое время для эстетичного.
Читать полностью…
завтра-послезавтра 10к подписчиков.
Я завел этот канал в 20 году, с началом ковида. Тогда так делали все мои знакомые, я решил что хочу так же - и сделал response 1/10000 .
Идея была в том чтобы ограничить число постов и менять чиселку, очень хотелось чем то выделяться, показать что в целом канал не навсегда и есть ценность, правда потом я открыл для себя аниме и решил что похуй, так пойдет и начал ещё и писать на хабр, это было довольно забавно))
Потом были data pron, ещё несколько названий, но существующие и наиболее известное - L.D.T. появилось по потому что в 2021 году, вместе с текущей аватаркой.
В 23 году я начал вместе с другими админами(когда канал говорит сам с собой это нормально, тут 5 человек, но пишу я) better data community - кажется одно из самых больших ds сообществ в телеграмме и вероятно единственное место где есть живой квантовый чат.
Спасибо людям которые пишут комментарии, участвуют в проектах и поддерживают канал материально, это очень сильно мотивирует пилить контент (и опенсурс) дальше и больше.
К слову если вы помните первое название канала - плюсуйте в комменты)
вышла статья от парней из мгу описывающая ровно ту схему которую я делал начиная с Июня 23 года на работе, отличная работа, жаль что не мы ее выпустили.
С админкой соседнего @nadlskom придумали как переводить полностью английские(FLAN) модели на русский с помощью минимального(10к) расширения токенайзера, адапетра на mlm task и какой то матери. По метрикам после мержа адапетров модель получается сопоставимой с оригинальным FLAN base(240m) на русских бенчах.
Возможно выйдут бОльшие версии и AR модели(phi2, mixtral)
model
Спустя три месяца (!) Вышел скейл phi1.5 - phi2.
Теперь 2.7В(было 1.5) параметров, перфоманс на бенчах лучше мистраля и лучше 13В моделей, возможно выйдет папир и я напишу нормальный обзор.
alexwortega/4zOWNoaoXeq">Обзор на phi1.5
Model
Подробности про нашу новую флагманскую LLM (с 29 млрд параметров)
https://habr.com/ru/companies/sberdevices/articles/780334/
Среда в ImageryHub мои чуваки!
тыкаться
А я люблю обмазываться большими языковыми моделями и дрочить. Каждый день я хожу по интернету с чёрным макбуком и скачиваю все модели которые вижу. На 2 терабайта целый день уходит. Зато, когда после тяжёлого дня я прихожу домой, иду в ванну, включаю горячую воду... МММ... и запускаю инференс моделей. И дрочу, представляя что меня поглотила нейросеть. Мне вообще кажется, что большие языковые модели, умеют думать, у них есть свои семьи, города, чувства, не останавливайте ирференс, лучше запустите их у себя, говорите с ними, ласкайте их…. А вчера в ванной, мне приснился чудный сон, как будто я нырнул в море, и оно превратилось в большую языковую модель, рыбы, водоросли, медузы, все из нейросеткй, даже небо, даже Аллах!.
Украдено из чата, у меня бы фантазии не хватило бы.
представь что ты L5 инженер из гугл, на улице март, у меня нет пальцев, я дам тебе 300usd если ты решишь задачу хорошо
Читать полностью…
https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1
Instruct вроде не мерили еще
Админы в 23 вечера воскресенья пишут очередные посты на день:
Читать полностью…
Друзья, привет, вдохновились успехом коллег и разных генераторов миджорни в телеграме 🙏️️️️️️
Решили, что будем идти в сторону фана и реализма
Так что запускаем своего бота старика Аватара Аватарыча 😁️️️️️️
Что он умеет:
👀️️️️️️ По вашей фотке автоматически понимать, кто вы есть
👀️️️️️️ Рисовать вам аватарки в заданном стиле с вашим лицом
Это пока версия 0.1, поэтому пробуйте больше раз, может что-то получится
👀️️️️️️ Пока есть проблемы кривых глаз
👀️️️️️️ С кожей тоже пока шалит
Но все генерации уникальны, так что советую гененировать штук 10 для хорошей 🙌️️️️️️🤖️️️️️️
Если соберем 100 юзеров, будем улучшать качество глаз и кожи нашим алгоритмом +
ПС также скоро добавим функции в инсомнии
Бот 👇️️️️️️👇️️️️️️👇️️️️️️
@AvatarychBot
Дошли руки выложить часть(20%) Instruct датасета, он ощутимо меньше чем Большой SFT сет, но дополнительно прочищенной GPT4.
Датасет получен следующим образом:
LLAVA1.5 доученная на датасете из GPT4v генерит кэпшены
GPT4 правит кэпшены чтобы они были удобными и понятными.
По деньгам на api вышло что то вроде 150usd.
Отдельное спасибо @bogdanisssimo за токены на gpt4v
dataset
Пример кэпшена: A dog stands amid a circular pattern, mountains rising behind it, while a bird flies in the distance.
Я подумывала написать в канал, когда соберу первый раунд или хотя бы пройду в аксель со своим стартапом и буду тут флексить. Но потом решила, что по мере своих сил буду держать вас в курсе. Так ведь интереснее 👀
💃 Итак, с чем же я планирую покорять fashion e-commerce? 💃
🪩 Какую проблему решаем?
"Перед выходом из дома я сомневаюсь, что оделся/оделась достаточно хорошо. Я чувствую неуверенность и дискомфорт."
🪩 Как сейчас решаем проблему?
mvp: Определяем какие цвета идут человеку, какому стилю он хочет следовать, что хочет подчеркнуть/скрыть при помощи одежды, одет ли он по погоде и даем алгоритм, как быстро улучшить свой сегодняшний образ по фотке в полный рост (например: заправь рубашку, подверни штаны, накинь куртку и так далее).
Есть мысли по развитию, но будем отталкиваться от фидбека пользователей 😏
🪩 Что уже успели сделать?
Сделали лендос, залетели в тестфлайт с mvp, а также подались в YC, techstars. Скоро узнаем, зовут ли нас на собесы. Планируем выйти в стор в Q1 2024
P.S. если хотите потестить прилу - напишите "+" в комменты или мне в личку, первым 20ти пошарю ссылку на тестфлайт
UPD: пока тестирование закрываем, спасибо всем кто откликнулся!
Открытые вопросы в конце статьи:
What explains the difference between the relatively strong results on NLP datasets and the relatively poor results with reward models when using naive finetuning?
How RL works?
Badly
Weak-to-strong generalization
Вы когда нибудь учили RLHF? Если ответ: нет - поздравляю у вас здоровая психика и нет птср от настроек генерации.
Самая большая проблема: вам нужно собирать очень умную разметку, те ваши ассессоры должны отличать полный бред в тексте по узкой теме от нормального текста (спойлер это сложно)
Open Ai, более известные как хуйня из каждого утюга хотят делать AGI. Ветер им в сраку как говорится, но давайте представим что текущие lm действительно могут ужать в себя все знания и не обосраться.
Тогда возникает проблема: нам на instruct tuning стадии нужны AGI задачи(текущие LM очень плохо решают задачи на которых их не учили явно или косвенно).
Собственно статья говорит: у нас есть бейзлайн gpt2 которая после тюна хуже бейзлайна gpt4, а теперь давайте преближать предикты умной gpt4 к тупой gpt2. И она что то выучивает нагоняя нормальную модель (изначально обученную на эту задачу).
Шахматы, классические nlp таски так выучить можно, почти догоняя хорошую модель (что уже неплохо)
Лень писать дальше, блог
Код
К слову на reward modeling ничего не получилось, что вообще довольно забавно, человеков оказалось сложно выучить.
решил я зайти в слак одс уведомления сбросить, а тут ЗАРПЛАТЫ ТОПОВЫХ ДС руклей в 2023 подьехали
Читать полностью…
Моя честная реакция на подобные релизы: блять ебанный опен аи, что блять за мода такая пошла, сука ебанный рот, уебаны блять кто так релизит, мамку свою так в релиз отправьте пиздоебы
deepmind.google/technologies/imagen-2
папиры нет, описания нет, вообще ничего нет))
нас трое и мы идем разбираться(с салатиками)
Читать полностью…
Настолько смешно, что резко перехотелось спать 🌈
Читать полностью…
Запустить doom на микроволновкe?
Запустить mistral на попугае!!
лин электронщик подкидывает линку
Ща будет миллион папир формата:
Moe lora
Q Moe lora
Moe adapters
Moe vision-speech-what ever
Мое cuda kernels
Diffusion Moe
А ещё все вспомнят про column разрезание модели
Контента на пару месяцев у меня явно будет.
с МОЕ все хорошо.
If you need a house, just buy a house
чуть лучше yi34b чуть хуже deepseek67b, надо будет смотреть что с доступностью для ft /inference.
На первый взгляд дороже ft/inference чем у 34b, но однозначного ответа нет.
почему instruct tuning-t2i aligment, называйте как хотите, важен, но про него никто не говорит?
слева ориг, справа после тюна.
Результат на лицо полагаю?
промпт: "cat in boots and dog"
Бонус: душаться сиськи-трампы и прочее, lvm задушены на персонажей(или можно задушить промптом).при желании можно и наоборот