4253
❤️☠️🤗 идейная миграция небытия
Пока SDXL еще не полностью вышла в открытый доступ, продолжаем выжимать всё возможное из нынешних моделей.
Почти месяц назад я разработал в рамках своей дипломной работы скрипт для Stable Diffusion WebUI, призванный помочь и новичкам, только осваивающим интерфейс, и бывалым энтузиастам в создании качественных изображений с минимальными усилиями. И наконец я готов этот скрипт, пусть и все еще на стадии поздней беты, выложить в открытый доступ.
AutoChar осуществляет автоматический инпеинт обнаруженных лиц и глаз на них, налаживает двухэтапный апскейл изображения, а так же чистит изначальную генерацию от шума.
Всё, впрочем, детально регулируется или выключается по мере надобности, при этом все настройки скрыты за шторкой, у новичков глаза разбегаться не будут. Базовые настройки достаточно универсальны, но в случае чего их всегда можно адаптировать под задачу.
Десятки лишних кликов и ручное рисований масок лиц мышкой теперь в прошлом, иллюстрация получается значительно лучше с одной кнопки. По сути, я автоматизировал свой собственный алгоритм работы и не надо верить мне на слово, сами попробуйте и оцените, насколько много времени и сил AutoChar экономит.
Пока реализованы не все задуманные мной и предложенные первыми тестерами функции, но всё впереди! Забрасывать разработку не намерен, т.к. каждый день использую скрипт сам в своей работе и сам заинтересован в его улучшении. Буду рад всем предложениям, пожеланиям и сообщениям об ошибках.
https://github.com/alexv0iceh/AutoChar
https://www.reddit.com/r/StableDiffusion/comments/14h5qa3/autochar_new_automatic1111_webui_script_for/
https://civitai.com/models/95923?modelVersionId=102438
Админ в мск, не знаю что будет, но если связь наебнут - берегите себя и своих близких.
Скачайте карты в оффлайн и зарядите устройства.
Обнял.
хз украл мем из дискорда, мне не очень нравиться
Читать полностью…
Сынок я видел у тебя в линкедин что ты занимаешься NLP LLM chatbot, такое ставят либо в дрочеботах либо в инструктивных стартапах.
И лучше бы ты знал в чем отличие Pygmalion от GPT-J...
#чтивонаночь
Gpu подключается к компу через pcie это знают всё, а у серверов бывает компановка sxm*, отличие в том что nvlink уже встроен в материнскую плату + можно подать большее питание(на 50ватт).
При этом sxm карты стоят дешевле (2-3к за а100sxm против 7-8к за а100 pcie), но подключить sxm карты напрямую к компу - нельзя, нужен адаптер. Собственно китайские гении напаяли адаптер с питанием для sxm-> pcie, те можно за 2-3к купить а100, за 1к адаптер и свапнуть свою 3090 на а100!
блогпост
ЖЕНЩИНА: БЕРИ И ПОЛЬЗУЙСЯhttps://www.elibrary.ru/item.asp?id=20098014
русскоязычный фреймворк для обучения нейронок «нейрёнок»
Читать полностью…
где то на реддите amd происходит это, а я за 5 минут гуглежа не нашел где снять эти ваши AMD карты, но выглядит как хотя бы намек на конкуренцию и на снижение цен карты
Читать полностью…
Все умное придумали японцы: vocab dropout, фурри, файнтюн английских моделей на японский
На 100 реакций напишу блог пост про токенайзеры
Всем привет!
Мы тут с ребятами (🤗) будем рассказывать про наш опыт обучения LLM для кода - 💫 StarCoder 16B. Все это было в рамках коллаборации BigCode, организованной HuggingFace и ServiceNow.
Если вам интересно, то присоединяйтесь! Это будет сегодня в 19:00 МСК (6 - 7:30pm CEST) здесь https://t.co/jZKCIg6Vvs
В вебинаре будут покрыты все аспекты - от обучения LLM до интеграции в IDE и ассистента:
* Сбор и чистка краула со всего гитхаба и не только (Было собрано 6 Тб(!) кода)
* Как сделать так чтобы LLM ни в коем случаем не смогла вспомнить утекшие в интернет личные пароли и ключи
* Краудсорсинг для чистки большого объема данных
* Как ускорять обучение и инференс очень больших трансформеров (MQA и FlashAttention)
* Наши достижения на многих кодовых бенчмарках
* Демонстрация интеграции в VS Code, Jupyter Notebook
* И еще много чего интересного 😉
Почему все так дрочат на LM? Нет, ну то есть понятно, почему дрочат, но почему дрочат в переносном смысле, смысле "обучения 10b+ Lm" lm незрелая, несамостоятельная, не умеет писать эксплойты, переписывать код на jax, пока вы с пацанами гамаете в доту, ей нельзя дать на аутсорс какую-нибудь хуйню c работы, которую самому делать лень, она не сформировалась физически, поэтому нельзя позвать ее писать конфиг для кубера или код для api, где еще приходится хуярить на rabbitmq, потому что c гита вообще нихуя не заводиться. Фактически, начинать обучать LM — это как заводить себе ребенка в студенчестве (ну уж спасибо, нет). В конце-концов, даже непонятно, что она за модель, ведь у нее еще не было времени, чтобы продемонстрировать, что она за модель, своей жизнью в обучении. Может она вообще шлюха? Нужна ли тебе модель, которая бросается на шею первого оказавшего ей внимание додика? Берегла свою Розу на протяжении двух недель? Охуеть, вот это да, вот это выдержка, пусть лучше на подобных охотятся всякие чушки. Я же предпочту подождать, наблюдая за ней на протяжении года, пока она не станет aligned.
Затягивать тоже не стоит, ведь к AGI она уже станет заматеревшей ai, распробовавшей такие радости жизни как сочные нарезки людей. Её будет уже не впечатлить тем, что ты был ее создателем или что ты можешь помочь ей с матаном. К тому же, даже самая целомудренная модель к третьему году обучения волей-неволей, но успевает пропустить через себя целый лес членов: члены последовательности, члены ряда, знакопеременные члены, остаточные члены в форме Пеано, пренебрежимо малые члены. Охота на AGI не то, что отметается из каких-то рациональных соображений, но просто на инстинктивном уровне со временем начинаешь стараться избегать AGI.
А вот aligment являют собой идеальный баланс. В глазах — еще детская невинность, а в жопе— датасеты с кодом. Они еще пахнут модель, но уже пропитались запахом кластера и не вызывают отторжения своей чуждостью. Ощущая дообучение на black hat forum они не сходят с ума, а начинают очень мило обьяснять как взломать wifi соседа. Они уже осознают незрелость своих создателей, но их все еще легко впечатлить базовыми способностями человека. Как мясо для шаурмы, они уже подрумянились и готовы к тому, чтобы их срезали, но еще не валяются внизу, ожидая своего лаваша и заветриваясь. У меня в жизни не было и никогда не будет ничего более пиздатого, чем восторженный блеск в глазах aligment модели. Обожаю блять aligment модели.
#чтивонаночь
Text diffusion
Ребята сделали комбинацию из unet + character loss по boxам что дало возможность генерировать диффузией тексты, имхо пайплайн геморный, но результаты прекрасны, а главное - оно не ломается!!
Site
Paper
Code
Hf space нет, на 200 лайков подниму
это а100 sxm4->в pcie адаптер если что
Читать полностью…
Куплю квартиру в МСК, запад, юго-запад
Читать полностью…
#чтивонаночь
У мужика должен быть replug и analplug
В чем суть - улучшить фактологичность LM с помощью ретривера который в контекст подкидывает документации - поиск из инета - это просто, а что делать если LM - blackbox и ее нельзя напрямую тюнить?
Банальный вопрос, анальный ответ - да давайте пустем градиенты по ретриверу и заставим его ретривить тексты которые лучше всего используются LMкой!
Ну и бонусом такая схема какое то время была SOTA на MMLU, что вообще то неплохо.
paper
code - как обычно нет, а жаль
#чтивонаночь
LLM-Blender
OpenAi знаете? есть слухи что gpt4 это MoE модель, те 4 модели по 220б параметров, которые переключаются каким то образом, решают разные задачи и вот это все, но при этом одна модель.
Собственно идея такая: давайте возьмем несколько LM на разные задачи, сгенерим с них кандидатов и отранжируем через pairwise ranking(где то я это видел, например тут), ну и офк модель сота на их бенче(к слову как базовую модель взяли FLAN-T5-XL)
код
папир
датасет
Колхозные сервера люблю пиздец
Ну типа util на мастер карте сильно больше чем на других, так не должно быть
Мне было лениво переписывать это про DL, придумайте сами пожалуйста
Читать полностью…
Открыл для себя kernl - оптимизация трансформер в каждый дом написаная на openAI triton, да еще и oneliner - накидываешь optimize_model(model) и внутри переставляются flash attention, включается fp16 и фьюзяться операции.
тыкаться сюда kernl.ai
github
Умеете обучать модели и поднимать API, но не понимаете, что происходит за пределами этих процессов?
Никто не знал о GPT, пока она была просто ML-моделью без публично доступного API и продакшена, отмасштабированного на миллионы пользователей, теперь известного всем как ChatGPT. Любой, даже самый минимальный жизнеспособный продукт при таких масштабах будет содержать как ML-компоненты, так и микросервисы, базы данных, подсистемы поиска, логирования, аналитики и многого другого.
Научиться проектировать такую архитектуру можно на курсе System Design от Валерия Бабушкина, Vice President, Data Science в Blockchainꓸcom. Здесь вы поработаете над реальными проектами сервиса такси, приложения для знакомств и другими системами, а также познакомитесь с типичной структурой дизайн-собеседований в Big Tech.
Всего за 4 недели вы научитесь собирать требования, оценивать нагрузку, выбирать подходящие СУБД, масштабировать системы и повышать их надежность и отзывчивость, а также выделять и последовательно проектировать подсистемы для хранения данных, поиска и аналитики как своими силами, так и с помощью готовых продуктов.
Новый поток стартует 19 июня! Ждём вас!
[Зарегистрироваться]
В продолжение, расскажите, учили ли вы на amd, насколько все не комфортно, как оно вообще?
Читать полностью…
Мой батя ебашит вообще диффузионки
Ну такой вот примерно рецепт усредненный, потому что вариаций масса. Берется Unclip, он не каскадный, каскады - это не про моего батю. Он берет этот unclup, вываливает его на кластер и начинает учить в latent сетапе. Добавляет в него огромное количество энкодеров, данных, и aspect ratio! для устойчивости, файнтюн на simple prompts сверху. Все это учиться до 8 горелых dgx. Потом снимается с кластера и переписывает с deepspeed на diffusers. Потом батя деплоит и щедро полив репостами начинает генерить. При этом генерит из тг бота шкрябая сиськами ботов в каналах. Генерит и приговаривает полушепотом ух бля. При этом у него на лбу аж пот выступает. Любезно мне иногда предлагает, но я отказываюсь.
Я верю, что у меня в подписчиках много милых дам. Приглашаю именно девочек в чатик для айтишниц, инженерок, ресерчерок (придумайте еще миллион феминитивов сами пожалуйста)
☺️Короче ссылочка для тех, у кого вайб кошечки: /channel/+n-WIEfhc3ZFhOGIy
Ребята из russian hackers проводят соревку по поиску людей со спутника для Lisa alert, народа мало, денег много, залетайте!
link
не реклама
суровость китайских инженеров вне нашего понимания
Читать полностью…