4253
❤️☠️🤗 идейная миграция небытия
#чтивонаночь
Mol-Instructions
Cобственно авторы c помощью gpt4, эвристик и формочек написали сет для молекулярных инструкций 2M инструкций с captioning SMILES, генерацией молекул.
Датасет
LLama
меня всегда прикаловыло что НМУ это колледж
не пту, а колледж
перетащил тасочки в джире -> специальная конфлюенсная операция по деланью и переделанью
спринт -> блицкриг
столбик с inprogress -> линия работостолкновения
поднял джобу в кубере -> мобилизация вычислительных ресурсов
Пока SDXL еще не полностью вышла в открытый доступ, продолжаем выжимать всё возможное из нынешних моделей.
Почти месяц назад я разработал в рамках своей дипломной работы скрипт для Stable Diffusion WebUI, призванный помочь и новичкам, только осваивающим интерфейс, и бывалым энтузиастам в создании качественных изображений с минимальными усилиями. И наконец я готов этот скрипт, пусть и все еще на стадии поздней беты, выложить в открытый доступ.
AutoChar осуществляет автоматический инпеинт обнаруженных лиц и глаз на них, налаживает двухэтапный апскейл изображения, а так же чистит изначальную генерацию от шума.
Всё, впрочем, детально регулируется или выключается по мере надобности, при этом все настройки скрыты за шторкой, у новичков глаза разбегаться не будут. Базовые настройки достаточно универсальны, но в случае чего их всегда можно адаптировать под задачу.
Десятки лишних кликов и ручное рисований масок лиц мышкой теперь в прошлом, иллюстрация получается значительно лучше с одной кнопки. По сути, я автоматизировал свой собственный алгоритм работы и не надо верить мне на слово, сами попробуйте и оцените, насколько много времени и сил AutoChar экономит.
Пока реализованы не все задуманные мной и предложенные первыми тестерами функции, но всё впереди! Забрасывать разработку не намерен, т.к. каждый день использую скрипт сам в своей работе и сам заинтересован в его улучшении. Буду рад всем предложениям, пожеланиям и сообщениям об ошибках.
https://github.com/alexv0iceh/AutoChar
https://www.reddit.com/r/StableDiffusion/comments/14h5qa3/autochar_new_automatic1111_webui_script_for/
https://civitai.com/models/95923?modelVersionId=102438
Админ в мск, не знаю что будет, но если связь наебнут - берегите себя и своих близких.
Скачайте карты в оффлайн и зарядите устройства.
Обнял.
хз украл мем из дискорда, мне не очень нравиться
Читать полностью…
Сынок я видел у тебя в линкедин что ты занимаешься NLP LLM chatbot, такое ставят либо в дрочеботах либо в инструктивных стартапах.
И лучше бы ты знал в чем отличие Pygmalion от GPT-J...
#чтивонаночь
Gpu подключается к компу через pcie это знают всё, а у серверов бывает компановка sxm*, отличие в том что nvlink уже встроен в материнскую плату + можно подать большее питание(на 50ватт).
При этом sxm карты стоят дешевле (2-3к за а100sxm против 7-8к за а100 pcie), но подключить sxm карты напрямую к компу - нельзя, нужен адаптер. Собственно китайские гении напаяли адаптер с питанием для sxm-> pcie, те можно за 2-3к купить а100, за 1к адаптер и свапнуть свою 3090 на а100!
блогпост
ЖЕНЩИНА: БЕРИ И ПОЛЬЗУЙСЯhttps://www.elibrary.ru/item.asp?id=20098014
русскоязычный фреймворк для обучения нейронок «нейрёнок»
Читать полностью…
где то на реддите amd происходит это, а я за 5 минут гуглежа не нашел где снять эти ваши AMD карты, но выглядит как хотя бы намек на конкуренцию и на снижение цен карты
Читать полностью…
Все умное придумали японцы: vocab dropout, фурри, файнтюн английских моделей на японский
На 100 реакций напишу блог пост про токенайзеры
Всем привет!
Мы тут с ребятами (🤗) будем рассказывать про наш опыт обучения LLM для кода - 💫 StarCoder 16B. Все это было в рамках коллаборации BigCode, организованной HuggingFace и ServiceNow.
Если вам интересно, то присоединяйтесь! Это будет сегодня в 19:00 МСК (6 - 7:30pm CEST) здесь https://t.co/jZKCIg6Vvs
В вебинаре будут покрыты все аспекты - от обучения LLM до интеграции в IDE и ассистента:
* Сбор и чистка краула со всего гитхаба и не только (Было собрано 6 Тб(!) кода)
* Как сделать так чтобы LLM ни в коем случаем не смогла вспомнить утекшие в интернет личные пароли и ключи
* Краудсорсинг для чистки большого объема данных
* Как ускорять обучение и инференс очень больших трансформеров (MQA и FlashAttention)
* Наши достижения на многих кодовых бенчмарках
* Демонстрация интеграции в VS Code, Jupyter Notebook
* И еще много чего интересного 😉
Господа биотехи расскажите про свой опыт с LM, как используете, чего не хватает
Читать полностью…
Так как мне очень нравится преподавать, то у меня появилась идея для школьников, кто например не прошел в вуз мечты но хочет заботать математику, либо не поступает на пми но хочет ее заботать, устроить интенсив по программе матшкольник НМУ (https://ium.mccme.ru/mathsc/mathsc.html). Это позволит как достаточно хорошо учиться в НМУ, который объективно неплох, так и во многих вузах кроме МФТИ/ВШЭ/МГУ чиллить весь первый год на матане. Абитуриенты (и не только, все интересующиеся), отзовитесь, как вам такая идея?
Upd. Очевидно, это платно, но недорого. 5к за весь курс, это примерно 13 занятий
почему так редко стали выходить обзоры - длинно посты
Читать полностью…
Куплю квартиру в МСК, запад, юго-запад
Читать полностью…
#чтивонаночь
У мужика должен быть replug и analplug
В чем суть - улучшить фактологичность LM с помощью ретривера который в контекст подкидывает документации - поиск из инета - это просто, а что делать если LM - blackbox и ее нельзя напрямую тюнить?
Банальный вопрос, анальный ответ - да давайте пустем градиенты по ретриверу и заставим его ретривить тексты которые лучше всего используются LMкой!
Ну и бонусом такая схема какое то время была SOTA на MMLU, что вообще то неплохо.
paper
code - как обычно нет, а жаль
#чтивонаночь
LLM-Blender
OpenAi знаете? есть слухи что gpt4 это MoE модель, те 4 модели по 220б параметров, которые переключаются каким то образом, решают разные задачи и вот это все, но при этом одна модель.
Собственно идея такая: давайте возьмем несколько LM на разные задачи, сгенерим с них кандидатов и отранжируем через pairwise ranking(где то я это видел, например тут), ну и офк модель сота на их бенче(к слову как базовую модель взяли FLAN-T5-XL)
код
папир
датасет
Колхозные сервера люблю пиздец
Ну типа util на мастер карте сильно больше чем на других, так не должно быть
Мне было лениво переписывать это про DL, придумайте сами пожалуйста
Читать полностью…
Открыл для себя kernl - оптимизация трансформер в каждый дом написаная на openAI triton, да еще и oneliner - накидываешь optimize_model(model) и внутри переставляются flash attention, включается fp16 и фьюзяться операции.
тыкаться сюда kernl.ai
github
Умеете обучать модели и поднимать API, но не понимаете, что происходит за пределами этих процессов?
Никто не знал о GPT, пока она была просто ML-моделью без публично доступного API и продакшена, отмасштабированного на миллионы пользователей, теперь известного всем как ChatGPT. Любой, даже самый минимальный жизнеспособный продукт при таких масштабах будет содержать как ML-компоненты, так и микросервисы, базы данных, подсистемы поиска, логирования, аналитики и многого другого.
Научиться проектировать такую архитектуру можно на курсе System Design от Валерия Бабушкина, Vice President, Data Science в Blockchainꓸcom. Здесь вы поработаете над реальными проектами сервиса такси, приложения для знакомств и другими системами, а также познакомитесь с типичной структурой дизайн-собеседований в Big Tech.
Всего за 4 недели вы научитесь собирать требования, оценивать нагрузку, выбирать подходящие СУБД, масштабировать системы и повышать их надежность и отзывчивость, а также выделять и последовательно проектировать подсистемы для хранения данных, поиска и аналитики как своими силами, так и с помощью готовых продуктов.
Новый поток стартует 19 июня! Ждём вас!
[Зарегистрироваться]
В продолжение, расскажите, учили ли вы на amd, насколько все не комфортно, как оно вообще?
Читать полностью…
Мой батя ебашит вообще диффузионки
Ну такой вот примерно рецепт усредненный, потому что вариаций масса. Берется Unclip, он не каскадный, каскады - это не про моего батю. Он берет этот unclup, вываливает его на кластер и начинает учить в latent сетапе. Добавляет в него огромное количество энкодеров, данных, и aspect ratio! для устойчивости, файнтюн на simple prompts сверху. Все это учиться до 8 горелых dgx. Потом снимается с кластера и переписывает с deepspeed на diffusers. Потом батя деплоит и щедро полив репостами начинает генерить. При этом генерит из тг бота шкрябая сиськами ботов в каналах. Генерит и приговаривает полушепотом ух бля. При этом у него на лбу аж пот выступает. Любезно мне иногда предлагает, но я отказываюсь.
Я верю, что у меня в подписчиках много милых дам. Приглашаю именно девочек в чатик для айтишниц, инженерок, ресерчерок (придумайте еще миллион феминитивов сами пожалуйста)
☺️Короче ссылочка для тех, у кого вайб кошечки: /channel/+n-WIEfhc3ZFhOGIy
Ребята из russian hackers проводят соревку по поиску людей со спутника для Lisa alert, народа мало, денег много, залетайте!
link
не реклама