4253
❤️☠️🤗 идейная миграция небытия
Про локальные языковые модели для относительно неподготовленной аудитории:
Видео: https://youtu.be/KXBRGkZTX1U?si=CyVKSUavsSnZfffR&t=241
Презентация: http://tinyurl.com/gusevlocal
Подкаст: https://mlpodcast.mave.digital/ep-55
Про древнюю генерацию стихов:
Видео: https://www.youtube.com/watch?v=wTN-qKPu4c0
Статья на Хабре: https://habr.com/ru/articles/334046/
Про Сайгу:
Видео: https://www.youtube.com/watch?v=YqKCk8_dNpQ
Презентация: http://tinyurl.com/gusevsaiga
Статья на Хабре: https://habr.com/ru/articles/759386/
Про не-трансформерные модели:
Видео: https://www.youtube.com/watch?v=C65JbhTi-O4
Презентация: https://tinyurl.com/gusevlrnn
Тут тихо выложили ft SDV xt, теперь больше кадров и должно быть больше движения.
модель лежит тут
MobileDiffusion
Очень странный крутой релиз от гугл:
- latent (скоро два года будет, в Гугле наконец перестали обучать каскады)
- unet с трансформер блоками и последовательными свертками вместо обычных блоков
- swish вместо glu
- всего 150м датасет
- 512 разрешение картинки
- ufogen single step generation, лень читать, мб завтра
- fine-tune soft max into relu 🤩
Папир
Неожиданно релизнулась llava1.6, теперь картинки до 1344*336, 30В+ модели и перфоманс близкий к gpt4v.
blogpost
Демка llava.hliu.cc
Dear colleagues, we are happy to announce AINL 2024! It will be held at Almaty, Kazakhstan, April 24-25, 2024. Please find first call for papers attached!
Читать полностью…
Mistral AI подтвердил, что это их модель утекла:
https://venturebeat.com/ai/mistral-ceo-confirms-leak-of-new-open-source-ai-model-nearing-gpt-4-performance/
Чат, дискас. С одной стороны я считаю что взлом системы это хорошо, с другой стороны это нарушение правил и тиндера и ToU
Читать полностью…
СНГ итшке будет хуже.
Если вы забыли то высокие зарплаты на рынке ИТ в снг были сформированы следующим фактом: большое количество высококвалифицированных низкооплачиваемых(для сша и ес) челов, за счет чего нанимать людей со специфичным акцентом и softskills было экономически оправдание чем нанимать людей у себя. Под эти долларовые зарплаты подтягивались зарплаты снг Ит компаний, а в какой то момент были годы когда в снг платили сильно больше чем на западе. В то время как национальные валюты проседали и зарплаты по стране в среднем падали в ит зарплаты росли по курсу доллара.
Что же сейчас? Сины по 3k usd, мидлы по 2500, на рынке джунов резня.
ИТ сожрало не только тех кто хотел заниматься прогой, но и просто ОЧЕНЬ умных чуваков(физики, математики, инженеры). просто потому что получать 6к за кручение джейсонов в ит ты будешь через два года, а в инженерке лет через 10.
Вангую что рынок зарплат в снг в среднем по больнице просядет еще сильнее за год, в первую очередь в России и Беларуси.
что может нарушить предикт: фриланс оживет нормально снова быстрее чем за три-пять лет, резко выратстет ИТ во всем мире до той степени что зажирать будут все что умеет кодить.
Сирион, привет. Вчера, просматривая старые подписки в тик-токе, нашел тебя. Провёл некоторое время за поиском твоего актуального канала и хочу сообщить следующее:
Пока ты находился в информационном поле супер плотно (тик-токе), моя жизнь была успешной и счастливой - спасибо. Честно сказать, я особо не задумывался об этом в моменте, но по прошествию времени осознал, что ты бы тем самым атрибутом (интеллекта), который вносил плюсы в мою жизнь.
Что сейчас? Я уже два года потерян. У меня даже есть ебучие грейды и бабки за какие-то там заслуги, но это похуй. К сожалению, у меня нет главного - тебя в ленте =[
Порой, я подумываю о переходе в мангу, так как все другое настоебенило и просто хочется лежать где-то выгоревшим, но потом вспоминаю те моменты, когда я искренне смеялся с аллюминия и сразу становится тепло на душе.
Спасибо.
Stability AI последний год такие типа:
- А не ебунуть ли нам ...
- Да, делайте, вот компьют
- Я же не договорил
- Ну все равно делайте
Челы выпустили очень странную StableLm 1.6b которая лучше чем mpt 7b и tiny llama но жуже чем mistral и phi2.
Учили на 2T redpijama+starcoder
релиз блог
Компиляция нескольких постов про то, что читать про ML/NLP/LLM:
Обучающие материалы 🗒
- https://habr.com/ru/articles/774844/
- https://lena-voita.github.io/nlp_course.html
- https://web.stanford.edu/~jurafsky/slp3/ed3book.pdf
- https://www.youtube.com/watch?v=rmVRLeJRkl4&list=PLoROMvodv4rMFqRtEuo6SGjY4XbRIVRd4
- https://huggingface.co/docs/transformers/perf_train_gpu_one
Блоги 🍿
- https://huggingface.co/blog/
- https://blog.eleuther.ai/
- https://lilianweng.github.io/
- https://oobabooga.github.io/blog/
- https://kipp.ly/
- https://mlu-explain.github.io/
- https://yaofu.notion.site/Yao-Fu-s-Blog-b536c3d6912149a395931f1e871370db
Прикладные курсы 👴
- https://github.com/yandexdataschool/nlp_course
- https://github.com/DanAnastasyev/DeepNLP-Course
(Я давно не проходил вообще никакие курсы, если есть что-то новое и хорошее - пишите!)
Каналы 🚫
- /channel/gonzo_ML
- /channel/izolenta_mebiusa
- /channel/tech_priestess
- /channel/rybolos_channel
- /channel/j_links
- /channel/lovedeathtransformers
- /channel/seeallochnaya
- /channel/doomgrad
- /channel/nadlskom
- /channel/dlinnlp
(Забыл добавить вас? Напишите в личку, список составлялся по тем каналам, что я сам читаю)
Чаты 😁
- /channel/betterdatacommunity
- /channel/natural_language_processing
- /channel/LLM_RNN_RWKV
- /channel/ldt_chat
Основные статьи 😘
- Word2Vec: Mikolov et al., Efficient Estimation of Word Representations in Vector Space https://arxiv.org/pdf/1301.3781.pdf
- FastText: Bojanowski et al., Enriching Word Vectors with Subword Information https://arxiv.org/pdf/1607.04606.pdf
- Attention: Bahdanau et al., Neural Machine Translation by Jointly Learning to Align and Translate https://arxiv.org/abs/1409.0473
- Transformers: Vaswani et al., Attention Is All You Need https://arxiv.org/abs/1706.03762
- BERT: Devlin et al., BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding https://arxiv.org/abs/1810.0480
- GPT-2, Radford et al., Language Models are Unsupervised Multitask Learners https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multitask_learners.pdf
- GPT-3, Brown et al, Language Models are Few-Shot Learners https://arxiv.org/abs/2005.14165
- LaBSE, Feng et al., Language-agnostic BERT Sentence Embedding https://arxiv.org/abs/2007.01852
- CLIP, Radford et al., Learning Transferable Visual Models From Natural Language Supervision https://arxiv.org/abs/2103.00020
- RoPE, Su et al., RoFormer: Enhanced Transformer with Rotary Position Embedding https://arxiv.org/abs/2104.09864
- LoRA, Hu et al., LoRA: Low-Rank Adaptation of Large Language Models https://arxiv.org/abs/2106.09685
- InstructGPT, Ouyang et al., Training language models to follow instructions with human feedback https://arxiv.org/abs/2203.02155
- Scaling laws, Hoffmann et al., Training Compute-Optimal Large Language Models https://arxiv.org/abs/2203.15556
- FlashAttention, Dao et al., FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness https://arxiv.org/abs/2205.14135
- NLLB, NLLB team, No Language Left Behind: Scaling Human-Centered Machine Translation https://arxiv.org/abs/2207.04672
- Q8, Dettmers et al., LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale https://arxiv.org/abs/2208.07339
- Self-instruct, Wang et al., Self-Instruct: Aligning Language Models with Self-Generated Instructions https://arxiv.org/abs/2212.10560
- Alpaca, Taori et al., Alpaca: A Strong, Replicable Instruction-Following Model https://crfm.stanford.edu/2023/03/13/alpaca.html
- LLaMA, Touvron, et al., LLaMA: Open and Efficient Foundation Language Models https://arxiv.org/abs/2302.13971
ладно оно еще более емкое на мемы чем я думал
Читать полностью…
THE A.I.//И.И.
A little up-to-date agenda wouldn't hurt. All coincidences with historical characters are, as usual, accidental. The 7 deadly sins are also included///Немного актуальной повестки не помешает пожалуй. Все совпадения с историческими персонажами, как обычно, случайны. 7 смертных грехов также прилагаются
Я отказываюсь это комментировать.
Папир
https://habr.com/ru/companies/sberdevices/articles/790470/
Читать полностью…
https://ium.mccme.ru/s24/s24.html
на следующей неделе начинается весенний семестр в НМУ; подробности — по ссылке
в т.ч. для 1 курса читают топологию — К.В.Логинов, алгебру — А.И.Ильин, анализ — И.В.Вьюгин
для 2 курса теорию вероятностей — С.В.Шапошников, топологию — А.Д.Рябичев и Ф.Е.Вылегжанин, дифф. геометрию — Г.И.Шарыгин
Обнаружена серьезная проблема в VAE StableDiffusion 1.x, 2.x и других, использовавших его латентное пространство.
Суть такова: в идеале, латентное представление должно быть пространственно связано с кодируемой картинкой. То есть пиксели в углу картинки влияют только на тот же угловой кусок латентного вектора.
Но из-за ошибки при обучении KL-F8 VAE, информация обо всей картинке протекает через некоторые локальные пиксели.
То есть если вы измените пару латентных "пикселей" в том самом неудачном месте, вся картинка изменится - например, станет ярче или менее контрастнее. (рис.1) При этом если вы захотите привести картинку по яркости и контрасту к исходной, получите те самые артефакты VAE с "прожогами".
Поэтому уже сама диффузионная модель при обучении в латентном пространстве бракованного VAE учится обходить эту проблему, что приводит этим самым прожогам, и, вероятно, к менее эффективному использованию параметров.
SDXL этой проблеме не подвержен, так как там VAE учили уже нормально, а вот DALLE3, опенсорснутый VAE которого совместим с SD 1.x, страдает теми же прожогами.
Так что если будете учить свою foundation model, учите с нуля вместе с VAE, либо берите SDXL :D
подробнее
@derplearning
Действительно призошла утечка, я в ахуе, гпт4 level waifus goes brr.
А кто то знает способы конвертации ггуф в fp16? Мне для друга.
деквант версия
cайт
Ты пидорас или сноубордист? Не дай бог я не увижу сноуборда под окном.
Читать полностью…
Принес вам кринжатины:
Чувак в твиттере подумал, что дейтинг это сложно, и поэтому лучше ChatGPT за меня пообщается на всем этом рынке мяса, и он буквально, цинично и по айтишному прагматично, описывает как из 5239 свайпов получил 1 девушку, которая строит с ним отношения и которой он сделал предложение.
В треде есть логические несоответствия — мотивация сделать бота для дейтинга, у автора, это «чтобы было время заняться чем-то еще», но при этом времени этот проект занял явно намного больше чем обычный человеческий способ знакомств.
В итоге, девушка встречается с ChatGPT оболочкой в виде кожаного мешка, и я бы ей конечно посоветовал хорошо подумать стоит ли выходить за него (да и в целом одного года отношений мало чтобы жениться, но это уже другая тема):
https://twitter.com/biblikz/status/1752335415812501757
Забрутфорсить до отношений тиндер это не тактика, а говно какое-то, потому что за каждой анкетой живой человек время которого тратится на эксперимент автора о котором он конечно же не рассказывал девушкам.
Если дейтинг дается сложно, то возможно стоит использовать самые передовые технологии чтобы понять как быть, изменить что-то в себе, а не устраивать прагматичный мясо-лайк.
Осуждаю провдинутый кэтфишинг, мог бы и свои фотки в Midjorney сделать, а чо нет.
Из-за таких вот «экспериментаторов» нас будет ждать регуляция AI на каждому углу как только это все начнет обретать популярность.
Разбираемся с cuda kernels без скуфизации.
Если вы когда то начинали разбираться с cuda kernels то знаете - чаще всего речь про голый C, без встройки кода в pytorch ради которого и имеет смысл что то делать(если вы ds)
Вот курс который я сам начал смотреть недавно, понятно и подробно от человека который pytorch на работе пишет.
CUDAMODE">канал
repo
Возможный лик mistral medium
Очень странный лик, не думаю что он верный, лежит тут
https://huggingface.co/miqudev/miqu-1-70b
ну или решили сделать каноничных вайф? 🐾
Читать полностью…
Начну-ка я год с токсичности 😈
Мы с коллегами недавно выпустили новый классификатор токсичности для текстов и аудио - MuTox.
Статья, код, блокнот в колабе с примерами.
Для обучения этого классификатора мы организовали разметку 160К коротких аудио на 21 языке на предмет токсичности (датасет тоже опубликован).
Сам классификатор - маленькая моделька поверх эмбеддингов SONAR, которые недурно представляют тексты на 200 языках в общем семантическом пространстве (также есть энкодеры речи для ~50 языков, и их число будет расти). Поэтому есть основания надеяться, что и для других языков, поддержаных SONAR (список примерно совпадает со списоком FLORES-200 и NLLB), моделька будет показывать какой-то приличный уровень качества.