4253
❤️☠️🤗 идейная миграция небытия
Сотрудник кафедры Высшей Математики МФТИ после удаления нижней пары рёбер каждый день делает автоморфизм
Читать полностью…
Этих видео так много в трендах, что мне начинает казаться что Сэм Альтман лично сосёт всем кто запишет видео
Читать полностью…
ресечер open ai пишется по дикой накурке, опытными растаманами и ВОТ ПОЧЕМУ ч2Our initial RLHF experiments showed regressions on public NLP datasets, such as SQuADv2 and DROP, and we mitigate the regressions by mixing in pretraining gradients during PPO trainigТе вы понимаете что происходит да? Они берут и мешают градиенты, гении сука, гениии
Привет! Это печатает Карим, создатель 📉 @loss_function_porn.
Как вы могли заметить, канал давно мертв (последний пост был аж в марте 2021). Мне и @vlivashkin в один момент просто надоело искать AI-вкусняшки и постить их. А еще в то время я ушел делать свой стартап и стало как-то совсем не до канала...
Но у меня есть много, о чем рассказать, но формат @loss_function_porn сильно ограничивает. Поэтому этот канал превращается в мой личный канал! (гений 🫡).
О чем примерно буду писать:
– О нашем успешном стартапе avatarify.ai, на котором мы заработали мульёны долларов. А еще о неуспешном, на который потратили почти год и получили чуть меньше нуля
– О проектах, которые делаю сейчас (вот-вот выйдут 2 новых продукта)
– О самом свежем AI и о том, как голый ресерч превращать в продукты
– дальше пока не придумал)))
Пожалуйста, ОТПИШИТЕСЬ (!), кому такое не интересно.
А кому интересно, жмите Unmute – буду постить редко, но смачно.
For English-speaking subscribers. From now on, @loss_function_porn becomes my personal channel. I will write about startups, AI, and life. I will write in Russian, so if that doesn't suit you, please unsubscribe.
📉 @loss_function_porn R.I.P.
Никто:
Абсолютно никто:
Китайские бакалавры обучили ChatRWKV (aka chatgpt на rnn) на очистках the pile
github
Прекрасное видео от копатыча про то как закодить gpt, чем отличается gpt2 от gpt3, какие эвристики есть на претрейне и особенности слоёв.
video
Ебать копать, все нашитпостили что это разобор chatgpt.... Чуваки, вы чего...
Hf выпустили годный блог по обучению на одной gpu
blog
Наш агрегатор децентрализованных кроссчейн обменов Via Protocol в шорт листе лучших web3 проектов на Producthunt.
🔗 producthunt.com/golden-kitty-awards/web3
Прикиньте, как будет круто выиграть после 8 релизов на PH? Это как завалить финального босса в одной игре и перейти в другую. Это как пройти с пацанами side quest, который в одиночку не получалось. Это как набрать лям в тиктоке без обнаженки! Это как пойти олын и раскусить блеф. Это как задеплоить в прод с первого раза. Это как выиграть олимпиаду по любимому хобби. Это как найти хату в Лондоне с норм ремонтом. Это как найти в saved messages приватник из 2011.
Проголосуй за нас и зарепости к себе в канал! 🤗🤗🤗
Тяжёлые времена создают сильных людей. Сильные люди эмигрируют на запад и создают там хорошие времена.
Читать полностью…
CALM: как простые слова генерировать быстрее (by Google)
Оказывается, можно пропускать часть слоёв трансформера на «простых» словах и ускорять таким образом генерацию текста в ~3 раза!
А если правильно выбрать критерий преждевременной остановки, то качество генерации совсем не падает. Исследователи из гугл предложили 3 таких критерия:
1. Косинус эмбеддингов с двух последовательных слоёв.
2. Разность топ двух значений софтмакса.
3. Обученная линейная регрессия.
P.S. Все эксперименты были для T5, но думаю, что всё без проблем переносится и на GPT.
Статья, GitHub, блог
Админ канала принес очередной бесполезный тюн диффузии: подписчики на понимающие зачем...
Читать полностью…
шакалы пришли и поели качество, хм
huggingface
В руки попала топавая шадовая книжка по алгосам, го ботат
Читать полностью…
Иронично что chat gpt очень плохо понимает transformer rl
Читать полностью…
ресечер open ai пишется по дикой накурке, опытными растаманами и ВОТ ПОЧЕМУ
-Вы опен аи, у вас много денег и гпу, вам надо сделать Ranking model. Что вы будете делать? Правильно, резать декодер, брать эмбединги со средних слоев и все это чтобы не менять токенайзер и не учить жирный BERT(а чо, СPU и gpu дорогие, НАДО БЛЯТЬ ЭКОНОМИТЬ)
- я... я просто оставлю это как естьFor instance, suppose[тык стр 9, последний абзац]
in the training distribution a feature like answer length always indicates a higher quality answer, and
thus the proxy RM infers that longer answers are always better, even though at some point outside
the training distribution, selecting on longer answers no longer improves quality
- Идем дальше. Вам нужна легкая модель для эмбедингов, вы что берете? Правильно, sentence transformer, но господа так не делают, им надо весело, поэтому они берут что? правильно, декодер, другого у нас нет, отрезают от него все что можно, тюнать с contrastive loss + adaptive learning with human feedback и учат contrastive в RLHF сетапе(человеки размечают negeative labels)
а еще у них есть чувак с ником Boris Power
сукаблятьебанныйротблятьнахуйсукаблять
Ещё в апреле о ситуации с рынком найма и вообще доходами в глобальном крупняке я написал следующее:
Проблема с отписками на Netflix это маркер более серьёзных изменений в отрасли, которые шаг за шагом проявятся:
1. Есть предел пользовательского спроса. Нельзя рассчитывать на то, что люди будут подписываться одновременно на кабельное, YouTube, Hulu, Apple TV+, Netflix, Disney. Даже с учётом эксклюзивов.
2. Попытки минфина США озвучить вариант мироустройства, при котором создаётся клуб хороших стран и все остальные (возможно, с какими-то подкритериямя), означают, что те компании, которые считали себя мировыми, теперь становятся ограниченными, в лучшем случае — регионом NA+EU и Океании немножко. Капитализация Netflix упала на 20% не из-за потерь сегодняшних, а из-за ужаса перед потерями компании в будущем.
3. Раз компании становятся не мировыми, а региональными, то платить за цифровую конницу из разработчиков, которая позволяла вторгаться цифровыми путями во вражеские государства и забирать их доходы — уже нет необходимости.
Ну и компании, натурально, не платят.
Facebook от ползучего фриза перешёл к ползучим сокращениям, что уже просочилось и в Wall Street Journal
Ровно такая же ситуация в Netflix — компания должна резать расходы, провела несколько сокращений и экономит на всём что может, вплоть до мерча, который могут покупать сотрудники.
Я бы вообще не исключил ситуации, что мы во много каких странах увидим переизбыток айтишников, хотя бы временный. И это будет лютое время для всех, кто привык, что зарплаты в IT только растут: на рынке нанимателя айтишники не жили никогда.
Нет, я не подвожу к тому, что в такой ситуации обязательно надо оставаться в России, чего от меня многие ждут: если кто-то считает необходимым уехать — это его жизнь и его решение.
Но что можно советовать однозначно:
а) всё свободное время отдавать самообразованию. Как мы видим -- у хороших специалистов высокого класса нет проблем с наймом, даже если компания сошла с ума и решила их уволить. Сильнее всего в кризисы страдают рядовые сотрудники, ничем не выделяющиеся на фоне своих коллег — им искать новую работу намного тяжелее.
б) возможно, стоит освоить работу руками. Это отнимет некоторое время, но, во-первых, любая работа руками снижает уровень кортизола (и, соответственно, стресса), во-вторых, это навык который помогает жить в самые чёрные экономические периоды. Чинить автомобили, разбираться в электрике, уметь работать с деревом, освоить слесарное дело — полезно даже просто для поддержания порядка в собственном доме.
в) прочитать, что такое "интернирование", выбрать местонахождение с умом, а не рефлексами.
@sinodov
Нам внушили что мы долбаебы. А мы поверили
Читать полностью…
Недавно Nvidia перевела меня на GeForce Now Ultimate, и пока у меня восторг. Ребята из The Verge тоже попробовали, и в целом им понравилось — низкий (относительно) летенси, офигенная графика, хотя и не без глюков. Чтобы вы оценили, насколько они придирчивые — “всего 6 игр пока поддерживают 4k 240fps”. Мне такое не надо, конечно. Очень интересно все это выглядит на фоне закрытия Google Stadia.
https://www.theverge.com/23561989/nvidia-geforce-now-rtx-4080-price-reflex-hands-on-cloud-gaming
миллионы долларов, сотни человекочасов были потрачены чтобы получить это
Читать полностью…
У меня модель расходится, а у вас как дела
Читать полностью…
23 год обещает быть странным, вышли новые macbook pro c m2pro/m2max и до 96гб распаянной памяти на борту.
Возможно наконец маками с м процессорами можно будет греть коленки, но это не точно.
Новость
зато текст с первого раза понимает, это вам на претрейне не тупо clip.hidden_states[-1] совать!!
huggingface
Обновил anime diffusion, чекпоинт 65/290, выкинул обоссаный стебль и взял божественный vintedois-diffusion , cкоро выложу обнову VAE
Читать полностью…