4253
❤️☠️🤗 идейная миграция небытия
#чтивонаночь
Наконец снова начал писать длинные посты, на этот раз про DBRX.
alexwortega/ndr117M49A_">blog
понимаете да?
типа 50 человек+ команда, никто не проверил что вообще с перфомансом hf версии модели.
я блять удивлен что gemeni вообще работает. JAX проклятый
багфикс блог, огромный респект ребятам из unsloth
Посвящается всем авторам ТГ каналов про Эй Ай
Я слежу что пишет сама
Знаю все про Гэ Пэ Тэ
Ворлд модели строит Сора
подпишись на мой тэ гэ
Здесь посты и много мемов
Можно слушать и читать
Будешь лучшем в мире сеток
Клоуна не ставьте блять
Когда ты станешь самым смелым
Будешь шарить, больше знать
Будет офер, много денег
Незабудь донат прислать
сходка в белграде.
воскресный вечер.
31 марта.
/channel/+YkSirBpXEs42NDgy
Это не чат, это Ebа́nyChat. Еба́ноязычная Chа́tGPT от лаборатории еба́ного резерча
Здарова, хабровчане!
Хайп вокруг нейросетей, заалайненых при помощи Instructions и RLHF (известных в народе под единым брендом «хуйня из под коня из каждого утюга»), трудно не заметить. Именно поэтому мы решили тоже хайпануть запрыгнуть в этот поезд!
Общий подход для обучения подобных моделей примерно такой:
1. Заиметь хорошую LLM.
2. Сделать SFT.
3. Собрать фидбек.
4. Полирнуть все RLHF’ом.
В текущем релизе мы забили хуй на все эти пункты, как один из способов максимального прироста в качестве (а кто нас проверит, лол?).
Давайте посмотрим, что же находится внутри Ebа́nyChа́t’а.
⁃ Рандомная LM, которую нам принес стажер с хагинфейса (ваще похуй че там внутри, 13B параметров сделают go brrrr (больше модельки мы не умеем файнтьюнить))
⁃ Датасет для SFT (перевели альпаку-хуяку промтом; похуй, сгодится; еще собрали каких-то случайных датасетов с ХФ’а и захардкодили промпты; все же нормально будет, да? оверфитинг? ну мы меньше итераций обучения поставим)
⁃ Затем мы начали дрочить развесовку для этих датасетов на глазок (кидали кости на доску и записывали значения в качестве веса. Наш джун после этого сошел с ума, сказал что мы занимаемся какой-то дикой поеботой и устроился на работу в нормальное место)
⁃ Разочек обучили модель (а зачем че-то там тьюнить? (а вообще к нам пришли ребята с прода и сказали освобождать железо, т.к. мы опять занимаемся хуйней)) В какой-то момент она перестала генерировать <pad> <pad> <pad> — решили что близки к AGI и остановили обучение.
Сперва мы вообще хотели забить хуй на тестирование, но наш менеджер сказал что нужны какие-то цифры. В общем, позвали деврела, показали ему 3 парных семпла с chatgpt, спросили какие из них луче. Он везде сказал что чатжпт лучше. Получилось какое-то ебаное качество, но как-то плевать, напишем что 1 к 3 лучше. (деврела уволили, кстати).
Ни метрики, ни честный Human Evaluation мы показывать конечно же не будем. Кого это ебет? Тебя это ебет?
А, да, не зарелизим претрейн. Мы его кстати назвали gpt-5. Почему? Просто.
Под катом у нас куча примеров, которые мы начерепикали, наслаждайтесь. Должно хватить на постов 10-20 где-то еще.
/channel/ebaresearch/458
Мы все живём в ебанутом романе Пелевина.
В далеком 2018 мы ходили на митинги, хотели чтобы в России стало лучше.
Мы лишены родины, стали нежелательными элементами, но несем часть той самой родины от Бали до Лос Анжелеса. Строим сервисы, рестораны, науку, основываем компании.
Вы узнаете кафе эмигрантов этой волны по рафу, по характерному миксу кухни и любви к кофе. Не забывайте кто вы, помогайте друг другу.
Не стоит забывать тех кто боролся и пытался. Недавно было 40 дней Алексея.
Видео
Помогите чем можете, тем кому можете.
дошли руки поиграться с suno.ai, очень забавно
Читать полностью…
гайс, ищу человека знающего казахский
Читать полностью…
Скоро отправимся в каменный век!
⠀
Месяц назад министерство здравоохранения РФ опубликовало проект пересмотра клинических рекомендаций по расстройству аутистического спектра. Не хватало нам новости о приостановлении введения МКБ-11, вот нам ещё одна проблема.
⠀
Для справки: клинические рекомендации - это официальный документ, согласно которому врач должен проводить диагностику и лечение. И пусть термин "рекомендации" не вводит вас в заблуждение, они обязательны к исполнению.
⠀
Внимательно прочитав документ, я пришел в ужас от того, насколько новый коллектив авторов из Российского общества психиатров исказил предыдущую версию:
⠀
- АВА - это не полезно, а вредно
- Галоперидол не имеет побочных эффектов
- По миру шагает гипердиагностика аутизма
- Продолжаем измерять интеллект Векслером (методом 1949 года)
PECS бесполезны
- 75% детей с РАС имеют нарушения интеллекта
⠀
Конечно, все это полная чушь. Для контекста - авторы уже делали свою мракобесную версию рекомендаций ещё в 2020 году, но внезапно появилась адекватная альтернатива и ещё более внезапно ее приняли. Теперь, видимо, они хотят взять реванш.
⠀
Но мы его не дадим.
⠀
Минздрав оставил форму обратной связи, куда каждый неравнодушный может написать свои мысли по поводу данного документа. Кто бы вы ни были - врач-психиатр, невролог, хирург, гинеколог, да любой специальности - пишите.
Если вы педагог, психолог, нейропсихол, логопед, поведенческий терапевт - пишите.
Если вы родитель - пишите.
Если у вас РАС - пишите, пишите, пишите.
⠀
Форма будет активна сегодня, завтра и послезавтра. После этого она закроется. У нас три дня.
https://portalcr.minzdrav.gov.ru/viewCR/1848
Если мы не отстоим свои права, галоперидол будет литься рекой, а вместо АВА нам будут продолжать подсовывать стимуляции и физиотерапию. У нас есть шанс.
⠀
Я написал свой большой отзыв об этих рекомендациях. Можно брать из него ссылки, но формулировки лучше изменить, чтобы было больше уникальной обратной связи.
https://docs.google.com/document/d/1bbOlz95oLz6vpb8F6kXGHbZZ7hs-2kyFRMMMUlu9JvM
💉Is biotech a new IT?🧫
Я интересовалась биотехом с 9 класса. Именно тогда я наткнулась на сюжет в новостях о разработке биотехнологического препарата. Стала больше читать и узнала о существовании такой компании как BIOCAD. Затем все больше погружалась в тему, начала потихоньку читать про ДНК, антитела и грезить о том, что вот я стану специалистом в области молекулярной биологии и пойду работать в биотех-компанию.
Потом случилось мое первое знакомство с биотехом. Спойлер: с Биокадом. На ноябрьской химической смене в Сириусе. Я до сих пор благодарна Кириллу (привет, если ты это читаешь) за то, что на дне распределения придал мне решимости подать заявку именно на проект Биокада. С тех пор я знала что-то о молбиоле не только в теории, но и на практике.
Ни для кого не секрет, что в динамично развивающемся направлении учебный процесс не очень рационально строить только на учебниках — все слишком быстро меняется. Такими сферами сейчас являются биотех и IT. Я хочу поделиться с вами всеми материалами, которые мне дали 70% знаний о генной инженерии и молекулярной биологии, которые я имею. Итак, держите:
🧬ROAD MAP для развития в биотехе🧬
Здесь есть:
🔴бесплатные курсы по генной инженерии, молбиолу и биоинформатике в порядке с комментариями по прохождению
🔴список интернет-сообществ, которые помогут быть «в теме» и войти в комьюнити
🔴учебники
🔴раздел с информацией по методам анализа биомолекул (очень важно для тех, кто пойдет в фарму)
Когда-то я делала это на заказ для человека, который попросил меня дать материалы для погружения в биотех. Теперь я делюсь этим с вами🤍
Пересылайте тем, кому это потенциально может быть интересно. Я очень надеюсь, что кому-то это принесет пользу. Даже банально при подготовке к экзаменам.
В общем, лайк, шер и все прочее⭐️
Вебкамщицам к цифровой сингулярности приготовиться
https://x.com/dreamingtulpa/status/1772311202871312655?s=46&t=2mo-W_Ay5P2D-PKnXI2DOA
Канье очень активно рекламирует новую маечку за $20
Купить по ссылке
Я люблю когда в интернете пишут что хотят пользоваться продуктами которые строят инженеры, а не маркетологи.
Но я не знаю ни одного человека который писал бы: хочу пользоваться продуктами которые сделали речерчеры.
Делаю бота с мемами: @ffmemesbot. Опенсорс: http://github.com/ffmemes/ff-backend
Пишите в личку, если хотите присоединиться поковыряться в данных, попилить рекомендашки или просто орнуть на всех языках мира.
Ищу помогаторов с шенгеном, если у вас есть хороший - пишете в @maxalekv
Читать полностью…
ебать и приговаривать - flash attention не всегда эквивалентен, реализации разные сильно отличаются по перфомансу и качеству
Читать полностью…
https://app.suno.ai/song/c673df63-0920-4c3a-b1bd-0f8aec2d84a2
@seeyouall я тебе гимн написал
третий релиз русских LLM подряд одно и тоже, да чо за хуйня, почему до сих пор мемная паста описывает релизы лучше чем сами релизы
Читать полностью…
Starling - aka ft mistral 7в, поднялся на 13 место, обогнав gpt3.5 и Claude.
Бенч гудхартнули или мне кажется?
Меня пугает openai.
GPT4 turbo более чем полугода, gpt4 больше года, но полноценно обогонать смогли только сейчас, причем только другие closed ai -
аnthropic.
Причем - именно что догнать, модель явно умнее, но по бенчмаркам хуже, а по lmsys разрыв около минимальный.
Я: мам может купим сексбота
Мама: у нас есть сексбот дома
сексбот дома:
Может ли MOE заняться сексом сразу с восьмью людьми?
Нет, в него не влезет восемь хуев, мы пытались
Вышла GGUF версия Grok
hf за линк спасибо labmember04