4253
❤️☠️🤗 идейная миграция небытия
Давно руки чесались выложить датасет, наконец дошли.
Датасет
на сто реакций выложу аналогичную разметку нормально гаррипотера
на очень много реакций вспомню как запускать фронт и переподниму на свежих сетка(мейби)
Привет!
Хочу обратиться за помощью. Я в поисках работы, software engineering, бекенд, Go/Java/Python/C++, 5 лет опыта. Могу и код хорошо писать, и в архитектуру, и с людьми выстраивать диалог, налаживать процессы в команде.
В прошлом работал в Uber, Yandex, всякие стартапы по крипте и AI. Из прошлых мест работы есть хорошие рекомендации от тиммейтов и руководства.
Если кто-то сейчас нанимает или знает где нанимают, мб каких-то рекрутеров \ талент-соурсеров - поделитесь плиз. Я живу в Амстердаме уже 2 года и планирую оставаться здесь, High-Skilled Migrant виза. Так что ремоут / голландская компания
https://www.linkedin.com/in/a37h/
еврейское лобби учит нлп 17-21летних девочек
Читать полностью…
Сам двач есть одна LLM, не влезает в ноду, как ей сказать чтобы худела?
В bnb4, int8 ее рвет (
А ллм с 14в можно обучать?
полноприводные гпу для полноприводных llm
Читать полностью…
Собирать подписи за выдвижение эксперта в мое
Читать полностью…
Полет над гнездом LLM - Detect AI Generated Text.
Тут давече закончился сорев по детекции сгенерированных LLM сочинений vs писания кожАных мешков.
По этому сореву я вел некоторые мастер классы для студентов. Об этом уже было выше.
Кстати вот те советы , которым мы делились с комьюнити:
1. В лучшем паблик ноутбуке для моделей logreg/SGD использовать нормализацию при помощи из sklearn: standart scaling.
Примечание: В данном сореве хорошо заходили классик методы аля tfidf поверх bbpe/bpe словарей от энкодеров.
2. Добавить код с ошибками и опечатками как фичу в бустинг.
Примечание: Тут была гипотеза, что ошибки которые допускает человек и LLM при генерации имеют смещение друг относительно друга.
3. Добавить фичу Vectara hallucinations из huggingface model.
Примечание: Данная модель может оценивать степень галлюцинаций , была гипотеза что между моделями и человеком в скоре vectara есть также сигнал.
4. Добавить расчёт перплексии на моделях: qwen, llama2, falcon, mistral для моделей менее 10b и с уровнем точности fp16/int8. Пример на кекл.
Примечание: Данный пункт похож на предыдущие, тк по перплекссии мы можем оценить степень нормальности/естественности текста.
2-4 пункты это, как вы поняли, фичи в бустинг.
При этом, после беглого просмотра топ решений в discussion , были найдены хинты в тч из списка выше.
Самое важное в данном соревновании, что данные не были даны. Ну как. Были но 3 сэмпла. Все нужно было генерить самим) Поэтому грамотно собранный сет+валидация тоже имхо решали.
А вот к чему приводит собственный сбор , а не датка от оргов , см. ниже.
#чтивонаночь
Model soups: averaging weights of multiple fine-tuned models
improves accuracy without increasing inference time
Забавная работа - давайте помержим линейно модели так чтобы они показывали лучший accuracy. иииииии это работает?
ну по крайней мере на несколько процентов улучшает точность.
папир
блять как же много вопросов и так мало ответов
chegeka wagner
Блоки питания не могут вас слушать, а бля погоди ебанный рот....
Читать полностью…
Альфа геометри
Как говорил мой препод по олимп-матеше - любите геому, вы можете посчитать ее. Всегда.
alexwortega/RN2O2QtH1nQ" rel="nofollow">https://teletype.in/@alexwortega/RN2O2QtH1nQ
14 миллионов рублей на 71 000 подписей
Уже стабильно собираем по 7000 подписей в день. На сегодня у нас есть 28 752 подписи из необходимых 100 000.
Радуют и темпы сбора пожертвований. Вы невероятные! Нам осталось собрать всего 13.8 млн рублей.
Чем быстрее мы закроем сбор, тем легче нам будет справляться с наплывом освободивших от работы и учебы людей, которые придут ставить подпись в выходные дни. Обязательно приходите в наши штабы и точки сбора!
Вместе мы справимся со всем!
Отправить пожертвование можно на сайте:
https://nadezhdin2024.ru/#donate
увидел код в репе, показалось что знакомый, пошел искать.
Работал с челом 4 года назад
Меня всегда забавляло что для sd like с клипом можно пропускать слои и брать более глубокие представления для инфернса, но для обучения так лучше не делать.
К слову, кто то занимался ресерчем этой темы?
у админа кончились деньги на h100, я разогнал v100 и теперь две карты всего лишь в 4 раза медленнее чем h100. горужусь собой
если вы думаете что я обсуждаю хуйню вы не шарите(вы правы)
когда нибудь опен аи начнет выпускать SOTA эмбедеры, но не сегодня.
а, gpt3.5 подешевела
блог
Длинный текст про то, как я сходил с ума от отчаяния в последние 8 месяцев и начал учить древнегреческий.
Выше уже мелькали посты про непонятные белые буковки и шутки про ленивых древнегреческих писцов. Настало время собрать всё в цельную картинку и объясниться. Я не могу из-за правил публиковать и в деталях рассказать техническое решение (оно в процессе ревью), но порассказываю всякое другое.
Соревнование называется Vesuvius Challenge. Когда извергался Везувий и уничтожил Помпеи, он уничтожил еще и город Геркуланум, который находился тоже у его подножия. Нас интересует Геркуланум из-за того, что там откопали виллу, в которой была очень богатая библиотека. И в этой библиотеки уже нашли/ожидают найти около 4-5 тысяч свитков. Важное уточнение: до нас из Античности дошло очень небольшое количество текстов: Одиссея, Иллиада, вся философия — лишь небольшой процент от всех существовавших тогда текстов. Представьте, сколько знания и истории хранится в этих тысячах свитков. Но разумеется есть проблема: они выглядят как сгоревшая на углях картошка из-за консервации в лаве и пепле (но именно благодаря этому они и пролежали в земле 2000 лет).
На сцену выходит профессор из Кентуки Dr. Brent Seales, который всю карьеру потратил на пропихивание следующего метода: давайте мы сделаем этим свиткам МРТ, а потом как-то хитро попытаемся восстановить все и прочитать. План — надежный, как швейцарские часы, если бы не одно но: чернила, которые там были, не содержат металла (carbon-based) и на результатах МРТ не видны. Были еще попытки отсканировать один и тот же свиток с разной фазой пучка и вычтя результаты этого получить какие-то буковки. Буковок хватило на статью в Nature, но выглядит это довольно паршиво. Что же с этим делать дальше?
На сцену выходит ex-CEO Github’a Nat Freedman: меценат, организует всякие AI гранты и инвестриует в AI-стартапы. Очень приятный дядечка, который помог организовать это соревнование и завалил деньгами призовой фонд. Вот его частный фонд и вообще он мне пока кажется Илоном Маском здорового человека.
В феврале прошлого года стартует само соревнование с призовым фондом в 1M USD. Сначала на Kaggle, а потом это все продолжается в Дискорде. Есть МРТ-сканы свитков и нужно прочитать оттуда текст. Сам (предложенный организаторами) процесс виртуального разворачивания текста довольно сложный и хитрый, а данных сейчас уже примерно на 7-8Tb, что устанавливает довольно высокий технический барьер для входа.
После Kaggle’овского соревнования все немного затихло до момента, пока в августе два студента (один из штатов, второй из Берлина) независимо друг от друга глазками(!) нашли какие-то непонятные рельефы, которые подтвердили изначальную идею: не смотря на то, что чернилы не видны, бумага осталась деформированной в местах написанных букв. В итоге задачей стало пытаться программно научиться определять вот эти деформированные места (иногда глазу и незаметные) и читать буковки. Где-то в этот момент (начало августа) я и ушел в соревнование с головой.
Очень много бессонных ночей, переживаний и всего остального было на протяжении этих месяцев. Я приходил и надоедал к каждому, кто мог мне хоть как-то помочь советом/идеей (спасибо вам всем, друзья. Без вас я бы не справился). Когда обсуждал новости и произошедшее за день с девушкой, я десятки раз думал про то, что у меня не произошло вообще ничего: я решал свитки. Как и вчера. Как и продолжу завтра.
И не смотря на то, что я не смог выполнить официальные требования для главного приза (4 куска текста по 140 читаемых символов каждый), мне кажется, что никто не смог. Со слов организаторов, всего они получили около дюжины сабмишнов. И вот уже где-то месяц мы с другими участниками ждем результатов анализа папирологов. За эти полгода я познакомился с кучей интересных людей, выиграл промежуточный приз в 5200 USD, начал учить древнегреческий и сильно прокачался в решении таких вот непонятных проблем.
давайте подарим админу тачку с 8h100, я разорюсь скоро такими темпами
Читать полностью…
джун отказавшийся писать на keras стал жертвой скуфской резни
Читать полностью…
Мы релизнули вихрь💨 Нормально.
Проблемы: мы не очень уверены что оно точно аутперформит mistral и saiga mistral. Формально - да, все хорошо.
Цитируя классику
Если вам интересно что мы сделали: хабр
А еще оформили все в красивую HF репу: https://huggingface.co/Vikhrmodels
во всей истории с agi не понятно почему челы из stability не комитяться на AGI от слова совсем
Читать полностью…
Мы открыли точку сбора в Белграде ✌🏻
И там уже собрались наши сторонники! ❤️
Друзья, мы очень ждем подписантов с региональной регистрацией. Обязательно приходите с внутренним российским паспортом.
Поставить подпись в Белграде можно по адресу:
Белград, Маршала Бирјузова 9
Сегодня точка работает до 18:00, в остальные дни — с 14:00 до 22:00.
Список всех заграничных точек сбора мы опубликуем в ближайшее время.
Я банкрот... Денег, хоть удавите, нет... Просто хоть в альфонсы нанимайся.
1886 год, 19 января
26 лет
если можно попытаться что то сделать - я сделаю.
Читать полностью…
Marlin
[Статьи нет, обычно наоборот][Код]
Marlin, Mixed Auto-Regressive Linear kernel - новое быстрое ядро FP16xINT4 для инференса LLM с большими батчами.
Как известно, вычисления на современных GPU для современных GPU обычно memory bound, и можно получить заметное ускорение даже с fp умножением за счет одной лишь подгрузки весов в кэши. И идеальное ускорение, которое дает INT4 - 4x. Однако с увеличением размера батча, мы начинаем выходить на compute-bound и выигрыш от имеющихся ядер (не использующих tensor cores) исчезает, то есть они становятся медленее fp16 native матричных операций.
В этом репозитории выложена реализация нового ядра, оптимизирующего работу с кэшами и позволяющего иметь значительное ускорение по сравнению с fp16 даже на больших батчах. Основные фичи следующие:
1️⃣ префетчинг
2️⃣ использование активаций в вычислениях несколько раз до загрузки / сгрузки
3️⃣ асинхронная загрузка весов модели
4️⃣ тонкая настройка порядка операций квантования / деквантования и матричных умножений с tensor cores для максимальной утилизации железа
5️⃣ оптимизация конфигурации варпов (групп потоков на GPU)
В итоге удается достичь почти идеального speedup - 4x по сравнению с fp16 на батчах до 32, и иметь ускорение даже на больших (64-128), в то время как безйлайны из bitsandbytes, exllamav2, AWQ становятся в ~2x медленее fp16 с батчей >=16.
Ускорение имеет место на нескольких GPU поколения Ampere - A10, A6000, RTX 3090 и сохраняется даже на пониженных частотах.
На поколении Hopper пока нет реализации.
Ща досмотрю интерестелар, выпью эспрессо водку и напишу
Читать полностью…
DeepMind codestyle
https://github.com/google-deepmind/alphageometry
Зенитные кодексы Аль-Эфесби
промпты про бабушку не вчера придумали.
> ... внедряют в своих дронах автономный искусственный интеллект. Аппараты самостоятельно принимают решение о нанесении ударов, в результате чего их эффективность многократно возрастает, а количество случайных жертв сокращается. Для того чтобы окончательно успокоить общественность, в нейронную сеть каждого аппарата внедряется вспомогательный модуль, ответственный за PR. Благодаря ему процесс принятия решения о нанесении удара моделируется в формате ток-шоу, для чего используется архив американского телевидения[2].
Затем в Афганистане появляется Савелий Скотенков, получивший там кличку Аль-Эфесби. Он разрабатывает необычайную защиту от дронов: пишет на земле лозунги (так называемые «зенитные кодексы»), способные «вызвать у среднестатистического телезрителя возмущение, отвращение и гневное желание дать достойную отповедь». Когда «зенитные кодексы» попадают в поле зрения дрона, модуль PR начинает поиск подходящих ответов в архиве, а если это не удаётся, поиск повторяется снова с немного другими критериями. Нагрузка на систему серьёзно возрастает, что приводит к потере управления и падению дрона[2].