4253
❤️☠️🤗 идейная миграция небытия
СНГ итшке будет хуже.
Если вы забыли то высокие зарплаты на рынке ИТ в снг были сформированы следующим фактом: большое количество высококвалифицированных низкооплачиваемых(для сша и ес) челов, за счет чего нанимать людей со специфичным акцентом и softskills было экономически оправдание чем нанимать людей у себя. Под эти долларовые зарплаты подтягивались зарплаты снг Ит компаний, а в какой то момент были годы когда в снг платили сильно больше чем на западе. В то время как национальные валюты проседали и зарплаты по стране в среднем падали в ит зарплаты росли по курсу доллара.
Что же сейчас? Сины по 3k usd, мидлы по 2500, на рынке джунов резня.
ИТ сожрало не только тех кто хотел заниматься прогой, но и просто ОЧЕНЬ умных чуваков(физики, математики, инженеры). просто потому что получать 6к за кручение джейсонов в ит ты будешь через два года, а в инженерке лет через 10.
Вангую что рынок зарплат в снг в среднем по больнице просядет еще сильнее за год, в первую очередь в России и Беларуси.
что может нарушить предикт: фриланс оживет нормально снова быстрее чем за три-пять лет, резко выратстет ИТ во всем мире до той степени что зажирать будут все что умеет кодить.
Сирион, привет. Вчера, просматривая старые подписки в тик-токе, нашел тебя. Провёл некоторое время за поиском твоего актуального канала и хочу сообщить следующее:
Пока ты находился в информационном поле супер плотно (тик-токе), моя жизнь была успешной и счастливой - спасибо. Честно сказать, я особо не задумывался об этом в моменте, но по прошествию времени осознал, что ты бы тем самым атрибутом (интеллекта), который вносил плюсы в мою жизнь.
Что сейчас? Я уже два года потерян. У меня даже есть ебучие грейды и бабки за какие-то там заслуги, но это похуй. К сожалению, у меня нет главного - тебя в ленте =[
Порой, я подумываю о переходе в мангу, так как все другое настоебенило и просто хочется лежать где-то выгоревшим, но потом вспоминаю те моменты, когда я искренне смеялся с аллюминия и сразу становится тепло на душе.
Спасибо.
Stability AI последний год такие типа:
- А не ебунуть ли нам ...
- Да, делайте, вот компьют
- Я же не договорил
- Ну все равно делайте
Челы выпустили очень странную StableLm 1.6b которая лучше чем mpt 7b и tiny llama но жуже чем mistral и phi2.
Учили на 2T redpijama+starcoder
релиз блог
Давно руки чесались выложить датасет, наконец дошли.
Датасет
на сто реакций выложу аналогичную разметку нормально гаррипотера
на очень много реакций вспомню как запускать фронт и переподниму на свежих сетка(мейби)
Привет!
Хочу обратиться за помощью. Я в поисках работы, software engineering, бекенд, Go/Java/Python/C++, 5 лет опыта. Могу и код хорошо писать, и в архитектуру, и с людьми выстраивать диалог, налаживать процессы в команде.
В прошлом работал в Uber, Yandex, всякие стартапы по крипте и AI. Из прошлых мест работы есть хорошие рекомендации от тиммейтов и руководства.
Если кто-то сейчас нанимает или знает где нанимают, мб каких-то рекрутеров \ талент-соурсеров - поделитесь плиз. Я живу в Амстердаме уже 2 года и планирую оставаться здесь, High-Skilled Migrant виза. Так что ремоут / голландская компания
https://www.linkedin.com/in/a37h/
еврейское лобби учит нлп 17-21летних девочек
Читать полностью…
Сам двач есть одна LLM, не влезает в ноду, как ей сказать чтобы худела?
В bnb4, int8 ее рвет (
А ллм с 14в можно обучать?
полноприводные гпу для полноприводных llm
Читать полностью…
Собирать подписи за выдвижение эксперта в мое
Читать полностью…
Полет над гнездом LLM - Detect AI Generated Text.
Тут давече закончился сорев по детекции сгенерированных LLM сочинений vs писания кожАных мешков.
По этому сореву я вел некоторые мастер классы для студентов. Об этом уже было выше.
Кстати вот те советы , которым мы делились с комьюнити:
1. В лучшем паблик ноутбуке для моделей logreg/SGD использовать нормализацию при помощи из sklearn: standart scaling.
Примечание: В данном сореве хорошо заходили классик методы аля tfidf поверх bbpe/bpe словарей от энкодеров.
2. Добавить код с ошибками и опечатками как фичу в бустинг.
Примечание: Тут была гипотеза, что ошибки которые допускает человек и LLM при генерации имеют смещение друг относительно друга.
3. Добавить фичу Vectara hallucinations из huggingface model.
Примечание: Данная модель может оценивать степень галлюцинаций , была гипотеза что между моделями и человеком в скоре vectara есть также сигнал.
4. Добавить расчёт перплексии на моделях: qwen, llama2, falcon, mistral для моделей менее 10b и с уровнем точности fp16/int8. Пример на кекл.
Примечание: Данный пункт похож на предыдущие, тк по перплекссии мы можем оценить степень нормальности/естественности текста.
2-4 пункты это, как вы поняли, фичи в бустинг.
При этом, после беглого просмотра топ решений в discussion , были найдены хинты в тч из списка выше.
Самое важное в данном соревновании, что данные не были даны. Ну как. Были но 3 сэмпла. Все нужно было генерить самим) Поэтому грамотно собранный сет+валидация тоже имхо решали.
А вот к чему приводит собственный сбор , а не датка от оргов , см. ниже.
#чтивонаночь
Model soups: averaging weights of multiple fine-tuned models
improves accuracy without increasing inference time
Забавная работа - давайте помержим линейно модели так чтобы они показывали лучший accuracy. иииииии это работает?
ну по крайней мере на несколько процентов улучшает точность.
папир
блять как же много вопросов и так мало ответов
chegeka wagner
Блоки питания не могут вас слушать, а бля погоди ебанный рот....
Читать полностью…
Разбираемся с cuda kernels без скуфизации.
Если вы когда то начинали разбираться с cuda kernels то знаете - чаще всего речь про голый C, без встройки кода в pytorch ради которого и имеет смысл что то делать(если вы ds)
Вот курс который я сам начал смотреть недавно, понятно и подробно от человека который pytorch на работе пишет.
CUDAMODE">канал
repo
Возможный лик mistral medium
Очень странный лик, не думаю что он верный, лежит тут
https://huggingface.co/miqudev/miqu-1-70b
ну или решили сделать каноничных вайф? 🐾
Читать полностью…
Начну-ка я год с токсичности 😈
Мы с коллегами недавно выпустили новый классификатор токсичности для текстов и аудио - MuTox.
Статья, код, блокнот в колабе с примерами.
Для обучения этого классификатора мы организовали разметку 160К коротких аудио на 21 языке на предмет токсичности (датасет тоже опубликован).
Сам классификатор - маленькая моделька поверх эмбеддингов SONAR, которые недурно представляют тексты на 200 языках в общем семантическом пространстве (также есть энкодеры речи для ~50 языков, и их число будет расти). Поэтому есть основания надеяться, что и для других языков, поддержаных SONAR (список примерно совпадает со списоком FLORES-200 и NLLB), моделька будет показывать какой-то приличный уровень качества.
Меня всегда забавляло что для sd like с клипом можно пропускать слои и брать более глубокие представления для инфернса, но для обучения так лучше не делать.
К слову, кто то занимался ресерчем этой темы?
у админа кончились деньги на h100, я разогнал v100 и теперь две карты всего лишь в 4 раза медленнее чем h100. горужусь собой
если вы думаете что я обсуждаю хуйню вы не шарите(вы правы)
когда нибудь опен аи начнет выпускать SOTA эмбедеры, но не сегодня.
а, gpt3.5 подешевела
блог
Длинный текст про то, как я сходил с ума от отчаяния в последние 8 месяцев и начал учить древнегреческий.
Выше уже мелькали посты про непонятные белые буковки и шутки про ленивых древнегреческих писцов. Настало время собрать всё в цельную картинку и объясниться. Я не могу из-за правил публиковать и в деталях рассказать техническое решение (оно в процессе ревью), но порассказываю всякое другое.
Соревнование называется Vesuvius Challenge. Когда извергался Везувий и уничтожил Помпеи, он уничтожил еще и город Геркуланум, который находился тоже у его подножия. Нас интересует Геркуланум из-за того, что там откопали виллу, в которой была очень богатая библиотека. И в этой библиотеки уже нашли/ожидают найти около 4-5 тысяч свитков. Важное уточнение: до нас из Античности дошло очень небольшое количество текстов: Одиссея, Иллиада, вся философия — лишь небольшой процент от всех существовавших тогда текстов. Представьте, сколько знания и истории хранится в этих тысячах свитков. Но разумеется есть проблема: они выглядят как сгоревшая на углях картошка из-за консервации в лаве и пепле (но именно благодаря этому они и пролежали в земле 2000 лет).
На сцену выходит профессор из Кентуки Dr. Brent Seales, который всю карьеру потратил на пропихивание следующего метода: давайте мы сделаем этим свиткам МРТ, а потом как-то хитро попытаемся восстановить все и прочитать. План — надежный, как швейцарские часы, если бы не одно но: чернила, которые там были, не содержат металла (carbon-based) и на результатах МРТ не видны. Были еще попытки отсканировать один и тот же свиток с разной фазой пучка и вычтя результаты этого получить какие-то буковки. Буковок хватило на статью в Nature, но выглядит это довольно паршиво. Что же с этим делать дальше?
На сцену выходит ex-CEO Github’a Nat Freedman: меценат, организует всякие AI гранты и инвестриует в AI-стартапы. Очень приятный дядечка, который помог организовать это соревнование и завалил деньгами призовой фонд. Вот его частный фонд и вообще он мне пока кажется Илоном Маском здорового человека.
В феврале прошлого года стартует само соревнование с призовым фондом в 1M USD. Сначала на Kaggle, а потом это все продолжается в Дискорде. Есть МРТ-сканы свитков и нужно прочитать оттуда текст. Сам (предложенный организаторами) процесс виртуального разворачивания текста довольно сложный и хитрый, а данных сейчас уже примерно на 7-8Tb, что устанавливает довольно высокий технический барьер для входа.
После Kaggle’овского соревнования все немного затихло до момента, пока в августе два студента (один из штатов, второй из Берлина) независимо друг от друга глазками(!) нашли какие-то непонятные рельефы, которые подтвердили изначальную идею: не смотря на то, что чернилы не видны, бумага осталась деформированной в местах написанных букв. В итоге задачей стало пытаться программно научиться определять вот эти деформированные места (иногда глазу и незаметные) и читать буковки. Где-то в этот момент (начало августа) я и ушел в соревнование с головой.
Очень много бессонных ночей, переживаний и всего остального было на протяжении этих месяцев. Я приходил и надоедал к каждому, кто мог мне хоть как-то помочь советом/идеей (спасибо вам всем, друзья. Без вас я бы не справился). Когда обсуждал новости и произошедшее за день с девушкой, я десятки раз думал про то, что у меня не произошло вообще ничего: я решал свитки. Как и вчера. Как и продолжу завтра.
И не смотря на то, что я не смог выполнить официальные требования для главного приза (4 куска текста по 140 читаемых символов каждый), мне кажется, что никто не смог. Со слов организаторов, всего они получили около дюжины сабмишнов. И вот уже где-то месяц мы с другими участниками ждем результатов анализа папирологов. За эти полгода я познакомился с кучей интересных людей, выиграл промежуточный приз в 5200 USD, начал учить древнегреческий и сильно прокачался в решении таких вот непонятных проблем.
давайте подарим админу тачку с 8h100, я разорюсь скоро такими темпами
Читать полностью…
джун отказавшийся писать на keras стал жертвой скуфской резни
Читать полностью…
Мы релизнули вихрь💨 Нормально.
Проблемы: мы не очень уверены что оно точно аутперформит mistral и saiga mistral. Формально - да, все хорошо.
Цитируя классику
Если вам интересно что мы сделали: хабр
А еще оформили все в красивую HF репу: https://huggingface.co/Vikhrmodels
во всей истории с agi не понятно почему челы из stability не комитяться на AGI от слова совсем
Читать полностью…
Мы открыли точку сбора в Белграде ✌🏻
И там уже собрались наши сторонники! ❤️
Друзья, мы очень ждем подписантов с региональной регистрацией. Обязательно приходите с внутренним российским паспортом.
Поставить подпись в Белграде можно по адресу:
Белград, Маршала Бирјузова 9
Сегодня точка работает до 18:00, в остальные дни — с 14:00 до 22:00.
Список всех заграничных точек сбора мы опубликуем в ближайшее время.
Я банкрот... Денег, хоть удавите, нет... Просто хоть в альфонсы нанимайся.
1886 год, 19 января
26 лет