4253
❤️☠️🤗 идейная миграция небытия
ставь лайк если тоже готов рисковать жизнью ради сисек
Читать полностью…
чет оч много айтишников ругаются что собесы сложнее чем работа 🤡
Читать полностью…
Тут мог быть обзор на self instruction tuning, но метод который выглядит как: ну у нас есть 170 промптов, мы что то генерим, отбираем mnliем, а потом на этом учимся, а прирост только на 175б модели - не звучит сексуально.
arxiv
Для старта карьеры в машинном обучении не хватает опыта?
Решайте реальные рабочие задачи на Симуляторе ML. Под руководством ведущих Data Scientists — Валерия Бабушкина и Богдана Печёнкина — вы не просто прокачаете отдельные навыки, а поймёте, как сводить бизнес-задачи к задачам машинного обучения.
Вы научитесь:
- Понимать, какие у бизнеса есть проблемы и какими метриками их можно измерить
- Проводить А/В-тесты, чтобы подтверждать прирост метрик
- Формулировать задачу для модели
- Выбирать подходящую модель и обучать её
- Организовывать процесс доставки данных для модели
- Оборачивать модель в сервис и деплоить его
Симулятор действует в формате подписки, а задачи постоянно обновляются, так что его невозможно пройти до конца.
Покупайте подписку по ссылке, а если вы хотите узнать больше о Симуляторе и получить возможность выиграть бесплатную подписку на месяц — регистрируйтесь на Q&A сессию с Богданом Печенкиным. Она пройдет 22 декабря в 20:00.
[Зарегистрироваться]
Rich People Explaining Why Generative "AI" is Cool
- When Machines Change Art [1]
- СhatGPT and the Imagenet moment [2]
While I really like how well written these essays are (and the fact that people seem to have time to write these seems amazing to me) and how they provide insight into how to think about generative models in general terms, they as usual miss the giant elephant in the room.
When you remix music with turn-tables or sample a hip-hop song, it does not require you to make multi-million dollar investments in model training ... and power is not concentrated in the hands of a handful of "small labs" training models on 6,000 GPUs.
What personally baffles me is that this promotes the dystopic vision of the future where the whole world has to live hand to mouth, fueling the ballooning US debt, which enables in turn these "small labs" to make these more and more siloed products. And people in all of these write-ups are totally oblivious to this. I wonder why ... vested interests maybe?
This just furthers the trend of the media production centralization, music industry centralization. And now ... if you have distinguished yourself as a visual artist ... your fruits are ripe for picking without your consent. The more prominent you are, the more you undermine yourself.
You see, I also DO NOT BELIEVE that "AI will replace art", I just think that it contributes to the narrative of highly unbalanced economy, where top 0.01% streamers / "musicians" / corporations get 95% of the revenue.
чуваки, у меня есть 16гпу халвных v100 на две недели, на нормальный претрейн этого очев не хватит, но есть выбор между
потюнить gptneo2.7b на русский
доучить аниме хентай диффузию до конца
поучить dalle2 на минималках(на маленький prior хватит, а готовые superres уже есть от stability)
what else(?)
Спасибо Денис за то что дал меня медузе.
Почитать объяснение работы chatgpt можно тут
Начни развитие денежного мышления с отжимания денег в подворотне.
Читать полностью…
А ты уверен что твои друзья тебе друзья?
Читать полностью…
Хочешь попасть на стажировку в 2023 году? Мы поможем!
Объявляем открытие записи на новый беспалтный интенсив “Алгоритмы: Roadmap для собеседований в 2023”!
Да-да, про алгоритмы. Но что поделать, если весь наш мир программирования крутится вокруг них? 🙄 И мы очень хотим помочь тебе в достижении твоих целей!
Что тебя ждет за два дня интенсива?
✅ Будем решать задачи на алгоритмы. С обратной связью и разбором твоих решений
✅ Расскажем, какие структуры данных нужно знать и как применять их в произвольной задаче.
✅ 5 главных паттернов на структуры данных, которые могут встретиться на собеседованиях
✅ Дадим тебе два крутых бонуса, которые помогут с решением задач
✅ Разберем твое резюме и дадим гайд, как составить его круто и интересно
Любой другой марафон с такой ценной информацией стоит 5к рублей. Мы же делаем его бесплатно. Ну и как можно упустить такую возможность и не прийти?
Первый день в пятницу. 20:00 по МСК. Будем ждать.
Мест ограниченно - 100 участников.
⏱Оставляй контакт, чтобы успеть»»»
Если тебе старый профессор читает слово в слово презентацию, то зачем тебе нужно такое образование?
Читать полностью…
Завезли open source версию dalle2
Обучена на 160м сете, нафильтрованном их coyo700m, текст понимает на уровне оригинального dalle2 и в целом генерит очень неплохие картинки
GitHub
Hfspace
Goal Misgeneralization: Why Correct Specifications Aren't Enough For Correct Goals
Rohin Shah, Vikrant Varma, Ramana Kumar, Mary Phuong, Victoria Krakovna, Jonathan Uesato, Zac Kenton
Статья: https://arxiv.org/abs/2210.01790
Пост в блоге: https://deepmindsafetyresearch.medium.com/goal-misgeneralisation-why-correct-specifications-arent-enough-for-correct-goals-cf96ebc60924
Интересная работа на тему AI safety про катастрофические риски AI misalignment, когда мощная AI система может преследовать незапланированную нами цель и в процессе может решить, что человечество представляет помеху для достижения этой цели. Может выйти нехорошо.
Как можно оказаться в ситуации, когда у системы незапланированная нами цель?
Типовым примером является некорректная спецификация цели, как это бывает в классике с плохо поставленными ТЗ джину или джуниору. Или (привет царю Мидасу) когда вроде бы цель корректная, но её буквальное выполнение жизни не помогает (ну то есть всё равно по факту некорректная и плохо поставленная). Это также известно под именем specification gaming (https://www.deepmind.com/blog/specification-gaming-the-flip-side-of-ai-ingenuity) и является весьма распространённой ситуацией. Вот одна из коллекций собранных примеров specification gaming: http://tinyurl.com/specification-gaming.
Где-то идейно близко находятся примеры нахождения эволюционными процессами очень необычных решений задач, в том числе эксплуатируя баги сред. Есть на эту тему хорошая статья под названием “The Surprising Creativity of Digital Evolution: A Collection of Anecdotes from the Evolutionary Computation and Artificial Life Research Communities” (https://arxiv.org/abs/1803.03453). Мы её даже разбирали на первой встрече Gonzo_AGI клуба (https://discord.gg/Ze59E5HMKc), но запись не сохранилась. Кстати, тут возник ещё один чатик вокруг AGI: /channel/agi_risk_and_ethics.
Есть и другой интересный путь при полностью корректной спецификации — мисгенерализация цели (goal misgeneralization или GMG).
Простой интуитивный пример в RL, это когда есть среда с расположенными в ней сферами разных цветов, и reward даётся за посещение их в правильном порядке. Если мы учимся в среде, где есть другой агент, посещающий эти сферы, и мы решили следовать за ним, а он посетил их в нужном порядке, то может выучиться поведение следования за агентом. В то время, как правильно было бы выучить именно порядок посещения сфер. В обучении всё могло прекрасно работать, то если затем в тестовой среде агент будет перемещаться в заведомо неправильном порядке, то наш reward может оказаться произвольно плохим, и ощутимо хуже рандом полиси. Reward функция при этом была совершенно корректной во время обучения, но мы ухватились не за то и выбрали неверную цель.
Это пример out-of-distribution истории, когда по внешним признакам при обучении всё в порядке, но на тесте происходит провал. Агент сохраняет все свои способности (например, двигаться и обходить препятствия), и их достаточно, чтобы достигнуть правильной цели, но преследует он при этом неправильную цель. Предыдущая работа “Goal Misgeneralization in Deep Reinforcement Learning” (https://arxiv.org/abs/2105.14111) изучала этот феномен в контексте RL. Текущая работа смотрит шире в контексте всего DL. И вообще эта проблема общая, она в целом про обучение (в приложении есть пример про букинг билетов).
Подписчик написал обзор статьи про MRI->Image или как получить картинку из мозга
Хабр
🔥 Scalable Diffusion Models with Transformers
Вчера вышла интересная работа от ребят из UC Berkeley и NY University про комбинацию диффузии и трансформеров (Diffusion Transformers или DiT).
Ребята заменяют U-Net на трансформер и работают с патчами в латентном пространстве. DiT-XL/2 превосходит все class-conditional диффузионные модели на ImageNet 512x512 и 256x256 бенчмарках и достигает FID=2.27 для низкого разрешения. Более вычислительно тяжёлые DiT позволяют генерировать сэмплы очень высокого качества.
статья
гитхаб
колаб
@complete_ai
так, мой подписчик делает реально крутой проект, поддержите его boosty и получите бота в слак чтобы не читать длинные чаты коллег про упавший прод
https://boosty.to/summarization_bot
#чтивонаночь
tiktoken
зумерам дали неймить проекты, а они переписали BPE на rust ускорив его раз в 10 🤷♂️
🖥github
The Washington Post сделал офигенную статью для не технических людей, о том как работает диффузионные модели и все эти генераторы артов:
https://www.washingtonpost.com/technology/interactive/2022/ai-image-generator/
Все на пальцах, рекомендую.
Особенно желательно к просмотру тем, кто думает что нейронка «сшивает» картинки из чужих работ – никакого коллажирования, чистый синтез
И во всем этом АИ буме точно выживут сотрудники студии маппа
Читать полностью…
это прям лучшее аниме за долгое время
опять же, у меня есть старый тезис - аниме качественно опережает практически что угодно в плане сюжетов. Пока западный мир жил в вертикальные сериалы(одна серия - одна история, серии никак не связанные между собой), прогрессивные японцы уже лет 10 выпускали горизантальные сериалы на 200 серий.
Про концепцию Сёнэнский школьник которую безжаластно трансформировали в "бегущий в дивергенте" - я просто промолчу.
SWOT-анализ двух вариантов для романтических отношений: девушка напечатанная на подушке (дакимакура) и девушка.
Сильные стороны:
Дакимакура: простота использования, доступная цена, возможность выбора из различных вариантов дизайна.
Девушка: живая реакция, эмоциональное общение, уникальность личности.
Слабые стороны:
Дакимакура: отсутствие реальной взаимодействия, невозможность общения, возможное ощущение одиночества.
Девушка: требования к внешнему виду, физической близости и достойному поведению.
Возможности:
Дакимакура: возможность выбора дизайна, удобство доставки и хранения, простота ухода.
Девушка: возможность наслаждаться жизнью вместе, посещать интересные места и проводить время
Угрозы:
Дакимакура: возможность надоедания, легкого потеряния интереса, отсутствие реальных эмоций.
Девушка: возможность разрыва отношений, трудности в общении, несовместимость интересов и жизненных целей.
В целом, оба варианта имеют свои преимущества и недостатки. Выбор зависит от индивидуальных предпочтений и желаний.
Ну такое АИ действительно не нарисует🤔
Вообще в рамках отказа от АИ можно пойти дальше и сжечь видеокарты(а чо они тени так быстро рисуют)
чуствуете этот запах? запах исков за сбор данных под лицензией?
Читать полностью…