4253
❤️☠️🤗 идейная миграция небытия
По запросу ех Яндекса fab1an/glifs/clxtc53mi0000ghv10g6irjqj">нарисовали
Присылайте своих персонажей, это очень весело
Ищу алко пати на ICML + вписку в вене + сходка подписчиков
с меня мерч + анекдоты + пиво
@transformerslovedeatch
AI’s $600B Question
Если вы знакомы со мной достаточно давно - вы знаете мою позицию про GENAI и пузырь который раздувается.
Собственно ребята из sequoia capital тоже имеют глаза и калькулятор. И прямо сейчас есть проблема - в сумме проинвестированно 600B usd, а заработок около 100 + нет четкого понимания а как вообще заработать сильно больше, точек где текущее поколение genai полезно не очень много по прежнему.
Кину кости и скажу следующее: за этот год вы увидим лажовый релиз одного из крупных игроков(модели будут значительно хуже прошлой версии) и схлопнется средне крупная AI контора(leonardo, runway, pika ) на ваш вкус
article
бэнгер
fab1an/glifs/clxtc53mi0000ghv10g6irjqj" rel="nofollow">https://glif.app/@fab1an/glifs/clxtc53mi0000ghv10g6irjqj
Таня Бабичева - топ препод по олимпиадной математике, проект должен получится очень крутой.
Читать полностью…
Недавно BM25, алгоритм поиска из 80-х, победил нейросетевой поиск на LLM.
Мне стало очень интересно разобраться, как это работает, и я написал статью на Хабр, где этот алгоритм реализуется с нуля.
Материал подойдет начинающим: ничего кроме знания Python не нужно.
https://habr.com/ru/articles/823568/
Просьба читать, лайкать и кричать об этой статье на улицах.
Я пожалуй не разделю общих восторгов, на моих задачах врет и очень спецефичным способом, не дебажьте что то кроме рисунков единорога на llm
если интересно - вот дока с тем какие параметры есть https://huggingface.co/docs/accelerate/usage_guides/fsdp
я уже заказал на ebay nokia n95 чтобы запускать на ней blender(и llama 1b 2bit).
код
рассказ на испанском
#чтивонаночь
Florence-2: Advancing a Unified Representation for a Variety of Vision Tasks
Seq2seq трансформер, не очень большой(770m), на вход эмбединг картинки и таска, на выход Сaptioning, panoptic, bbox и еще несколько задач. Сравниваются с маленькими бэкбонами, конечно всех бьют. Если у вас что то больше джетсона на инференс - берите llava. Если нет - берите SAM
paper
hf
Ищу знакомых из Maersk Growth, писать в @alexwortega, речь идет о 8значных кодах
Читать полностью…
inspired by /channel/russiansinlnd/35133
Читать полностью…
на половину новостей про ai можно добавлять лицо этого господина и их качество выратсет
Я ДАМ МИЛЛИОН ДОЛЛАРОВ ТОМУ КТО РЕШИТ "задача которая монтекарлится"
сегодня у нас статьи без метрик, а завтра что? ds_ы без чулочков?
https://www.anthropic.com/research/reward-tampering
В целом в текущем состоянии harness alignment ощутимо просаживает качество моделей.
Читать полностью…
Nvidia выложили новую LLM модель с открытой лицензией - Nemotron-4 340B. И ее масштабы прям поражают.
Это модель, у которой минимальные требования это две A100 и 1.3TB памяти. По тестам она близка к GPT4o, а местами и обгоняет её. Но сейчас постоянно выходят большие модели, моё внимание привлек вот этот пункт в лицензии (выделение моё)
Этика ИИ. NVIDIA стремится к безопасности, доверию и прозрачности в разработке ИИ. NVIDIA призывает вас (a) убедиться, что продукт или услуга, которые вы разрабатываете, используете, предлагаете в качестве услуги или распространяете, соответствуют юридическим и этическим требованиям соответствующей отрасли или сферы применения, (b) принять разумные меры для устранения непреднамеренной предвзятости и смягчения вреда для других, включая недопредставленные или уязвимые группы, и (c) информировать пользователей о характере и ограничениях продукта или услуги. NVIDIA категорически запрещает использовать свои продукты или услуги для любых целей, нарушающих действующее законодательство, включая, помимо прочего, (a) незаконное наблюдение, (b) незаконный сбор или обработку биометрической информации без согласия субъекта, если это требуется в соответствии с действующим законодательством, или (c) незаконное преследование, злоупотребление, угрозы или запугивание отдельных лиц или групп лиц, а также намеренное введение в заблуждение или обман других лиц.
https://blogs.nvidia.com/blog/nemotron-4-synthetic-data-generation-llm-training/
Слава богу теперь Ai будет генерировать мемы, а я найду нормальную работу вместо админства
Glif.app лучшее что случилось с gen Ai мемами
#чтивонаночь
Discovering Preference Optimization Algorithms
with and for Large Language Models
В чем идея - давайте возьмем LLM и будем подбирать с помощью LLM разные loss функции через iterative prompting. В целом очень логично и просто.
ТК подбирают лосс, а не данные - схема работает для разных архитектур и данных.
Прироста относительно human baseline особо нет, да и строго говоря loss_ы не выглядят очень уж здравыми
Пример:
σ(Var[ρ/τ ]) · fdpo(βρ/0.9) + (1 − σ(Var[ρ/τ ])) · fexp(βρ · 0.9)
log(1 + exp(−βρ))
Сотрудники уволенные посредствам суецида будут лишены квартальных премий
Читать полностью…
Школа Олимпиадной Математики "Точка Торричелли" приглашает всех желающих на летний олимпиадный интенсив "Welcome to the AMC!"
Наша школа олимпиадной математики называется «Точка Торричелли» по одной важной причине: мы стремимся к оптимальности и эффективности в обучении. В геометрии точка Торричелли известна тем, что она минимизирует сумму расстояний от данной точки до вершин треугольника. Аналогично, наша школа фокусируется на минимизации усилий и времени, необходимых для достижения высоких результатов в олимпиадной математике.
Что необходимо для участия в нашей смене:
- хорошее знание стандартной школьной программы соответствующего класса
- любознательность и желание решать нестандартные задачи, увидеть красоту математики
Что мы предлагаем?
Подготовка к AMC 10&12, но будет полезно всем, кто пока не очень опытен в олимпиадной математике (так как программа подбирается индивидуально, мы можем обсудить любой запрос ;) )
Proof-based подход к математике
Объясним на русском языке, продублируем задачи и конспекты на английском.
Команда опытных преподавателей и методистов
Сертификат по окончании смены
Индивидуальная программа для каждого участника
До 30 часов общения с преподавателем один на один
Интенсивное погружение в олимпиадную математику
Тренировочная устная олимпиада
Более подробную информацию вы можете узнать на нашем сайте point120.school :)
Claude 3.5
200k токенов, картинки и видео можно сувать, по бенчам лучше 4o
Open Ai is nothing without people
Акция не распространяется на бывших сотрудников, основателей и chief scientist сотрудников
Илья суцкевер делает свою лабу safety agi.
https://ssi.inc/
1X World Model Challenge https://github.com/1x-technologies/1xgpt
Читать полностью…
Я тут на досуге занимаюсь стакингом SD3 по ночам, трансформер как никак. Обнаружилось любопытное - она не особо то линейная, те при замене блока 2 на блок3 модель разламывает и ощутимо
cлева было справо стало, а я только один блок заменил. хз, эскспы добежали, ничего хорошего. Мб на выходных что то еще поставлю
Я ДАМ 10 МИЛЛИОНОВ ДОЛЛАРОВ ТОМУ КТО ПЕРВЫЙ РЕШИТ ЭТУ ЗАДАЧУ
Читать полностью…
Лол, оказывается, SD3 - Medium была ошибкой.
Чувак, который разработал Comfy UI, работал в Stability и недавно уволился оттуда, рассказав интересную инфу про SD3.
Сам мистер Комфи работал над 4B версией, но поделился инфой.
Вот что теперь стало известно:
- Нет никаких censor layers. Из датасета просто реально вырезали все нюдсы, и в довесок разрабы что-то там подшаманили с весами (про последнее нет особо подробностей).
- "Safety training" — так теперь называется кастрация датасета, которая факапит анатомию людей и не дает генерить NSFW.
- Более того, уже в самом начале разрабы напортачили с претрейном. Так что 2B вообще не собирались релизить.
- Причиной релиза стало "давление сверху". То есть, в целом мы могли бы получить 4B или 8B вместо всратой 2B Medium модели.
- Пока подтверждения о том, что выложат VAE, нет.
- Сам Комфи просто хотел сделать лучшую модельку для домашних ГПУ, но в Stability в последнее время штормит.
В итоге мы имеем мертворожденный релиз, который был просто одним из первоначальных экспериментом ресерчеров (которые уже уволились), выложенный просто чтобы успокоить кого? Инвесторов?
Очевидно, что Stability, проходят через свои нелучшие времена, но я искренне надеюсь, что компания не развалится через год и продолжит радовать нас open source модельками. Хотя у меня большие сомнения по этому поводу, ведь весь ресерч костяк (мои бывшие коллеги по PhD в Хайдельберге) уже уволился.
Тред
@ai_newz
Accessing GPT-4 level Mathematical Olympiad Solutions via Monte Carlo Tree Self-refine with LLaMa-3 8B
В чем идея - Давайте использовать дерево поиска монтекарло, в качестве 0 листа у нас будет просто хоть какой то ответ, на итерации оценки использует буквально LLM c промптом вида
Analyze this Answer Strictly and Critic, point out every flaw for ervery possible imperfect to minus every possible score! You need to be very harsh and mean in calculating grades, and never give full marks to ensure that the marks are authoritative. \nOutput a score between [-100,+100], ig. from -100 to +100.
Мерж sdxl и sd3.
Я не знаю что это такое и как это возможно, почитаю позже что автор наворотил.
(Клипы и вае от сд3, в остальном обычный мерж)
Model
Пока считается AWQ и GPTQ, задеплоил новый Вихрь в бота (@saiga_igusev_bot).
Можно тыкать после /setmodel. Я потыкал, вполне неплохо.
На этот раз деплой без косяков, я теперь мастер bos токенов.