4253
❤️☠️🤗 идейная миграция небытия
nvidia зеленые
майкрасофт зеленые и покупают карты nvidia
рептилии зеленые и теплолюбивые
tdp карт нвидия приближается к 1квт
CONFIRMED - NVIDIA РЕПТИЛОИДЫ
Пару дней назад я получил сообщение от профессора МИРЭА, доктора технических наук А.М.Романова. В нем он поднимает вопрос об этических границах при цитировании научных статей, который представляется довольно важным. С разрешения Алексея Михайловича привожу ниже сокращенный вариант его письма.
Сегодня мне случайно попалась статья, которая рекламировала новый сервис SciCite (https://habr.com/ru/articles/784242/ ). Прочитав ее, а также ознакомившись с их telegram-каналом, я, мягко говоря, ужаснулся.
По сути это автоматизированный сервис для создания ферм цитирования. Он позволяет одним ученым вывешивать объявления о тех работах, которые они хотят, чтобы другие процитировали, а другие получают виртуальную валюту за то, что цитируют эти "правильные" работы. И эту виртуальную валюту они могут тратить на то, чтобы просить цитировать нужные им работы. Более того, виртуальную валюту можно покупать, тем самым стимулируя цитировать свою работу за деньги.
По сути все это однозначно квалифицируется как манипулирование цитированием, которое прямо противоречит правилам COPE (Комитета по публикационной этике). Более того, сами авторы это прекрасно понимают и даже не скрывают.
В документах сервиса SciCite явно говорится, что взаимоцитирование молодыми учеными других молодых ученых не потому, что их работа достойна цитирования, а просто для того, чтобы разогнать друг другу показатели и получить грант - это хорошо, это называется ими «взаимодействие молодых ученых».
Можно было бы просто не обращать внимания на этот сервис, но он, очевидно, делает ставку на молодых ученых и аспирантов, рядом с которым может не оказаться наставника, который бы объяснил им, что так делать нельзя.
Что интересно, авторы проекта уже несколько преуспели в продвижении своих идей. Проект SciCite является победителем Всероссийского гранта Росмолодёжи, был отобран для участия в конкурсе «Лучший молодежный стартап союзного государства», презентовался в Сириусе на недавнем III Конгрессе молодых ученых. Я с трудом представляю, как проект по накручиванию цитирований может получить такую поддержку.
С нг!
Чтобы торч всегда стоял, а трансформер всегда влезал!
Неверующие в заговор кожаных курток такие типа: наверное деньги с моей карточки спиздили рептилоиды
Читать полностью…
#grokaem_собес #grokaem_nlp
Я собрала 100 вопросов по NLP, которые мне задавали или задавала я. Надеюсь, что они будут полезны, чтобы освежить в памяти важные моменты.
*Notion будет пополняться*
Notion русская версия
В составлении вопросов помогали:
ds girl
канал Плюшевый Питон
Alexander Babiy
канал что-то на DL-ском
канал Dealer.AI
канал алиса олеговна
Часть вопросов:
8. Объясните разницу между косинусной близостью и косинусным расстоянием. Какое из этих значений может быть негативным? Как вы будете их использовать?
21. Что такое negative sampling и зачем он нужен?
30. Что такое затухающие градиенты для RNN?
41. Что используется в трансформере layer norm или batch norm и почему?
55. Объясните подходы для позициональных эмбеддингов и их плюсы и минусы.
75. В чем отличие оптимизатора Adam от AdamW?
86. Объясните концепции metric learning. Какие подходы вам известны?
88. Объясните виды sampling при генерации? top-k, top-p, nucleus sampling?
92. В чем отличие prefix tuning от p-tuning и от prompt tuning?
98. Объясните принцип работы KV cache, Grouped-Query Attention и MultiQuery Attention.
Хз, меня Саша попросил я нихуя не понял прикола.
Регулярно спрашиваю у Саши: а как ты сделал Х, почему так.
А ещё он торчит лекцию для better data community, давайте намекнем ему что стоит записать.
Рофловая соревка на 50k usd - наиболее быстрый алгоритм сборки кубика рубика
kaggle
Помните канал Ai abuzzer? Как то раз он не поделился дошироком с админом и где теперь этот ваш Ai abuzzer?
По мотивам
У меня есть 2 новости:
1. Я наконец дописала статью про отбор в DeepMind
2. Как раз вчера открылся набор на следующий год, читать подробности и подаваться тут, дедлайн 30 сентября
P.S. А если вам хочется на стажировку в Bloomberg, то податься уже можно тут
На работу я выхожу 15 января, а один из двух парттаймов завершился. Это значит, освободилось полдня на то, чтобы заниматься оверинженирингом петпроджектов. А именно — новую версию @ffmemesbot — и решил я ее делать опенсорсно. Так что подписывайтесь, ставьте звезды ⭐️
🔗 github.com/ffmemes/ff-backend
На днях мне написало порядка 10 людей и общими усилиями мы набросали в Miro как-то архитектуру бота. Решили начать разработку с сервиса storage, который будет собирать, хранить и фильтровать мемы, чтобы потом к нему прикрутить реком систему и “фронтенд” в виде тг бота.
За пару дней завел FastAPI и прикрутил Prefect Cloud с воркерами, воруя древние сниппеты кода у своего же стартапа. Будем стараться делать монолит, только ML штучки, возможно, в отдельные микросервисы уйдут, если разберусь с MLFlow.
Кстати, если вы знаете хорошие OCR либы / сервисы с щедрым free tier - поделитесь в комментах, плиз. Мне нужно текст с мемов на произвольном языке доставать, но почти всегда есть догадки, какой язык стоит детектировать.
Начался новый, 2024 год.
«Понимаете, у нас традиция, 31 декабря каждый год мы с друзьями …», проверяем арифметику очередного номера года. Что же можно сказать про число 2024?
Самое, наверное, интересное, это то, что 2024 — это 22-е тетраэдральное число: геометрически такие числа можно представить как количества шариков, образующих тетраэдр с n слоями. На картинке из википедии представлено пятое тетраэдральное число: https://upload.wikimedia.org/wikipedia/commons/8/87/Pyramid_of_35_spheres_animation_original.gif?uselang=ru . По самому построению, тетраэдральные числа равны сумме первых треугольных чисел, ну а формула для тетраэдральных чисел — n(n+1)(n+2)/6.
Предыдущие года, которые были тетраэдральными, — это 1540 и 1771, а следующие будут тоже не скоро — 2300 и 2600.
Раз уж заговорили про так называемые фигурные числа, то упомянем, что 2024 — это и восьмое додекаэдральное число, изучение которых начал Рене Декарт.
Самое время напомнить про On-line Encyclopedia of Integer Sequences https://oeis.org/ , которая в 2024 году празднует юбилей — она была основана Neil J. A. Sloane в 1964 году. Конечно, чаще всего её используют для проверки, в каких задачах уже возникала та или иная последовательность целых чисел (и из этого иногда рождаются интересные наблюдения и гипотезы!). Но можно использовать энциклопедию и для изучения конкретного числа, например, https://oeis.org/search?q=2024&go=Search .
Напомним также, что на каникулы объявлен конкурс на самый интересный и самый математический календарь-головоломку https://vk.com/etudesru?w=wall-192547232_3349 .
И ещё одна «напоминалка». Пару лет назад издательство МЦНМО выпустило книгу А.Н. Квашенко «Теоретическая драконистика: могла ли эволюция создать дракона» https://biblio.mccme.ru/node/133198 — логический подход к построению курса биологии.
батчишь все что батчиться, fusишь все что фузиться
а вы точно ml system design ведете?
Чат, кто то занимался model merging?(LM, VLM) есть нормальные работы?
кроме этой коллекции
#чтивонаночь
Task Contamination: Language Models May Not Be Few-Shot Anymore
Если вы собираете бенчи то обычно вы стартуете с парсинга какого то умного сайта.
Если вы собираете хороший претрен, то вы начинаете с парсинга какого то умного сайта.
И что может пойти не так?
Собственно в чем идея: LLM хорошо генерилизованы только на данных которые они видели в претрене, но даже сдвиг временной шкалы на том же наборе данных(перевод, классификация новостей и тд) убивает качество в разы (!)
Слышите треск? Это у меня ебало треснуло.
Папир
Го буставать /channel/epsiloncorrect?boost Антона, он крутой
Читать полностью…
Дата пайпалайн любого ds: да не течёт у меня память, точно говорю
Meanwhile pipeline:
Способ на сообщение выше лучше, но дело ваше.
Читать полностью…
Приходит мужик к врачу:
-Доктор! Удалите мне пол мозга!
-Но... Это же невозможно! И очень опасно! Да и вообще, зачем вам это?
-Доктор, умоляю! Я так больше не могу! Я родился вундеркиндом, я закончил школу за 3 года, у меня нет друзей, нет девушки... Я постоянно решаю задачи, уравнения, доказываю теоремы... Я не могу, помогите мне! Удалите мне пол мозга!
Врач собрал консилиум, мужика обследовали - да, действительно, активность мозга такая, что он постоянно обрабатывает какую-то информацию, никогда не отдыхает. А если удалить половину мозга, то как раз оставшейся половины хватит на работу на уровне обычного человека. Провели операцию, удалили половину.
Мужик приходит через полгода:
-Доктор! Удалите мне ещё половину мозга!
-Но как?! Мы же вам уже удалили половину!
-Не помогло! Я теперь пишу стихи, поэмы, повести и романы! Я сочиняю музыку, пишу картины, ваяю статуи! Я так не могу, помогите! Удалите мне пол мозга!
Ну, делать нечего - удалили ещё половину от того что было.
Проходит опять полгода он приходит:
-Доктор, я так не могу! Помогите! Я теперь открываю новые химические элементы, новые законы физики, новые семейства растений в ботанике! Удалите мне весь мозг, пожалуйста!! Иначе я сойду с ума!
-Ну, я вас понимаю, конечно - ваша ситуация очень тяжелая.. Но я должен вас предупредить: если мы удалим вам весь оставшийся мозг вы станете LLM engineer...
Ищу ТТС исследователя
Нужно уметь:
- питонить 🐍
- пайторчить
- МЛить
Желательно уметь
- синтезировать речь
- распознавать речь
- работать с аудио
Условия:
- удалёнка
- маленькая зарплата
- 2х H100
Оформляю очень быстро, если решите задачку на leetcode и покажете что знаете как работать с обработкой сигнала, начнём работать ASAP.
Если будете хорошо работать - как премию куплю 4090 прямо вам домой.
Писать мне на @frappuccino_o
NCCL_IB_GID_INDEX=3
NCCL_SOCKET_IFNAME=1700000
CUDA_DEVICE_ORDER=PCI_BUS_ID
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7,8
Skill check failed
Человек, перевернувший Рим
Гай Юлий Цезарь — пожалуй, самый известный римлянин в истории. В ходе реконструкции внешности это было особенно заметно, ведь его бюстов великое множество и... Каждый будто изображает разного человека.
А всё дело в том, что большая часть сохранившихся скульптур является посмертной. Авторы достаточно вольно относились ко внешности диктатора, меняя её на основе собственных представлений. А может и фантазий, кто знает.
В любом случае, за основу мы взяли бюст Цезаря из Ватиканского музея, один из двух признанных портретов правителя.
Нейрокузня | DreamForge
Я всегда любил маленькие умные модели. Не очень сложно на большом масштабе получить хорошие результаты, а вот на маленьком - сложно.
Чуваки сделали 1.3b(mini llama based) в стиле llava модель, которая почти не уступает (3 цифра после запятой) 7b llava.
Hf
Я с Олей познакомился много лет назад в те времена когда из России брали на стажировки в фангу, сейчас конечно много чего изменилось, но советы по подготовке по прежнему актуальны, спойлер: можно притвориться проживающим в Казахстане/армении/.... и вы станете ультра хайп стажёром в топовой конторе, а там глядишь и employe станешь🤤
И даже если вы лох(как я) то этот опыт будет супер полезен, если что - всегда можно пойти на синиора в мясо деплоить кредитный скоринг за много денег
Плюсы:
- Оригинальный докерфайл.
- Все зависимости из requirements на месте.
- Память не течет.
- DDP запускается.
Минусы:
- Результаты не воспроизвелись (оно и ясно, код написан на китайском форке лайтнинга).
- Комментарии на английском, сын говорит только на русском 💪
Комментарии:
Запускал 7 летний сын, провозился несколько дней. Потребовалась моя помощь. Второй раз запускать не буду.
AutoNumerics-Zero: Automated Discovery of State-of-the-Art Mathematical Functions [2023] - ещё одно AI-открытие уходящего года
Продолжаем тему оптимизации программ. Почти одновременно с FunSearch вышла другая работа от Deepmind, правда, не применяющая LLM, и поэтому попавшая только в Just Links. Идеологически она похожа на AutoML-Zero, про который я уже тоже писал пост.
Итак, мы умеем легко и быстро производить на компьютере 4 базовые арифметические операции. Однако, "трансцендентные" функции, например, экспоненту, нельзя легко посчитать. Компьютер их считает приближённо, например, с помощью ряда Тейлора. При этом, нам достаточно уметь приближать её на промежутке [0;1], т.к. в целую степень мы умеем легко возводить и таким образом получить любую степень.
Итак, задача - найти как можно более короткую / быструю программу, вычисляющую экспоненту на отрезке с заданной точностью. Авторы представляют программу в виде графа вычислений (см. картинку). Вершинами является вход x, выход f, константы и математические операции, в которые по направленным рёбрам попадают входные данные.
Генетический алгоритм поддерживает популяцию графов, случайно добавляет мутации в них - добавление вершин, удаление, замена ребра и т.д. Оптимизируется одновременно точность и скорость (кол-во операций или время исполнения). Так как у нас 2 важных критерия отбора, используется специальный алгоритм сортировки популяции, выбирающий программы, сбалансированные по-разному с точки зрения критериев.
В результате, алгоритм не оставляет камня на камне от бейзлайнов, созданных приматами. Количество операций сокращается примерно в 2 раза, но это не самое крутое. Алгоритм подбирает функции так, чтобы компилятор оптимизировал их наиболее выгодно, в итоге скорость возрастает в >3 раза.
И вновь кожанные мешки показывают свою несостоятельность в сложных многослойных задачах, которые нельзя разбить на изолированные кусочки. End-to-end алгоритмическая оптимизация не оставляет нам никаких шансов.
@knowledge_accumulator
