lovedeathtransformers | Unsorted

Telegram-канал lovedeathtransformers - Love. Death. Transformers.

4253

❤️☠️🤗 идейная миграция небытия

Subscribe to a channel

Love. Death. Transformers.

Админы нишевых микро-каналов на узкую аудиторию ценителей

Читать полностью…

Love. Death. Transformers.

Привет!

Скоро у админа др, если вам очень хочется поддержать, то можно задонатить сюда:

Мир: 2200700612326933
Крипта: TXvLcewvNH415Pqta3zP6VzEEn2dtdy859 usdt trc20

Читать полностью…

Love. Death. Transformers.

merging models is all you need

Читать полностью…

Love. Death. Transformers.

что общего между терористом смертником и fsdp?

Читать полностью…

Love. Death. Transformers.

Начался новый, 2024 год.

«Понимаете, у нас традиция, 31 декабря каждый год мы с друзьями …», проверяем арифметику очередного номера года. Что же можно сказать про число 2024?

Самое, наверное, интересное, это то, что 2024 — это 22-е тетраэдральное число: геометрически такие числа можно представить как количества шариков, образующих тетраэдр с n слоями. На картинке из википедии представлено пятое тетраэдральное число: https://upload.wikimedia.org/wikipedia/commons/8/87/Pyramid_of_35_spheres_animation_original.gif?uselang=ru . По самому построению, тетраэдральные числа равны сумме первых треугольных чисел, ну а формула для тетраэдральных чисел — n(n+1)(n+2)/6.
Предыдущие года, которые были тетраэдральными, — это 1540 и 1771, а следующие будут тоже не скоро — 2300 и 2600.

Раз уж заговорили про так называемые фигурные числа, то упомянем, что 2024 — это и восьмое додекаэдральное число, изучение которых начал Рене Декарт.

Самое время напомнить про On-line Encyclopedia of Integer Sequences https://oeis.org/ , которая в 2024 году празднует юбилей — она была основана Neil J. A. Sloane в 1964 году. Конечно, чаще всего её используют для проверки, в каких задачах уже возникала та или иная последовательность целых чисел (и из этого иногда рождаются интересные наблюдения и гипотезы!). Но можно использовать энциклопедию и для изучения конкретного числа, например, https://oeis.org/search?q=2024&go=Search .

Напомним также, что на каникулы объявлен конкурс на самый интересный и самый математический календарь-головоломку https://vk.com/etudesru?w=wall-192547232_3349 .

И ещё одна «напоминалка». Пару лет назад издательство МЦНМО выпустило книгу А.Н. Квашенко «Теоретическая драконистика: могла ли эволюция создать дракона» https://biblio.mccme.ru/node/133198 — логический подход к построению курса биологии.

Читать полностью…

Love. Death. Transformers.

батчишь все что батчиться, fusишь все что фузиться

а вы точно ml system design ведете?

Читать полностью…

Love. Death. Transformers.

Чат, кто то занимался model merging?(LM, VLM) есть нормальные работы?

кроме этой коллекции

Читать полностью…

Love. Death. Transformers.

#чтивонаночь

Task Contamination: Language Models May Not Be Few-Shot Anymore

Ес
ли вы собираете бенчи то обычно вы стартуете с парсинга какого то умного сайта.

Если вы собираете хороший претрен, то вы начинаете с парсинга какого то умного сайта.
И что может пойти не так?

Собственно в чем идея: LLM хорошо генерилизованы только на данных которые они видели в претрене, но даже сдвиг временной шкалы на том же наборе данных(перевод, классификация новостей и тд) убивает качество в разы (!)

Слышите треск? Это у меня ебало треснуло.



Папир

Читать полностью…

Love. Death. Transformers.

Го буставать /channel/epsiloncorrect?boost Антона, он крутой

Читать полностью…

Love. Death. Transformers.

Дата пайпалайн любого ds: да не течёт у меня память, точно говорю

Meanwhile pipeline:

Читать полностью…

Love. Death. Transformers.

Способ на сообщение выше лучше, но дело ваше.

Читать полностью…

Love. Death. Transformers.

Приходит мужик к врачу:
-Доктор! Удалите мне пол мозга!
-Но... Это же невозможно! И очень опасно! Да и вообще, зачем вам это?
-Доктор, умоляю! Я так больше не могу! Я родился вундеркиндом, я закончил школу за 3 года, у меня нет друзей, нет девушки... Я постоянно решаю задачи, уравнения, доказываю теоремы... Я не могу, помогите мне! Удалите мне пол мозга!

Врач собрал консилиум, мужика обследовали - да, действительно, активность мозга такая, что он постоянно обрабатывает какую-то информацию, никогда не отдыхает. А если удалить половину мозга, то как раз оставшейся половины хватит на работу на уровне обычного человека. Провели операцию, удалили половину.

Мужик приходит через полгода:
-Доктор! Удалите мне ещё половину мозга!
-Но как?! Мы же вам уже удалили половину!
-Не помогло! Я теперь пишу стихи, поэмы, повести и романы! Я сочиняю музыку, пишу картины, ваяю статуи! Я так не могу, помогите! Удалите мне пол мозга!
Ну, делать нечего - удалили ещё половину от того что было.

Проходит опять полгода он приходит:
-Доктор, я так не могу! Помогите! Я теперь открываю новые химические элементы, новые законы физики, новые семейства растений в ботанике! Удалите мне весь мозг, пожалуйста!! Иначе я сойду с ума!
-Ну, я вас понимаю, конечно - ваша ситуация очень тяжелая.. Но я должен вас предупредить: если мы удалим вам весь оставшийся мозг вы станете LLM engineer...

Читать полностью…

Love. Death. Transformers.

Ищу ТТС исследователя

Нужно уметь:
- питонить 🐍
- пайторчить
- МЛить

Желательно уметь
- синтезировать речь
- распознавать речь
- работать с аудио

Условия:
- удалёнка
- маленькая зарплата
- 2х H100

Оформляю очень быстро, если решите задачку на leetcode и покажете что знаете как работать с обработкой сигнала, начнём работать ASAP.

Если будете хорошо работать - как премию куплю 4090 прямо вам домой.

Писать мне на @frappuccino_o

Читать полностью…

Love. Death. Transformers.

NCCL_IB_GID_INDEX=3
NCCL_SOCKET_IFNAME=1700000
CUDA_DEVICE_ORDER=PCI_BUS_ID
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7,8


Skill check failed

Читать полностью…

Love. Death. Transformers.

Человек, перевернувший Рим

Гай Юлий Цезарь — пожалуй, самый известный римлянин в истории. В ходе реконструкции внешности это было особенно заметно, ведь его бюстов великое множество и... Каждый будто изображает разного человека.

А всё дело в том, что большая часть сохранившихся скульптур является посмертной. Авторы достаточно вольно относились ко внешности диктатора, меняя её на основе собственных представлений. А может и фантазий, кто знает.

В любом случае, за основу мы взяли бюст Цезаря из Ватиканского музея, один из двух признанных портретов правителя.

Нейрокузня | DreamForge

Читать полностью…

Love. Death. Transformers.

капчи openai такие типа:

Читать полностью…

Love. Death. Transformers.

AI Engineers be like:

Читать полностью…

Love. Death. Transformers.

Steam Deck- лучшая игровая консоль для тех кто не играет

Контекст: Я геймер очень сомнительной категории. В школе набил сотни часов в Arma2-3, потом в totalwars, а потом начал пытаться олимпиадить и играть перестал. На первых курсах вуза я наиграл под тысячу часов в KSP, потом написал курсовую по автоматической посадке ракет в KSP и .... забил прикручивать LM для сборки ракет)))

Я покупал самый простой steamdeck в декабре 22, cразу же доставил SD карту на 512 и ssd на 256. Покупал я его под Atomic Heart и MudRunner(лучший симулятор мешения глины после DL) - и они оба игрались гениально.

Я гонял с SD в путешествие - отличный формат для самолетов-пересадок what ever. Одна кнопка и все полетело с того же момента, но запасной powerbank стоит таскать с собой. А лучше Розетку!

Еще он довольно увеситый и обьемный(особенно с ориг чехлом), поэтому я гоняю без чехла(царапин на экране до сих пор нет) и с большим рюкзаком.

А еще почти все игры доступны на high настройках(благо экран маленький) и при желании можно шарить на большие экраны(steam link не лагает с 5hz wifi и можно втыкать usbC->hdmi+usbc)

На данный момент неудобно играть только в шутеры(по крайней мере мне), но думаю это решается через мышка+клава

Читать полностью…

Love. Death. Transformers.

Is deep learning hitting a wall?

Читать полностью…

Love. Death. Transformers.

прогулял пары
@
ты их должен был вести

Читать полностью…

Love. Death. Transformers.

nvidia зеленые
майкрасофт зеленые и покупают карты nvidia
рептилии зеленые и теплолюбивые
tdp карт нвидия приближается к 1квт

CONFIRMED - NVIDIA РЕПТИЛОИДЫ

Читать полностью…

Love. Death. Transformers.

Пару дней назад я получил сообщение от профессора МИРЭА, доктора технических наук А.М.Романова. В нем он поднимает вопрос об этических границах при цитировании научных статей, который представляется довольно важным. С разрешения Алексея Михайловича привожу ниже сокращенный вариант его письма.

Сегодня мне случайно попалась статья, которая рекламировала новый сервис SciCite (https://habr.com/ru/articles/784242/ ). Прочитав ее, а также ознакомившись с их telegram-каналом, я, мягко говоря, ужаснулся.

По сути это автоматизированный сервис для создания ферм цитирования. Он позволяет одним ученым вывешивать объявления о тех работах, которые они хотят, чтобы другие процитировали, а другие получают виртуальную валюту за то, что цитируют эти "правильные" работы. И эту виртуальную валюту они могут тратить на то, чтобы просить цитировать нужные им работы. Более того, виртуальную валюту можно покупать, тем самым стимулируя цитировать свою работу за деньги.

По сути все это однозначно квалифицируется как манипулирование цитированием, которое прямо противоречит правилам COPE (Комитета по публикационной этике). Более того, сами авторы это прекрасно понимают и даже не скрывают.

В документах сервиса SciCite явно говорится, что взаимоцитирование молодыми учеными других молодых ученых не потому, что их работа достойна цитирования, а просто для того, чтобы разогнать друг другу показатели и получить грант - это хорошо, это называется ими «взаимодействие молодых ученых».

Можно было бы просто не обращать внимания на этот сервис, но он, очевидно, делает ставку на молодых ученых и аспирантов, рядом с которым может не оказаться наставника, который бы объяснил им, что так делать нельзя.

Что интересно, авторы проекта уже несколько преуспели в продвижении своих идей. Проект SciCite является победителем Всероссийского гранта Росмолодёжи, был отобран для участия в конкурсе «Лучший молодежный стартап союзного государства», презентовался в Сириусе на недавнем III Конгрессе молодых ученых. Я с трудом представляю, как проект по накручиванию цитирований может получить такую поддержку.

Читать полностью…

Love. Death. Transformers.

Лучшие видео и картинки 2023 года

Читать полностью…

Love. Death. Transformers.

С нг!
Чтобы торч всегда стоял, а трансформер всегда влезал!

Читать полностью…

Love. Death. Transformers.

Неверующие в заговор кожаных курток такие типа: наверное деньги с моей карточки спиздили рептилоиды

Читать полностью…

Love. Death. Transformers.

#grokaem_собес #grokaem_nlp
Я собрала 100 вопросов по NLP, которые мне задавали или задавала я. Надеюсь, что они будут полезны, чтобы освежить в памяти важные моменты.

*Notion будет пополняться*

Notion русская версия

В составлении вопросов помогали:
ds girl
канал Плюшевый Питон
Alexander Babiy
канал что-то на DL-ском
канал Dealer.AI
канал алиса олеговна

Часть вопросов:
8. Объясните разницу между косинусной близостью и косинусным расстоянием. Какое из этих значений может быть негативным? Как вы будете их использовать?
21. Что такое negative sampling и зачем он нужен?
30. Что такое затухающие градиенты для RNN?
41. Что используется в трансформере layer norm или batch norm и почему?
55. Объясните подходы для позициональных эмбеддингов и их плюсы и минусы.
75. В чем отличие оптимизатора Adam от AdamW?
86. Объясните концепции metric learning. Какие подходы вам известны?
88. Объясните виды sampling при генерации? top-k, top-p, nucleus sampling?
92. В чем отличие prefix tuning от p-tuning и от prompt tuning?
98. Объясните принцип работы KV cache, Grouped-Query Attention и MultiQuery Attention.

Читать полностью…

Love. Death. Transformers.

Ilya хороший, работайте у ильи

Читать полностью…

Love. Death. Transformers.

diisinder - тиндер для выбора науча

Читать полностью…

Love. Death. Transformers.

Хз, меня Саша попросил я нихуя не понял прикола.

Регулярно спрашиваю у Саши: а как ты сделал Х, почему так.

А ещё он торчит лекцию для better data community, давайте намекнем ему что стоит записать.

Читать полностью…

Love. Death. Transformers.

Рофловая соревка на 50k usd - наиболее быстрый алгоритм сборки кубика рубика

kaggle

Читать полностью…
Subscribe to a channel