39876
IT punks. ❤️ YouTube https://youtube.com/ExtremeCode 💸 Реклама @Mshvyag / eaa@extremecode.studio Для РКН: № 5025353650
Хакатон на космических данных. Санкт-Петербург, Красноярск или онлайн из любой точки страны.
Стартуем 18 сентября.
За выходные участники доводят одну из задач до рабочего решения.
Санкт-Петербург. Когда космонавт выходит в открытый космос, между ним и средой остаётся один скафандр. Солнечные вспышки, геомагнитные бури, радиация — всё это меняется по часам, и решение о выходе принимают по прогнозу. Команде предстоит выделить ключевые угрозы и собрать техническое решение для их анализа. Фонд 1,2 млн ₽.
Красноярск. Спутник видит горящий лес раньше любого наземного поста, но вместе с пожаром ловит нагретые крыши, факелы на месторождениях и блики на воде. Команде предстоит научить сервис отличать настоящий очаг от шума, обвести гарь и выдать площадь в гектарах. Фонд 600 тыс. ₽.
Лучшие забирают приз на площадке и билет в московский финал 25–27 сентября, где разыграют ещё 2,4 млн рублей.
Команда 3–5 человек, недостающих можно найти на платформе.
Подробности и регистрация
Реклама. Рекламодатель: ФГБОУ ВО «МИРЭА — Российский технологический университет», ИНН 7729040491. erid: CQH36pWzJqLHth7p5RJ6A7txQqHAQYg5YMPJS4svBHBRbH
Тем временем муха уже умеет вайбкодить 😄
А ты нет 😄
ИИ в кибератаках обычно обсуждают в теории. 6 октября на форуме «Цифровые решения» на действия искусственного интеллекта можно будет посмотреть со стороны защитника.
На киберучениях Standoff команды расследуют атаки двух типов: одни проведут специалисты, другие — ИИ-агенты. Кто именно атаковал, заранее не скажут.
Участникам предстоит восстановить цепочку событий и определить природу атаки. За лучший результат будет отдельная номинация «хакер или ИИ».
Хороший шанс увидеть, насколько вообще отличаются человек и ИИ внутри инфраструктуры.
Заявки до 15 сентября
Стоило только мне написать в сценарии, что искусственные слабаки абсолютно не пригодны для математики. Так сразу же, чятгпт решил одну из задач "тысячелетия" за 88 часов (Параллельно над задачей пахало 10 тыщь агентов — как они синхронизировались? Да хер его знает, мне кажется они просто пикнули рандомное случайное большое число, чтоб все кипятком обоссались и начали разгонять тему AGI).
Но как выяснилось, господа Тристан Бакмастер и Левент Альпёге уже в течении года решали эту задачу с использованием различных LLM, и благополучно сливали все свои черновики бездушным машинам. А чуваки из Open AI начали решать проблему с пару недель назад, как только до них дошли слухи, что какие-то челы активно промптят в духе "реши Навье‑Стокса, без ашибок по брацке".
Мораль? Да хер его знает. Я кстати в видосе сделал здоровенный акцент о бенчмаркинге на зафаршмаченных данных, и даже разобрал косвенные признаки, того как модель шпарит по "зазубренному" тексту. Это особо актуально для локальных тупорылых моделек.
Более того, через дистилляцию это все рано или поздно может утечь и к другим диллерам нейрослопятинки, так шо скриньте, скоро свежий локальный qwen 0.8B вам решит "Навье‑Стокса" за 5 наносек
Ебобаная привычка после 10-и минутных видосов писать кратко, емко и самое главное в быстром темпе, что б вы, СДВГшники, не заскучали 😄
Крч, я каким то хреном умудрился в первые 40 минут впихнуть следующий список тем:
1. LLM
2. Промпт
3. Обучение модели и инференс как разные процессы
4. Пост-тренировка в формате «инструкция → вывод»
5. Веса / параметры модели
6. Предсказание следующего токена
7. Токены и токенизатор
8. Особенности токенизации латиницы и кириллицы
9. Число параметров
10. Dense-модели
11. Эмерджентные свойства
12. Типы данных и точность весов (в т.ч. 16-бит)
13. Оценка потребления памяти по числу параметров
14. Квантизация
15. Floating point, мантисса и экспонента
16. FP8 и низкобитные форматы
17. Аппаратное ускорение низкобитных вычислений
18. Влияние квантизации на качество модели
19. Запуск квантованных моделей на CPU (в т.ч. SIMD)
20. Слои модели
21. Статическая квантизация по шаблонам
22. Защита отдельных слоев при сжатии (эмбеддинги, нормализация, ключевые блоки)
23. Адаптивная квантизация слоев с разной битностью
24. iMatrix и i-кванты
25. QAT (Quantization-Aware Training)
26. Сверхнизкобитная квантизация
27. Формат GGUF
28. Дистилляция (Distilled-модели)
29. Прунинг
30. Fine-tuning
31. LoRA и QLoRA
32. MoE (Mixture of Experts)
33. Роутер / маршрутизатор экспертов
34. Активные параметры
35. REAP
36. Спекулятивное декодирование
37. MTP (Multi-Token Prediction)
38. Reasoning
39. Мультимодальность
40. Vision
41. Speech-to-Text
42. Контекстное окно
43. Attention
44. Квадратичная сложность Attention
45. KV-кэш
46. Prefill / обработка промпта
47. Flash Attention
48. Квантизация KV-кэша
49. Paged Attention
50. Lost in the Middle
Теперь думайте, а чё же там происходит дальше 😄
Старые законы устарели, предлагаю ввести закон ЭхтримКода-Мура
Каждые 2 года стоимость транзистора на печатной плате удваиваетсяЧитать полностью…
Сидел тут, выборочно осматривал на чем конкретно определенные модели факапились. Решил поисправлять за ними тупые баги, что б узнать как конечная имплементация пашет.
Ну просто поразительный перформанс листа, особенно когда тебе ниче не нужно рендерить 😄
Погоняли тут тесты для ИИ. Выяснилось, что градацию тупости можно измерять следующим образом:
> Не может решить вообще ничего
> Может решить Python задачи
> Может решить React задачи
> Может решить Бекенд задачи на не python
Кто-то объяснит это тем, что в датасетах больше данных по питону, чем по другим языкам, а кто-то тем, что чтобы писать код на питоне надо быть чуть умнее собаки.
Мнение?
Ну как бы ёпта всё, сбор циферок официально закончен 😄
Осталось дописать выводы, сделать финальную мощнейшую вычитку, и можно записываться-монтажироваться.
UPD:
Авторская методика G0VNO перевыполнила план и работает просто великолепно. Показала кто из этих тупиц самый наитупейший. Заявка на патент уже отправлена, так же отправил методу во все самые топовые ВУЗы мира на рецензирование 😄
Нынче айтишный рыночек просто “чистый кайф”. Все ругаются, что всё, время поиска увеличилось до полугода. На моей памяти айтишка помирает уже четвёртый раз. В 2012 году ныли, что в айти вкатываться уже поздно. Бывает такое, что тучи над рыночком сгущаются как в горах, это будет ещё не раз.
Что делать в таких ситуациях?
Практикум PRO и АльпИндустрия разобрались. Мастер спорта по альпинизму поделился опытом сумасшедших восхождений и советами, как не потерять голову даже на самом крутом склоне. А ИИ-архитектор из промышленного сектора и арт-директор из Яндекса рассказали о трендах на рынке IT и навыках, которые стоит прокачивать цифровым спецам, чтобы устоять на любой вершине.
Подготовиться к переменам тут >>>
Эксперты из каментов, я с этими бенчмарками скоро с ума сойду.
Почему так ёпта?
Какого хрена iMatrix, и уж тем более 8-и битки быстрее, чем очереднярные Q4?
Все в интернетах пишут типа, "АРРРЯЯ IQ медленные", какого хрена у меня они стабильно быстрее? Даже на нормальной жпу (скрин в каменты к посту закину)
Параметры бенча дефолтные [--fit-target 1024], контекст 512 на pp, и 128 на tg
Короче, модели до 9B параметров зажатые в любой Q4_* лучше в принципе обходить стороной, они пздц как сильно тупеют. Q8 на их фоне смотрится как гигамозг.
Скажем спасибо, моей G0VNO методике оценок моделей.
P.S.
Тесты еще до сих пор гоняю 🫠
P.P.S.
Всякие файнтюны квена, типа омникодера это плацебо. Мб для агентов он получше будет выполнять тул-колинг, но это не исчключает того факта, что сама модель крайне-тупая, и еще сильнее всех страдает при квантизации в 4-е бита.
Мда ёпта, 12 с копейками часов на 4B модельку и 6 млн слитых токенов на судейку. В бенче ровно 100 вопросов.
В ходе предварительных тестов понял, что вообще нет никакого смысла гонять по базовым алгоритмическим вопросам. С этими задачами даже 4B модель зажатая до одного бита прекрасно справится, а если миксовать сложные и простые вопросы, то просто размоем результаты.
В общем, зафигачил пока датасет с хардкорными задачками уровня мидл-сеньор по стеку JS/Nodejs/Express/React/Mongodb/Postgresql/Redis.
И что вы мне сделаете? Я вообще-то G0VNO изобрел, на какой стек мозгов хватило, тот и гоняю.
Помимо саммари, еще складирую все решения судейки отдельно, что б можно было посмотреть че там происходит. Конкретно у Qwen3.5 4B жОские проблемы со следованием инструкций, ну и естественно ей не хватает параметров
P.S.
По шкале вайб скор, модель должна хотя бы 60% в среднем набрать, в таком случае она с большей частью задач справилась, хоть и с небольшими, но терпимыми, косяками
Ёпта, кажется моя методика оценки "G0VNO" квантованных моделей реально работает (но это не точно, пока только предварительные результаты без массового прогона).
Чувствую себя поехавшим датасаентистом. Мне бля даже интересно стало, а какого хрена раньше до этого никто не додумался.
Обычно дилер модельки фигачит в ридми результаты модели, которых она набирает в FP16 на сраных публичных бенчмарках. А вот то, насколько она деграднула после сжатия — как будто бы и насрать всем, а на самом деле результаты могут ПИЗДЕЦ КАК СИЛЬНО отличаться.
Замер перплексии сам по себе хорош только для предварительной оценки, но не показывает реальной раскладки на настоящих задачах.
Ща сижу думаю, как не разориться на токенах, думаю после предварительного прогона перплексии брать только 3 самых лучших модели, а остальных отсекать из-за тупорылости.
Аррряяя, ИИ убыточен и вообще пузырь.
@@@
Выручка мелкомягких с клауда, срет вверх, как никогда раньше, чисто на ИИ.
P.S.
Скажу страшное, но вот компании, аля Amazon, годами не показывали прибыли, но при этом имели шизанутейшие обьемы выручки.
Около десяти лет им понадобилось, чтобы понюхать впервые чистую прибыль. Чет как то это не помешало им это все вести операционную деятельность, да и инвесторы не переставали инвестировать меньше.
Короче, думайте.
Главный нейропогонщик из нашего чата научил муху играть в подкидного дурака 😄
Она сыграла 1 лям партий для обучения. Ей подаются правила, какими картами можно сходить, и как можно отбиться (т.е картами которыми ходить нельзя — маскируются), затем делает распределение вероятностей карт по нейронам.
10 ♣️ 2.7
K ♣️ 0.4
6 ♥️ 1.1
TAKE -0.8
Крч, тут недавно чуваки из гугла выложили оцифрованный мозг мухи-дрозофилы. Ученые пчелы сразу начали ставить на этой нейросетке безумные эксперименты. Например, прямо сейчас муха учится играть в Doom.
Пиксели игры превращаются в «зрительные сигналы» для нейросети, её активность управляет кнопками. В мозг встроены дофаминовые клетки и пластичность памяти: когда муха получает урон, в две конкретные клетки подаётся ток, и это меняет силу 4184 связей между клетками Кеньона и MBON — то есть обучение идёт через «боль», а не через скрипт. Память и нейросостояние сохраняются между раундами.
Арена: четыре стреляющих монстра, каждые 3 секунды может появиться новый (до 4 импов и 4 зомби), патроны пополняются ящиками и выпадают с трупов, смерть — рестарт с 100 патронами. Симуляция идёт 1:1 по времени, без пропуска шагов, зрители смотрят один общий запуск и не могут влиять.
Украл из камментов. Ну а вы че думали? Все ваши сообщения в нашем чате — собственность ехтримцоде 😄
Читать полностью…
Уже соскучились по отсутствию рекламы?
Я монтажирую, по 15 минут хронометража в день на черновой вариант, это примерно еще неделька на то что б основной костяк закрыть. Когда до G.0.V.N.O. дойду, вероятно замедлюсь, там просто 150 графиков надо вставить будет. Потом это все еще полирнуть и приправить мемесами. Думаю уйдет на все от 2-х недель до конца года (но какого?).
Крч, уже матерюсь, т.к. слишком плотно инфы нагородил, приходится дохрена визуала пилить под это все дело, пушо только на слух сложно воспринимать всю инфу.
Ура, я наконец-то закончил запись.
Осталось каких-то жалких 4/5 неделек, чтоб эту пиздецому смонтажировать 😄
Сбер открыл доступ к новому поколению моделей GigaEmbeddings
Линейка включает три модели разного размера: 480M, 3B и 10B-A1.8B. Они переводят тексты в числовые векторы для семантического поиска, построения RAG-систем (Retrieval-Augmented Generation), классификации и кластеризации.
Команда разработки изменила архитектуру модели, чтобы упростить интеграцию со стандартными открытыми инструментами. На vLLM GigaEmbeddings 3B работает в 1,6 раза быстрее предыдущей версии, а 10B-A1.8B — в 2 раза.
Объём данных для обучения увеличился в несколько раз. В частности, за счёт открытых датасетов Nemotron, F2LLM и KALM.
На всех этапах применяли мержинг экспертов для сохранения языкового баланса. Самую компактную модель обучали с помощью дистилляции: она усваивала ответы более крупных и точных моделей.
По результатам тестов 10B-A1.8B заняла первое место в рейтинге ruMTEB. У модели 3B качество обработки кода выросло на 14,5 пункта. При этом самая компактная модель 480M стала лучшей на русском языке среди решений до 500 млн параметров.
Ищите веса под лицензией MIT на GitVerse и HuggingFace.
Модели бесплатно доступны разработчикам и бизнесу под открытой MIT-лицензией:
HF: 480M | 3B | 10B-A1.8B
Gitverse: 480M | 3B | 10B-A1.8B
Подробности читайте в посте команды ↖️
Продолжая ИИшную аксиому Эскобара
Есть 2 варианта, локальной "one-shot" генерации:
1) Модель выдает архитектурно слабое решение, но зато это полностью рабочий каркас, который без проблем запускается. На такую генерацию уходит ~5 минут
2) Модель выдает классный архитектурны анализ, но полностью факапится в написании кода, допустив тупорылые логические ошибки. На такую генерацию уходит ~15 минут
На какой стул сядешь?
UPD:
Камон, естественно нет варианта, чтобы и классно было и работало, а ты что думал, это локальное нейрохрючево
UPD2:
Ладно, еще микроспойлер, некоторые тяжелые и типа-умные модели на 20+ лярдов параметров реально работают на уровне подброшенной монетки, как повезет, он либо решит задачу, либо не решит 😄
☁️☁️☁️☁️☁️☁️☁️
24 сентября Yandex Cloud проведёт флагманскую технологическую конференцию — Yandex Scale 2026.
🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨
🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨
🎨🎨🎨🎨🎨🎨🎨🎨🎨
В программе четыре продуктовых трека — AI, Data, Security и Hybrid Infrastructure & DevOps, — и отдельный углублённый технологический трек DeepTech, который пройдёт только онлайн.
🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨
🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨
🎨🎨🎨🎨🎨🎨🎨🎨🎨
В треке DeepTech откроем программу докладом о том, как мы ускорили Lua в Valkey — добавили LuaJIT и Lua 5.5 без патчей интерпретатора и получили прирост скорости до 2–5 раз. Расскажем, как строим экономически эффективный инференс LLM для агентских сценариев в Yandex AI Studio — на примере DeepSeek-V3.2 и DeepSeek-V4-Flash. Разберём, что разваливается в поиске, когда он должен быть одновременно распределённым, транзакционным и линейно масштабируемым — на примере векторного, полнотекстового и гибридного поиска в YDB. Покажем, какая инфраструктура превращает недетерминированную модель в управляемый и наблюдаемый сервис, когда агент выходит из демо в продакшн. Расскажем, как мы первыми в РФ научились мониторить ИИ-агентов внутри «чёрного ящика» LLM. И заглянем под капот сети облака — Interconnect, Private Link, Inbound DNS и DNS Firewall, которые складываются в герметичный контур между Yandex Cloud, on-premises и другими облаками.
🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨
🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨
Плюс демозоны, питчинг решений, IT-квест и мерч для тех, кто в Москве. А кто смотрит онлайн, помимо трека DeepTech, есть ещё отдельная онлайн-студия: розыгрыш призов и секретный гость.
Скоро чуваки, скоро все будет, я почти закончил с бенчмарками.
Скинуть вам мини-спойлер или не надо?
⚡️OpenAI остановила обучение новых моделей ИИ из-за киберрисков, сообщила компания
Читать полностью…
Эксперты из каментов, чёт затык у меня случился лютый, есть тут кто шарит как неподписанные дрова на венду поставить?
> Установить линукс не предлагать
> CiTool.exe --remove-policy "{8F9CB695-5D48-48D6-A329-7202B44607E3}" / Не работает, выдает 0x80070005
> Memory Integrity, Local Security Authority protection, Vulnerable Driver Blocklist / Выключено
> Заменяемый драйвер удалял в сейфмоде, ставил на чистую / похер
> Сетевой кабель выдернут
В мае втыкал патченные дрова на CMP 90HX и все вставало норм, щас же чето затык лютый, уже все перепробовал. Шинда просто блокирует драйвер в момент установки, а видюшки висят в системе с кодом ошибки 39.
Давайте думать, подсказывайте, чё вы 😤
UPD:
Спасибо эксперты из каментов, я как обычно разобрался сам. Пробелма появилась после июльского апдейта шинды, фиксится удалением политики
Либо так (у меня не сработало)
CiTool.exe --remove-policy "{8F9CB695-5D48-48D6-A329-7202B44607E3}"
mountvol S: /s
Remove-Item "S:\EFI\Microsoft\Boot\CiPolicies\Active\{8F9CB695-5D48-48D6-A329-7202B44607E3}.cip" -Force
Типичный Qwen, как эту помойку вообще можно локально использовать? 😄
Читать полностью…
Навайбкодено 😄
Осталось подождать 5 тысяч лет и потратить миллиард денег на прогоны всех тестов.
👉 Новое видео на канале: https://www.youtube.com/watch?v=y3EgOOfkir8
P.S.
Ну и если я какой-то текст дочитываю до конца, то никогда не поленюсь поставить лайк и в комменте написать что-то типа: "Братан, хорош, давай, давай, вперёд! Контент в кайф, можно ещё? Вообще красавчик! Можно вот этого вот почаще?"
Всё ребята, всё. Джуны больше никому нужны. Зачем нанимать естественный интеллект, когда искусственный идиот делает все то же самое, но еще при этом и не выгорает. Работодатели теперь охотятся за спецами-фундаменталистами, способными писать эффективные алгоритмы, чисто двигая магнитиком по жесткому диску, имея при этом минимум 100 лет опыта.
Конкурировать в этой среде за теплое местечко не просто, особенно в карьерном росте. Поэтому тебе позарез нужные любые преимущества. Например, можно закончить магистратуру. А поступить онлайн можно в Томский государственный университет, у них как раз есть множество направлений, связанных с АйТи.
Ты можешь получить полноценное университетское образование, вкатиться в сообщество экспертов и единомышленников, да и формат позволяет совмещать обучение с основной работой.
Преподавать тебе будут действующие эксперты и сотрудники топовых айти компаний.
Короче, переходи по ссылке в описании, чтобы ознакомиться детальнее: http://clck.ru/3UyxMX
Реклама. ФГАОУВО НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ТОМСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ, ИНН 7018012970