Python

26 September 2026 08:39

Всё, понял, ты говоришь об эмбеддинге каждого отдельного токена

Python

26 September 2026 08:38

Исходный - это представление промпта в виде векторов, а добавочный - это контекстное представление каждого вектора после аттеншена. Потом по этим же данным будет выполняться корректировка весов через градиент.

Python

26 September 2026 08:36

Да, маску я тоже добавил, чтобы следующие токены GPT не видел и не учился запоминать "будущую" информацию.

Python

26 September 2026 08:33

А я узнал буквально неделю назад, теперь вот пытаюсь описать своими словами

Python

26 September 2026 08:30

На PyTorch делалось, не знаю, на чём ещё можно 💁‍♂️

Python

26 September 2026 08:21

На чём учил?
Интересно было бы поближе глянуть архитектуру. Сколько слоёв, какого они размера? Аттеншен, надо думать, классический фулловый взял?

Python

26 September 2026 08:14

Вузу нужно план выполнить что ли? Делайте любую хрень, главное чтоб с ИИ.

Python

26 September 2026 05:29

Очевидные проблемы - зацикленность, пока что нет структуры "хорошего предложения", только локальные связи между словами. Но общий принцип соответствует структуре трансформеров согласно исследованиям.

Python

26 September 2026 01:23

Такая неудобная платформа

Python

25 September 2026 23:21

Так нету баланса сложности для большинства, в состояние потока не войти когда тебе всё нужно на бинарной логике делать и посмотреть тонну видосов по ньюансам редстоуна

Python

25 September 2026 23:05

Там с редстоуном на флай машинах делается оч прикольно в ваниле с логическими воротами
Еще мод create есть бомба, беспроводной редстоун, всякие детекторы можно надолго засесть даже в креативе
Есть еще computer craft, там вообще можно к своему api серверу обращаться из майна

Python

25 September 2026 22:01

и по испанскому, если ты забыл

Python

25 September 2026 22:01

Это чат по маинкрафту?

Python

25 September 2026 22:00

Кайф. Я пытался по спирали

Python

25 September 2026 21:59

Ну как в реальной жизни лифты работают

Python

26 September 2026 08:39

attention = weights @ V
x = x + attention

Python

26 September 2026 08:36

Не совсем понимаю что имеешь в виду под исходным сигналом (а моё знание их архитектуры слишком поверхностно, чтобы предположить, что ты имеешь в виду)

Python

26 September 2026 08:35

Окружающий, или предшествующий? GPT в момент чтения токена n не видит токен n+1, то-есть видит только предыдущие токены

Python

26 September 2026 08:32

В общих чертах понятно, но это с учётом того, что архитектуру трансформера в общих чертах я ранее уже знал

Python

26 September 2026 08:29

Слой пока один, размеры тестовые (эмбеддинги из 4 элементов), архитектура: матрицы Q, K, V для представления одного токена через окружающий его в предложении контекст. Аттеншн добавляем к исходному сигналу и прогоняем через FFN. На выходе получаем логиты и соответственно вероятности токенов, какой может быть следующим.

Не знаю, понятные ли формулировки? Сам только изучаю. Уже добавил температуру и тестирую алгоритм Top-K.

Python

26 September 2026 08:20

Сделай словарь, где из токенов только голые символы (буквы и цифры для начала, юникодовские ужасы в расчёт не берём) и попробуй запустить это

Python

26 September 2026 05:44

Да не за что, в принципе

Python

26 September 2026 05:27

Представляю мини-гпт со словарём из 25 токенов

Python

26 September 2026 01:22

я думаю препод давал вполне конкретное определение

Python

25 September 2026 23:10

Лучше играть без модов

Python

25 September 2026 23:05

Почему про create вспомнили, а про pneumaticcraft нет? Ну зумеры...

Python

25 September 2026 22:01

Обсуждаем программирование

Python

25 September 2026 22:01

Жжжжжж и сверху ролик крутится

Python

25 September 2026 21:59

https://www.youtube.com/watch?v=90jc1ftGxL0

Python

25 September 2026 21:58

Я пытался игрока по лестнице двигать