Machine learning chat

01 April 2026 11:22

так, ладно, хватит шекспира

Machine learning chat

01 April 2026 11:16

но сути не поменяет, основной вклад от записи <prev_n_bit> - их кмк надо как-то деревом чтоли ...

Machine learning chat

01 April 2026 11:13

но это кодировка что-то типа <prev_n_bit><next_bit><freq_as_k_bit> - она точно не эффективна

Machine learning chat

01 April 2026 11:07

ну не с rar'ом же мне сравнивать .... тем более ему нельзя задать глубину контекста

Machine learning chat

01 April 2026 11:05

Это все теория. Сломается о жестокую реальность.

Machine learning chat

01 April 2026 10:58

понятно да, из этих соображений я как раз ожидал что будут провалы на 8,16,24 битах

Machine learning chat

01 April 2026 10:53

удивило плато от 6 до 15 бит

Machine learning chat

25 March 2026 19:46

Экспы можно ставить быстрее, нейросетка помогает код писать

Machine learning chat

25 March 2026 19:44

Ну да. Это просто шутка в голову пришла. А так я имел ввиду что в какой-нибудь робототехнике или вычбио, или даже аудио, он будет хуже чем нлп или св

Machine learning chat

25 March 2026 19:40

А тут вопрос уже че рисерчить

Machine learning chat

25 March 2026 19:14

Мне кажется ещё depends on field

Machine learning chat

25 March 2026 19:13

А когда ресерчеров заменит?

Machine learning chat

25 March 2026 19:06

А есть тут вообще mlops инженеры? Что вы изучали для этого и насколько востребована будет эта специальность?

Machine learning chat

25 March 2026 17:36

Всем привет,
учавствую в челлендже open.ai ; parameter golf.

чуть позже смогу провести эксперименты сам на 8xA100.

Наиболее вероятный реальный результат после полного обучения (20k шагов, 10 минут на 8×H100):
Центральная оценка:
0.893 – 0.899 BPB
Оптимистичный сценарий
(удачный seed + хорошие гиперпараметры):0.878 – 0.887 BPB
Консервативный сценарий (стандартный запуск):0.905 – 0.918 BPB

Machine learning chat

25 March 2026 16:22

LETS GO FUCK THE US COWARD TROOPS

Machine learning chat

01 April 2026 11:22

заполненность словаря в зависимости от контекста (context_len)

количество_реально_наблюдаемых_записей_n+1_бит / (2^(context_len+1))

Machine learning chat

01 April 2026 11:15

вообще её можно наверное в 2 раза уменьшить зная что
<prev_n_bit><not_next_bit><freq_as_k_bit> = <prev_n_bit><next_bit><1-freq_as_k_bit>

Machine learning chat

01 April 2026 11:11

если очень грубо прикинуть кодировку самого словаря (матрицу условных вероятностей), то на таком маленьком тексте получается, что для префиксов больше 12 бит словарь становится громоздким

Machine learning chat

01 April 2026 11:06

я кот, мне не страшна реальность,вообще мне нужен бенчмарк чтобы смотреть чему научилась модель, поэтому я и взял условную энтропию

Machine learning chat

01 April 2026 11:04

как можно оценить размер который нужен чтобы закодировать матрицу условных вероятностей?

Machine learning chat

01 April 2026 10:57

Возможно, это как-то связано с тем, что данные – это байты, а символов всего 64.

Machine learning chat

25 March 2026 22:13

А кто им управлять будет? Вдруг он в кластере всем скажет "Горшочки, не варите!" 😁

Machine learning chat

25 March 2026 19:45

Всё зависит от задачи. Если задача сводится к оптимизируй или ускорь - ИИ разнесет. Если же задача - придумай а че ваще делать и как, то тут уже всё хорошо

Machine learning chat

25 March 2026 19:40

Ты говоришь про оптимизацию алгоритмов. Оптимизаторам и олимпиадникам ИИ уже за щеку насовывает

Machine learning chat

25 March 2026 19:16

Жду когда какой-нибудь антропик пустит 100000 агентный рой Клод опусов и они сгенерят 10Т+ токенов и сделают аттеншн logn не теряя качества на длинных контекстах и в целом хд

Machine learning chat

25 March 2026 19:14

Хороший вопрос. Сложно сказать. Пока клод не перестанет мне дикие идеи предлагать

Machine learning chat

25 March 2026 19:11

Думаю через год их заменит ИИ агент

Machine learning chat

25 March 2026 17:57

The AI Scientist официально вышел в Nature - и это уже не просто эксперимент.

Речь про систему, которая способна автоматизировать весь цикл научного исследования:

- генерировать идеи
- писать код
- запускать эксперименты
- оформлять научную статью

Обновлённая версия AI Scientist-v2 уже сгенерировала первую полностью AI-сгенерированную научную работу,
которая прошла полноценное рецензирование людьми.

Теперь вышла публикация в Nature,
где подробно разобрана архитектура системы и показано, как всё это работает на практике.

В ИИ-систему добавили Automated Reviewer - AI-рецензента, который оценивает статьи
на уровне человека и даже стабильнее, чем сами люди.

Исследователями обнаружен прямой закон масштабирования науки -
чем сильнее базовая модель,
тем выше качество научных работ, которые она генерирует.

Это означает простую вещь:
По мере роста моделей и удешевления вычислений
качество AI-науки будет расти автоматически.
Фактически мы подошли к точке, где исследования можно масштабировать так же, как сегодня масштабируют код или контент.

• Nature: https://nature.com/articles/s41586-026-10265-5
• Blog: https://sakana.ai/ai-scientist-nature

@data_analysis_ml

Machine learning chat

25 March 2026 17:06

FoGE: Fock Space inspired encoding for graph prompting

Кто-нибудь разбирается в вопросе?

Machine learning chat

25 March 2026 15:11

Жесть они срут .. с уважением 😂😂