Love. Death. Transformers.

21 July 2023 11:24

#чтивонаночь
Meta-Transformer: A Unified Framework for Multimodal Learning

Помните китайские инструменты нож-молоток-плоскогубцы-уровень в одном? Китайцы выпустили meta Transformer - модель с пошернным между модальностями space и при этом с разными энкодерами и головами для разных модальностей.

По метрикам очевидно все плохо, но есть код и веса!
paper
code