эйай ньюз

18 Apr 2024 23:36

Вот Марк как раз рассказывает про нашу Imagine Flash. Врать не буду, очень приятно, когда про твою работу так говорят 🙂

@ai_newz

эйай ньюз

18 Apr 2024 18:52

Статью с деталями Imagine Flash от нашей команды можно почитать тут.

Там описываем, как мы дистиллировали базовую text2image модель Emu 2.7 B, которой требуется 25+ шагов, в Imagine Flash, которая работает за 3 шага без существенной потери в качестве.

То есть ускорили более чем в 10 раз!

Ещё Imagine Flash в meta.ai работает в несколько раз быстрее end2end чем SD3 Turbo API.

Скоро сделаю детальный разбор метода в канале.

Статья

@ai_newz

эйай ньюз

18 Apr 2024 18:10

Будет ещё большая LLaMa3 модель на 400В+ параметров, она все еще тренируется.

@ai_newz

эйай ньюз

18 Apr 2024 18:02

Пошла жара! Марк анонсирует новую LLaMa 3 и Meta AI штуки на meta.ai.

@ai_newz

эйай ньюз

17 Apr 2024 19:08

🔥Там релизнули Stable Diffusion 3 API.

Потыкался в API SD3 Turbo (разбор статьи), и вот мои результаты. End2end задержка ~2.5 сек.

Может из меня плохой промпт инженер, но не выглядит, что она лучше чем MJ6 – слишком много артефактов. Основные авторы ушли из стабилити и, возможно, релиз был сделан кувырком совсем другими людьми.

1&2. Moloch whose eyes are a thousand blind windows, whose skyscrapers stand in the long streets, whose smoke-stacks and antennae crown the cities! 
3. A photograph of a pig with a unicorn’s horn. 
4. A shark fighting an alligator
5. a cat in boots and dog
6. Emma Watson eating noodles
7. cute cotton candy monster, flirty cute stubborn determined, style of krenz cushart and craig davison, highly detailed
8. Spiderman fighting Dinosaur in jurassic park

эйай ньюз

17 Apr 2024 16:28

17 мая пройдет IT-конференция МТС True Tech Day

Там вы сможете послушать классные доклады от лидеров индустрии, испытать технологии в true labs и получить новые впечатления и эмоции.

Что будет:
→ 5 тематических треков: Main, Development, AI/ML, Cloud, Science
→ 50 спикеров с докладами про архитектуру, облачные платформы, NLP4Code, вероятностное программирование, безопасность контейнеров и другое
→ 10 часов нетворкинга
→ цифровые зоны и digital-интеграции
→ а ещё вечеринка со звездным лайн-апом

Все спикеры и темы уже на сайте. Регистрируйся на True Tech Day. Участие бесплатное.

#промо

эйай ньюз

17 Apr 2024 12:05

Вышел AI Index Report 2024 - ежегодный отчет от Стенфорда про тренды в AI (не только в ресерче).

1. AI местами уже обходит людей в задачах связанных с классификацией изображений и пониманием (английского) языка. Но еще не везде (пока).

2. Бигтех продолжает жестко доминировать в АИ ресерче выпустив, помимо прочего, 51 достойную модель, пока академия лишь 15.

3. По оценкам AI Index, затраты на обучение современных моделей ИИ достигли беспрецедентного уровня, например, на обучение GPT-4 от OpenAI было потрачено около 78 млн $, а на Gemini Ultra от Google - 191 млн $ .

4. США – лидер в AI гонке, а Китай в робототехнике. Китай клепает много статей, но реально крутых моделей у них меньше чем у Американцев.

5. Остро стоит вопрос алайнмента. Сейчас нет каких-то бенчмарков или утвержденных эталонов для оценки ответственности LLM, что затрудняет систематическое сравнение рисков и регуляцию моделей между сосбой.

6. Инвестиции в AI резко возросли, почти в восемь раз по сравнению с 2022 годом и достигли 25,2 миллиарда долларов, несмотря на общее снижение частных инвестиций в нишу в прошлом году.

7. AI повышает производительность труда, а также сужает разрыв между начинающими и опытными сотрудниками. Так что учимся пользоваться!

8. Научный прогресс ускоряется еще больше благодаря AI. В 2023 году были запущены AI-интсрументы во всех сферах научной деятельности, начиная с AlphaDev, повышающего эффективность алгоритмической сортировки, до GNoME, облегчающего процесс открытия новых материалов.

9. Мы видим все больше регуляций AI со стороны государств. Количество нормативных актов, связанных с AI, в США резко возросло за последний год и последние пять лет, в 2023 году их было 25, а в 2016 – всего один.

10. До людей постепенно доходит что AI это вам не NFT, согласно опросу Ipsos, доля тех, кто считает, что искусственный интеллект кардинально повлияет на их жизнь в ближайшие три-пять лет, увеличилась с 60% до 66%, а 52% выражают обеспокоенность в отношении AI. Люди боятся того, чего не понимают.

Репорт в PDF

@ai_newz

эйай ньюз

16 Apr 2024 14:00

TikTok тестирует AI-инфлуенсеров для интеграции в рекламный кабинет.

Уже были попытки реализовать что-то подобное, завирусившееся в твиттере, правда там было не совсем ai generated (там был простой липсинк). Но выглядело очень правдоподобно – говорящая голова эмоционально зачитывает любой рекламный текст за несколько десятков $.

И вот в сеть утекла информация, что тикток и сам пробует нечто похожее. Неясно, как это будет реализовано и еще более неясно, как на это отреагирует аудитория. А вот криэйторам стоит побеспокоиться, ведь их доход в основном состоит из таких вот партнерств с брэндами, которые AI-аватары могут перетянуть на себя. Криэйторам там и так не платят, а теперь еще и спонсоров хотят отжать. О этот новый дивный мир!

@ai_newz

эйай ньюз

15 Apr 2024 21:50

Adobe закупается видосиками

По интернету и так ходят слухи, что в нём закончилась дата для тренировки диффузионок. А если ты Adobe и хочешь все делать на лицензионном контенте, то и того хуже. Так что теперь адобченко платят по 3 доллара (доходит и до $7) за минуту видео-контента для своих моделей. При чем на видео люди просто живут, двигают руками, ногами; злятся и говорят по телефону. Что, наверное, не так часто снимают специально. Может быть, таких данных действительно не хватает.

Никогда бы не подумал, что для того чтобы успеть в гонке ии-моделек, весь бигтех дружно перейдет на пиратский контент (хотя, считать это fair use или нет все еще является дилеммой). Кстати, слышал где-то, что 6-ю версию Midjourney тренировали на кадрах из фильмов. Поэтому там такие красивые картинки. Файнтюн на эстетику.

Ну, и теперь, очевидно, что Adobe готовят свою видео модель, конкурента SORA.

@ai_newz

эйай ньюз

14 Apr 2024 19:49

Нейродайджест за неделю (#13)

1. Заметки
— Канада выделила 1.5 млрд долларов на AI кластер. Молодежь радуется шансу разбогатеть. Государственики медленно просыпаются к AI-лихорадке.
— ШАД от Яндекса - бесплатная программа по фундаменту в ML. Хороший буст по знаниям.
— llm.c от Андрея Карпатого - тренируй LLM на умных лампочках
— NeurIPS трек для старшеклассников. Скоро без статей на Нипсе и в шарагу не возьмут?

2. Релизы и обновления
— JetMoE - очень дешевый трейн LLM. Можно юзать как основу для файнтюнов.
— GPT-4 - теперь с картинками через API. В целом значительно лучше. Обнову уже завезли и в чатик.
— Дроп Mixtral-8x22B. Веса уже на торренте.
— Grok 1.5V от Маска с виженом и любовью. Скоро.

3. Утилиты и приложения
— Креативный апскейл от Леонардо. Дают опрокинуть 5 бесплатных грузовиков с деталями в день.
— Lightning Studio - альтернатива Google Colab с бесплатным хранилищем и интеграцией IDE. 22 GPU-часа бесплатно в месяц.
— VoiceCraft - редактор речи. Как поменять кусок текста в аудиозаписи.

4. Личное
Кто автор канала + подборка избранных постов для новоприбывших.

#дайджест
@ai_newz

эйай ньюз

13 Apr 2024 15:31

OpenAI запустила новую модельку GPT-4 Turbo в чатик. Теперь все подписчики могут на себе оценить возможности новой версии. Судя по твитам, помимо прочих улучшений и матеши, ответы стали более человечными. Жду ваши тесты в комментах! Ну, катофф знаний теперь на апрель 2024 🤌

Должна появиться у всех через какое-то время.

@ai_newz

эйай ньюз

12 Apr 2024 17:52

VoiceCraft: Zero-Shot редактор речи и Text2Speech

VoiceCraft - это нейрокодек, который может в редактирование записанной речи, позволяющий заменять сказанные слова на новые. На все про все ему нужно пару секунд референса, который можно взять из остальной записи.

Получается, можно полноценно редактировать какой-нибудь подкаст, вырезая лишнее и генеря заново текст.

Модель представляет собой авторегрессионный трансформер на 830М параметров, обученный на Gigaspeech XL. Чтобы перевести аудио в latent space используется модель EncodecModel с 56М параметров, натренированная по принципу VQGAN.

VoiceCraft генерит 13 секунд аудио примерно за 8 секунд на RTX 3080 (те быстрее самой записи), что по идее дает возможность редактировать речь в риалтайме.

Пока доступен только английский язык.

В перспективе, как уже сказано, можно использовать для монтажа подкастов, а также закадрового голоса. На данный момент, это вроде как SOTA из того, что есть в опенсорсе.

Ну а если прикрутить еще какой-нибудь wav2lip, то и видосы тоже можно будет редачить.

Статья
Сайт проекта с примерами
Код
Потыкать самостоятельно в хаггинге
Notebook

@ai_newz

эйай ньюз

12 Apr 2024 11:33

⚡️Lightning Studio: Альтернатива Google Colab если хотите поиграться c модельками или заняться пет-проектом

Я тут случайно набрел на такую штуку. Не знал, что Lightning, та контора, что делает фреймворк Pytorch Lightning, ещё и пилит свою студию. По сути это онлайн среда для разработки и прототипирования deep-learning моделек. Тут все что нужно есть: и терминал, и VS Code, и ноутбуки, и удобный доступ к файловой системе и persitent хранилище (а не грёбаный google drive).

Фичи, которые есть тут, но нет в Google Colab:
- free persistent storage, то есть локальные файлы не пропадают, когда вы закрыли ноутбук
- free persistent environments
- unlimited background execution
- VSCode, PyCharm, (any IDE) integration

Дают бесплатно 22 гпу-часов (T4) в месяц, плюс можно докупить еще, если нужно. Платишь только за время, когда GPU активирована. Можно отмасштабировать и арендовать 8xA100, если нужно натренировать что-то серьезное.

https://lightning.ai/

@ai_newz

эйай ньюз

11 Apr 2024 13:58

​Всем привет! В канал пришло много новых людей, решил еще раз представиться и сделать подборку интересных постов.

Меня зовут Артем, я из Беларуси. Сейчас живу в Швейцарии и работаю в Meta GenAI на позиции Staff Research Scientist. До этого сделал PhD в университете Хайдельберга, в той самой научной группе, где придумали Stable Diffusion. За время в лабе я опубликовал кучу статей на топовых конфах. В перерывах между статьями я оттачивал свои эйай навыки на практике, упарываясь на Kaggle соревнованиях (я очень азартный тип в этом плане) – добрался до Top45 в мировом рейтинге с несколькими золотыми медалями. Больше про меня есть в этом посте и по тегам #personal и #мойпуть. [Если что, то я на фотке слева]

Подборка личных постов:
▪️Рассказ о том, как я вкатился в AI/ML
▪️Откуда AI хайп и как было, когда я начинал свое PhD
▪️Видео-интервью со мной
▪️Вот здесь делюсь личной радостью, ведь мы завезли диффузию в инсту,
▪️На основе emu, которую лично я оптимизировал, чтоб вот быстро и чётко
▪️Еще про то как мы сделали и ускорили генеративные стикеры для инсты, WhatsApp и FB Messenger.
▪️Моя статья об ускорении диффузии с помощью кеширования, без потери качества конечно же.
▪️Как я приделывал ноги Аватарам в метаверсе [ч1, ч2], пока работа в Meta Reality Labs.
▪️Пост-апдейт и про, то как я недавно стал стафом в Meta GenAI (ну вы поняли).

Из еще почитать:
▪️Пост про грейды в бигтехе [ч1, ч2]. Все же в курсе, что сеньор это еще не все?:)
▪️Список книг по ML, без комментариев
▪️Гайд по ускорению диффузии [ч1, ч2], так сказать полевой опыт.
▪️Разбор того, как дистиллировали sd3 в 4 шага, который репостнул CEO бывший CEO Stability
▪️Список лекций и туториалов про 3D Human Understanding от топовых ученых из этой сферы.
▪️Лонгрид про парижский стартап Mistral и мое знакомство с фаундером.
▪️Пост про GR00T, модельку от nvidia, которая может стать chatgpt моментом в робототехнике.
▪️Еще вот про те самые чаевые в $200 для LMM и финальный список всех трюков, чтобы вставить в промпт по умолчанию.

Недавно запустился еженедельный #дайджест с кратким обзором новостей.

А также в ленте можно найти 1000 и 1 разбор свежих пейперов с мои авторитетным мнением, еще есть рубрика #ликбез с разбором базовых тем и #карьера с моими мыслями/байками по карьере в AI/ML.

Ну что, поздравляю всех новоприбывших! Обнял ❤️

@ai_newz

эйай ньюз

10 Apr 2024 16:26

Помните, по сети гулял недавно серьезный сервис Magnigic AI для креативного апскейла картинок? Все бы ничего, но удовольствие такое стоит $40.

Так вот... Оказывается, Леонардо в тихую запустил такую же тулзу бесплатно! В день там даются 150 токенов, чего хватает на 5 апскейлов до 5 мегапикселей (в бесплатной версии).  То есть разрешение после Дали увеличить получиться только в 1,5 раза, но зато появится детализация. После, при желании, можно прогнать картинку еще через какой-нибудь апсейлер типа топаза или upscale media (разрешение до 1500х1500) и получить полноценный 4K (пример файлом).

Предположительно работает это так:

Сначала апскейлишь картинку билинейно (обычный апскейл), добавляешь нойза, режешь это все на тайлы (куски) с нахлестом и скармливашь каждый зашумленный кусок в Stable Diffusion (с контролнетом или без). В конце собираешь все обратно.

В a1111 плагин называется ControlNet Tiles, штука старая и довольно известная, позволяет получить картинки вплоть до 32,000 и более пикселей, а также апскейлить на слабом железе. Здесь, в общем, то же самое, но довольно быстро (секунд за 30) и в удобном интерфейсе. Доводить картинки из Dalle 3 до уровня Миджорни самое то!

Leonardo

@ai_newz

эйай ньюз

18 Apr 2024 22:31

Принес еще несколько примеров как работает наш Imagine Flash.

Попробовать можно на meta.ai под американским VPN-ом.

@ai_newz

эйай ньюз

18 Apr 2024 18:11

⚡️Imagine Flash - самая быстра генерация text2image

И самая главная новость Imagine Flash – это проект который я вел, и модель, которую я лично тренировал. Мы дистиллировали и ускорили нашу text2image модель Emu, да так, что генерация работает в риалтайме пока вы печатаете промпт! Я очень горжусь тем, что мой проект, который я начал в конце прошлого года вылился в такой мощный релиз – круто видеть реальный импакт своей работы.

Модель Imagine Flash интегрирована в LLaMa. Нужно только начать печатать "Imagine ..." и моментально будет показано превью того, что вы пишете, обновляя генерацию с каждым символом.

А после отправки сообщения можно кликнуть "animate" и быстро анимировать картинку – я и моя команда, конечно, тоже ускорили эту модель для анимации. Еще можно создать видео, где показано как меняется финальный результат во время того, как вы печатали промпт.

Уже доступно в WhatsApp и meta.ai (Flash только в СШA).

Блогпост

@ai_newz

эйай ньюз

18 Apr 2024 18:05

🔥LLaMa 3 - дождались: Новая SOTA в open-source!

Сегодня день больших релизов от Meta, в которых и я и моя команда принимала прямое участие.

Зарелизили в опенсорс LLaMa-3 8B и 70B:
🔳LLaMa-3 8B – лучшая в своем классе модель, и сопоставима с LLaMa-2 70B, хоть и в 10 раз меньше.
🔳LLaMa-3 70B – тоже самая мощная в режиме 70 млрд параметров, достигает 82 на MMLU бенчмарке (показывает уровень общих знаний в разных областях). Для сравнения, недавняя Mixtral 8x22B с 141B параметров достигает только MMLU 77.8. Ну, и ждем результатов на арене.

C новыми моделями можно початиться на meta.ai

Блог
Подробности
Скачать веса модели

@ai_newz

эйай ньюз

18 Apr 2024 14:28

На прошлой неделе впервые слетал в Гамбург

Побывал в офисе Меты, посмотрел, как тут наш гамбургский офис. В Гамбурге сидят в основном сейлс. Тут нет технарей, инженеров. Поэтому устроиться работать туда как Research Scientist не получится, а жаль, потому что виды из окна - отличные.

Встретился с экс-CFO одного крупного немецкого банка. И заметил одну интересную вещь – люди, вне тех сектора, часто заблуждаясь, считают что проще простого нанять highly-skilled AI инженера. Он с уверенностью говорил, что банки пылесосят IT-таланты, и что там уже работают самые крутые AI спецы, потому что банки им могут хорошо платить (кек). Есть, конечно, банки-исключения, но в целом даже в Big Tech команды страдают от того, что очень тяжело даётся найм людей, тем более на высокие уровни. Людей, хорошо секущих в AI рисерче, на сегодня по моей прикидке от силы 10-20 тысяч. А в engineering допустим x2. Чем более опытного спеца ты ищешь, тем уже становится выбор. И тут одних лишь денег зачастую бывает мало, такие люди хотят еще и интересными вещами заниматься, коих в банке не всегда могут предложить. Да и в банках платят в среднем сильно меньше чем в BigTech или OpenAI, конечно если ты не CFO.

Мои впечатления о городе:
Город прикольный, что-то между Берлином с ультралевыми вайбами и Амстером, потому что в Гамбурге тоже есть квартал красных фонарей, бордели, очень много секс-театров и прочих удивительных вещей в этом духе. Есть там как трэшовенькие квартальчики, так и очень красивые. Фан факт: в Гамбурге живет самое большое количество миллионеров в Германии. Еще здесь много вкусных морепродуктов, я случайно нашел целую улицу португальских ресторанов и очень хорошо там покушал.

А есть у нас тут в канале люди из Гамбурга?

#personal #карьера
@ai_newz

эйай ньюз

17 Apr 2024 17:28

Новый Atlas от Boston Dynamics

Только вчера они прощались с классической моделью Атласа, над которым как только не измывались, а сегодня уже показывают его замену. В отличие от прошлых, гидравлических, поколений, новое поколение Atlas - полностью электрическое, что делает его сильнее и ловче.

Выглядит прикольно - дизайном напоминает фантастику 50-х. Мелкой моторики Optimus мы тут, конечно же, не увидим, но двигается он гораздо живее. И, самое важное, его возможно будет купить после бета-тестирования клиентами (пока что это только Hyundai). Но, смотря на цену Spot (да-да, та самая робо-собачка) в $75k, страшно и представить сколько попросят за гуманоидного робота.

@ai_newz

эйай ньюз

17 Apr 2024 12:21

Кажется, мы стали забывать, сколько стоит тренировка Gemini Ultra... ее оценивают в 191.4 миллиона долларов $$$!

Это почти в 2.5 раза больше чем GPT-4, и тут еще не учтены остальные эксперименты, которые не выгорели.

Но и инференс же тоже не дешевый. Уверен, что гугл сейчас в убыток раскатывает свои модели в прод.

@ai_newz

эйай ньюз

16 Apr 2024 14:23

До сих пор довольно мало инфы известно о реализации модели SORA. Есть только спекуляции, и часто ошибочные. Основная идея — это то, что там огромный и медленный DiT (диффузионный трансформер), натренированный на большом объеме качественных видео.

Я наткнулся на запись доклада, где основные авторы SORA Tim Brooks & Bill Peebles трут о модели на каком-то митапе в Долине. Запись шакальная, как экранная копия кино, снятого с сони-эриксона в кинотеатре (ну зато субтитры приделали). Но все равно, думаю, интересно послушать про Сору от самих авторов, хоть и глубоких деталей они все равно не дают, конечно.

@ai_newz

эйай ньюз

16 Apr 2024 11:25

Решил я стать промпт-инженером и получать $300кк/сек, поэтому посмотрел курс Эндрю Ына "ChatGPT Prompt Engineering for Developers". Шучу, конечно. Просто хотелось понять, насколько полезны такого рода курсы, может там действительно учат заклинать нейронки – я впервые смотрел лекции по промпт-инжинирингу.

Мой честный отзыв:
– Курс будет полезен для новичков, которые слабо представляют как работать с LLM, и что у нее можно просить (и как). Классно, что параллельно с видео можно самому играться с промптами и вызывать GPT-3.5 через API в бесплатном ноутбуке, который встроен в интерфейс курса.
– Кроме этого, особо ничему там не научат. Разве, что я увидел прикольную тулзу redlines для подсветки разницы между двумя текстами в python (см скрин в первом коммментарии).

Так что для новичков — рекомендую. Для остальных — нет, лучше почитайте статьи какие-нибудь.

Ссылка на курс (бесплатно)

#туториал
@ai_newz

эйай ньюз

15 Apr 2024 12:02

Chatbot Arena: Альтман наносит ответный удар

Пару недель назад Claude 3 Opus сместил GPT-4 с вершины пищевой цепочки по общему рейтингу, но тут подоспели результаты новой GPT-4 Turbo 2024-04-09 в чатбот арене. Новая модель OpenAI смогла победить Opus, который продержался на первом месте чуть меньше трёх недель. Claude 3 Opus всё ещё лучше в отдельных задачах: понимании длинного контекста и китайском языке.

А ещё появились результаты DBRX, всё плохо: модель оказалась на 26 месте и отстаёт от Mixtral, у которого в два раза меньше параметров.

Под конец приведу цитату классика: "Сейчас я доверяю только двум бенчмаркам LLM: Chatbot Arena и разделу комментариев r/LocalLlama."

@ai_newz

эйай ньюз

13 Apr 2024 20:54

Там на NeurIPS (топовая конфа по AI) объявили о создании трека для старшеклассников, чтоб они сабмитил научные статейки еще со школы.

Кажется, без двух статей на Нипсе скоро даже в бакалавриат брать не будут. 👀

Сейчас уже на PhD в топовые лабы не пробиться без top-tier публикаций. Я еще на дурничку проскочил в 2015, когда не было такого хайпа, и почти ни у кого до аспирантуры не было серьезных публикаций.

П.с. напишите в комментах, если хотите пост с моим мнением по поводу "нужно ли делать PhD".

@ai_newz

эйай ньюз

13 Apr 2024 14:01

Илонка молодец, Илонка анонсировал новую версию своей языковой модели Grok 1.5V. Теперь она понимает картинки. Судя по табличке с бенчмарками, Vision часть модели работает плюс-минус на уровне GPT-4V (правда, непонятно с какой версией они сравнивали).

Ещё и новый бенчмарк (RealWorldQA) зарелизили, для проверки того, как хорошо модель умеет понимать загружаемые фото. Там 700 фото и вопросов к этим фото, нацеленных оценить именно пространственное мышление модели – с этим у них часто проблемы, и Grok 1.5V на этом бенчмарке сильно лучше чем GPT-4V и Claude 3 Sonnet.

Доступ обещают "скоро", но базовой Grok 1.5 обещали на прошлой неделе, а всё ещё не релизнули. Напомню, что Grok-1 выпустили в опенсорс только месяц назад, но модель слишком большая, чтобы быть юзабельной (314 B параметров).

Ждем веса и код новой модели! 😑

@ai_newz

эйай ньюз

12 Apr 2024 15:29

🔥 Вышла Алиса нового поколения, которая научилась общаться как мудрый и внимательный собеседник

Про апгрейд из анонса: сейчас Алиса может ответить на 95% вопросов, тогда как раньше она отвечала на 40% и остальное предлагала найти в поиске. Все это потому что подключили новую модель – YandexGPT.

Общение тоже изменилось: Алиса научилась объяснять сложные вещи простыми словами, генерировать идеи и удерживать контекст беседы. Даже если пользователь отвлечется и через время задаст ей дополнительный вопрос.

Ещё выпустили опцию «Про» на мощнейшей на сегодня нейросети Яндекса — YandexGPT 3 Pro. Там есть все скиллы для брейншторма, придумывания концепций и даже виртуальная няня.

На русском языке, YandexGPT 3 Pro обходит GPT-3.5 Turbo в 58% случаях на side-by-side сравнениях.

@ai_newz

эйай ньюз

11 Apr 2024 16:15

Training Retrieval Augmented Generation With Ola Piktus

Послушал подкастик с ресерч-инженером из Cohere, Александрой Пиктус, которая отвечает за RAG в той самой языковой модели Command R+.

Олу я знаю еще с 2019 года, когда я был в Лондоне на стажировке в FAIR. Так получилось, что мы сидели за соседними столами. Тогда она делала Hackamonth в NLP-команде Лондонского FAIR. Hackamonth – это когда ты устал от привычной рутины, и идёшь на месяц поработать в другую команду, занимаясь полностью другим проектом в новой области. Очень крутая штука для обмена опыта между командами.

В итоге после хакамесяца Ола полностью перешла в FAIR на позицию Research Engineer.

Меня часто спрашивают, можно ли перекатиться на ресерч позицию, если ты Software engineer без PhD. Как раз на примере Олы можно проследить, как она это сделала, она об это рассказывает в начале подкаста. Конечно, для такого пивота немаловажна удача (ей очень повезло с командой) и вообще попасть в FAANG хотя бы на SWE. Ола, кстати, рассказала, что у нее получилось попасть в Мету не с первой попытки, и что самое главное — это хорошо подготовиться к собесам (с этим я полностью согласен).

Два года назад Ола ушла из Меты, затем поработала в Hugging Face, а сейчас она пилит RAG для моделек в Cohere.

Она варится в NLP c 2019 года, и является соавтором многих статьей, в том числе той, в которой изначально и предложили метод RAG: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks.

В подкасте Ола на довольно простом языке объясняла базовые принципы работы RAG так, что поймут даже новички в теме.

Кстати, мне очень близка точка зрения Александры о том, почему LLM галлюцинируют:

Ultimately, this is about the probability of the next word. The model is not building some sort of internal structure of the world and it's not the truth machine. It's doesn't have the ability to build a model of reality. It' primarily about the text and what is written.

эйай ньюз

10 Apr 2024 16:31

Результат получается с очень большим количеством деталей. ❤️

@ai_newz

эйай ньюз

10 Apr 2024 04:54

🔥Тэкс, свежий дроп - Mixtral-8x22B!

Mistral как обычно в своем стиле, тупо оставили magnet-ссылку на торрент с весами своей новой модели. Вот знатные троли.

Новая модель это Mixture of Experts Mixtral-8x22B:
- Размер модели 262 GB (я так понимаю веса в fp16)
- 8 экспертов / 2 активных
- 56 слоев, hidden_dim=16384, 48 attention голов
- Размер контекста 65536 токенов.

Обстановочка в гонке моделей накаляется с каждым днем. Кажется, Command R+ могут подвинуть на лидерборде! Weclome to ARENA! 🍿

@ai_newz