3066
@Futuris - канал о технологиях, будущем и не только. Contact @antonod
Из OpenAI ушли три лидера:
1. Peter Deng, вице-президент по продукту.
2. John Schulman, сооснователь, перешел в Anthropic после 9 лет работы в OpenAI.
3. Greg Brockman, сооснователь и бывший CTO, берет длительный отпуск.
Остаётся надеяться, что на качестве и сроках будущих моделей это несильно скажется 🌚
https://techcrunch.com/2024/08/05/openai-co-founder-leaves-for-anthropic/?guccounter=1
Интересный кейс использования LLM для факт-чекинга, правда не понятно кто проверит саму нейронку🌚 Но годик и вполне реальный концепт👌
А ещё тут Neuralink вживили чип второму пациенту и ещё 8 на подходе в этом году✨
⚡️⚡️⚡️
OpenAI в ближайшее время предоставят/предоставили ранний доступ к GPT-5 Институту безопасности ИИ США (видимо настолько потенциально опасная, что только после одобрения правительства🌚). Это партнерство направлено на обеспечение безопасности и надежности моделей ИИ до их публичного выпуска. Гендиректор OpenAI Сэм Альтман сообщил, что команда активно работает с институтом над научными исследованиями в области оценки ИИ.
Представляю ощущения сотрудников, которые получат доступ - герои фантастического фильма, но неизвестно с каким окончанием🤖
https://www.indiatoday.in/technology/news/story/openai-says-us-govt-will-get-to-see-chatgpt-5-before-anyone-else-2575890-2024-08-02
Пару часов свободного времени, доступ к бесплатным video/audio генераторам и вы на другой планете ✨ сделано одним человеком за 2 дня, в интересные времена живём, а дальше ещё интереснее 🤓
Читать полностью…
Новая экспериментальная версия Gemini 1.5 Pro вырвалась в топ арены
Давно такого не было! И как-то радостно. Модель уже доступна в AI Studio (заходить через VPN). К результатам одного бенча всегда стоит относиться осторожно, ждём вайбчеков и других бенчей.
Релиз OpenAI через 3...2...
@ai_newz
И всё-таки она поёт, как бы OpenAI не урезали голосовые возможности🌚
Читать полностью…
OpenAI начали предоставлять доступ к обновлённой GPT4o с длииинннными ответами в 64к токенов за раз (около 50 тыс слов) ✨ но пока только избранным
Читать полностью…
Попался тут AI сервис для 3д дизайна. Он вам и текстуру и модельку сгенерит ✨ го пробовать https://www.meshy.ai/
Читать полностью…
Исследователи из DeepMind представили две новые системы искусственного интеллекта - AlphaProof и AlphaGeometry 2, которые достигли уровня серебряной медали на Международной математической олимпиаде 2024 года. Системы решили 4 из 6 задач олимпиады, набрав 28 из 42 возможных баллов. AlphaProof использует формальный язык Lean и обучение с подкреплением для доказательства математических утверждений. Обе модели показали впечатляющие результаты, решив в том числе самую сложную задачу олимпиады.
DeepMind планирует интегрировать разработанные технологии математического рассуждения в систему Gemini. Это позволит улучшить способности Gemini в области математики и логического мышления. В будущем Gemini сможет помогать математикам исследовать гипотезы, предлагать новые подходы к решению сложных задач и ускорять процесс доказательств. Исследователи надеются, что такие инструменты ИИ откроют новые возможности для научных открытий и технологических инноваций, основанных на продвинутом математическом анализе✨
УСКОРЯЕМСЯ⚡️
Модель выложили - пообщаться можно тут https://llama.meta.com/
или тут https://huggingface.co/chat/models/meta-llama/Meta-Llama-3.1-405B-Instruct-FP8
Elon Musk твитнул, что сегодня ночью они запустили тренировку на свежепостроенном суперкластере X.AI в Мемфис, штат Теннеси.
В этом датацентре установлено 100'000 видеокарт H100 😨 это ОЧЕНЬ много — META недавно запустила 2 кластера по 24'576 GPU, а GPT-4 тренировали, по слухам, на 25'000 карт.
Мало того, что самих чипов больше, каждый из них ещё и в 2-3 раза мощнее. Точную оценку дать сложно, многое упирается в инфраструктуру и способ обмена разных серверов информацией. Чем больше карт — тем дольше их синхронизировать, и потому падает утилизация.
Если прикидывать грубо, то система в 10 раз мощнее тренировавшей модель OpenAI (x4 за кол-во карт и x2.5 за новое поколение чипов). Честно, я не ждал, что уже в этом году заработает такой кластер — думал, может, на 75-80 тысячах остановятся. Тем более я не ждал этого от Elon — ведь его X.AI буквально последними запрыгнули в AI гонку, когда видеокарточек уже буквально не было!
Но если новичок смог за полтора года так разогнаться, то, наверное, у OpenAI x Microsoft или Google мощностей для запуска одной тренировки может быть в 2-3 раза больше. Думаю, тезис про «самый большой кластер» под вопросом (просто они непубличные и мы про них не знаем).
В любом случае, развитие продолжается, ждём Grok 3 в декабре — а вместе с ним и моделей от других ведущих лабораторий!
Вышла
Вот картинка с бенчмарками, сравнивать можно с Gemini Flash от Google (обе на графике — в оранжевых тонах).
Очень заметен отрыв на датасете MATH (задачи по математике 🧐). Одни скажут «прорыв😏», другие — «да переобучились на данных!». А правду узнаем уже из опыта использования моделей!
Правда модель от OpenAI ... дешевле в 2 раза! Всего 15 центов за миллион входных токенов, и 60 за миллион на выходе — это ОЧЕНЬ мало. Дешевле GPT-3.5-Turbo на 65%!
И напомню, что даже эти копейки можно срезать на 50%, если пользоваться Batch API (это когда вы загружаете файл с сотнями-тысячами запросов, и он в течение суток обрабатывается; не подходит для чатов, но подходит для разных неприоритетных фоновых задач).
К сожалению, контекст так и остался на отметке в 128000 токенов.
P.S.: с этим релизом GPT-3.5-Turbo, представитель прошлого поколения моделей, уходит на покой 🫡 спи сладко. Но ещё на покой ушли десятки опенсурсных моделей: многие 70B варианты дороже даже у демпингующих провайдеров 🥺 Да что там, gemma-2-27b (крутая моделька гугла) стоит $0.27 — почти в два раза дороже 🤯
Крутое применение фреймов в Luma для достижения bullet time и slow mo анимации в реальном видео, вообще теперь только так MMA бы и смотрел🥊
Читать полностью…
Не опять, а снова 🤪
Илон Маск подал новый иск против OpenAI и Сэма Альтмана, обвиняя их в мошенничестве и нарушении контракта. Маск утверждает, что его ввели в заблуждение, когда он инвестировал 45 миллионов долларов, считая, что OpenAI будет некоммерческой организацией, развивающей искусственный интеллект для блага человечества. По его словам, OpenAI превратилась в коммерческую структуру, действующую в интересах Microsoft. Маск требует аннулировать лицензию OpenAI с Microsoft и выплатить ему компенсацию. Этот иск был подан после того, как он отозвал предыдущий в июне без объяснения причин🤡
Видимо, Grok 2 все-таки не так хорош как Маску хотелось бы 🌚
Ну вы поняли, любительский кинематограф в ближайшем будущем заявит о себе, Netflix - приготовиться! 😉
Читать полностью…
Компания Figure показала нового робота! Figure 02
Появится уже в этом году и видимо он будет предназначен для коммерческого выпуска иии.. мы в будущем✨
https://youtu.be/FZbY9sReu1k?si=tT8EhLnF6j8Hzd5Q
Тут команда которая стояла за появлением Stable Diffusion реорганизовалась и выпустила новый image generator Flux, который сопоставим и иногда даже бьёт Midjourney, особенно с руками✨ (такой должна была быть SD3)
Можете тестить сами https://fal.ai/models/fal-ai/flux/dev?ref=blog.fal.ai
Google представила Gemma 2 2B, компактную AI-модель, превосходящую по производительности более крупные аналоги, включая GPT-3.5. Модель с 2,6 млрд параметров демонстрирует высокие результаты в тестах LMSYS, MMLU и MBPP, превосходя конкурентов с десятикратным размером.
Gemma 2 2B оптимизирована для работы на устройствах, что открывает новые возможности для мобильного AI (ждём в новых пикселях📱). Google делает Gemma 2 2B доступной в открытом коде, способствуя развитию более доступных AI-технологий.
Попробовать уже можно в Google ai studio с VPN-USA
____
И сразу второе интересное - на этом сайте можно без танцев с бубном и регистрации погонять Llama 405b со скоростью генерации около 50 слов в сек✨
Тут OpenAI начали выкатывать новый voice mode в альфа версии, ну и похоже учителя иностранных языков могут начинать переквалификацию в другие сферы деятельности 😅 ну и стендаперы за одно 😜
Читать полностью…
А вот что-то очень интересное: неизвестная компания Topology вдруг представила новую концепцию языковых моделей - Continuous Learning Model (CLM) со слов в презентации: " CLM - языковая модель, способная накапливать знания и навыки со временем, подобно людям. В отличие от традиционных моделей, CLM не имеет ограничений по времени обучения, сохраняет память между разговорами и может приобретать новые навыки без дополнительной настройки. Модель состоит из двух ключевых компонентов: модуля памяти для кодирования и организации данных, и модуля интроспекции для формирования идей на основе воспоминаний." 🤯
Звучит очень круто (если, конечно, это не пиар ход для обычной LLM🌚), но всё это можете протестировать сами тут (работает без впн): https://t.co/QfbYeW4Lfj
По крайней мере мой короткий разговор на русском с этой моделькой получился вполне органичным и натуральным и игру Atari breakout она мне тоже написала с первой попытки, да и дату и курс битка тоже знает🤔 AGI, неужели это ты?
А вот это красиво ✨
Надо будет так же самому Kling помучать🌚
Тут OpenAI решили не отставать от инфоповодов и потизерить свой поисковик (зачем?) Кажется, если они не представят ничего серьёзного в ближайшее время, то у компании явно проблемы, тк недавние gpt4o-mini уже не выдерживают конкуренции🌚
коммент на скрине очень ёмко описывает ситуацию
P.S.
но в лист ожидания встану🤓
Ничего необычного, просто тесты армии робособак🤖 скоро увидим такие же тесты бипедальных, вообще ждёте робо-революцию🦾?
Читать полностью…
Ржака, сайт с нейронками без цензуры добавил LLaMA 405B с цензурой 😁зато работает без впн и возможно зафайнтюнят её же для 18+🌚
Читать полностью…
Пишут, что сегодня - завтра должна релизнуться LLaMA 405B от Meta, а в сеть уже утекли метрики по которым она рвёт даже gpt4o, хоть LLaMA и меньше раза в 4-5🤯
В общем ждём, если это правда, то у опенсорса появится свой король (и возможно это подтолкнёт побыстрее выпустить какую нибудь gpt 4.5o например или Claude 3.5 Opus 🌚)
На реддите активно обсуждают статью Mixture of A Million Experts исследователей из Google DeepMind, которые представили новый метод улучшения работы нейронных сетей. Этот метод называется PEER (Parameter Efficient Expert Retrieval). Он позволяет эффективно использовать более миллиона маленьких экспертов, что ускоряет обучение моделей и снижает вычислительные затраты. Это достигается за счет особого способа выбора нужных экспертов для выполнения задач. Эксперименты показали, что PEER превосходит традиционные подходы по производительности, открывая новые возможности для масштабирования нейронных сетей. Архитектура PEER позволяет эффективно обрабатывать потоки данных, которые могут быть бесконечно длинными или постоянно обновляемыми. Это делает её особенно полезной для задач непрерывного обучения, где модели должны адаптироваться к новым данным, не забывая при этом старую информацию.
В общем, спецы из гугл не спят, что-то постоянно варят и есть подозрение, что ждать пока эти разработки применят на практике нам осталось недолго🌚
OpenAI работает над новым проектом «Strawberry», направленным на улучшение логических способностей своих моделей ИИ. Согласно внутренним документам, проект нацелен на развитие у ИИ навыков автономного исследования в интернете и выполнения сложных задач. Детали проекта тщательно скрыты, однако предполагается, что Strawberry сможет не только отвечать на вопросы, но и планировать действия наперед. Это достижение может значительно повысить уровень интеллекта ИИ, что позволит ему решать задачи, требующие многослойного анализа. Ранее проект был известен под кодовым названием Q*🌚
https://www.reuters.com/technology/artificial-intelligence/openai-working-new-reasoning-technology-under-code-name-strawberry-2024-07-12/?utm_source=reddit.com