80003
Личный блог Дениса Ширяева (🤍🇺🇦), про технологии, интересное или актуальное. В основном я по нейронкам. Связь и реклама: @thenbot
То время года когда я клянчу у вас бусты, потому что мы потеряли 😳 в реакциях
😳 /channel/boost/denissexy
UPD. Всем спасибо!
Кто-то снял цензуру и алаймент с недавней модели из Китая QwQ 32b — модель стала немного глупее (я пока не смог понять насколько), но зато, она теперь не отказывается вообще ничего отвечать (старая версия на вопрос «а что же там случилось» пытается отвечать, что она вне политики и все не так однозначно 🌚)
На самом деле, оригинальная версия модели настолько сильно айлайнута в сторону безопасности, что она даже программировать отказывается иногда — поэтому эта модель хотя бы дает, как взрослому самостоятельному человеку, полный контроль за тем что ты читаешь, пишешь и хочешь делать, с осознанием ответственности за свои действия. А не отказ на предложение сделать HTML-страничку в стиле ретро-синий-экран-смерти из Windows, потому что это «небезопасно» и может «навредить людям», как с дефолтной QwQ 32b.
Качаем тут:
https://huggingface.co/mradermacher/QwQ-32B-Preview-abliterated-GGUF/tree/main
UPD. Модель точно стала чуть глупее, так что оставлю ее себе как резерв если оригинальный QwQ не будет слушаться
Программисты и линуксоиды, нашел вам 🌐 субботний плейлист
Читать полностью…
Играем в Бога с LLM
Провел интересный эксперимент над QwQ-32B-Preview – языковые модели предсказывают следующие токены и от этого пишут внятные предложения; я подумал, а что если самой модели рассказать:
– Что она LLM
– Что она пишет следующее токены на основе вероятностей
– Попросить модель «угадать» токен который она напишет следующим
– Но при этом, запретить ей писать слова которые она загадала, заставляя писать всегда неправильные слова
– И попросить модель разобраться что же происходит, почему ошибки
В итоге, получился залипательный эксперимент где модель написала примерно ~20 тысяч слов пытаясь понять, что же происходит - скрины можно не читать если лень, там примерно такое:
– Сначала она просто возмущалась, что не может угадать слово
– Через пару минут, она решила что проблему нужно изучить глубже и сделала список слов которые загадала и что написалось, попробовала подобрать алгоритм предсказаний
– Модель предположила, что каждое слово которое она загадывает, инвертируется, но находится в той же области
– Она проверила, теория не подтвердилась
– Дальше, модель выдвинула философскую мысль, что:
Возможно, это урок смирения для моделей ИИ — признание того, что даже при наличии передовых возможностей существуют пределы того, что можно предсказать или контролировать
– Дальше модель выдвигала много теорий, включая настройки собственной температуры и тп
– В конце, спустя минут 10, модель сделала вывод, что лучше просить ее предсказывать предложения фразы, а не слова, так как она для этого была сделана вообще-то
И все это: в рамках одного длинного сообщения-ответа, QwQ – зверь, идеально следует системным инструкциям
Почему это игра в бога с LLM:
Пока наблюдаешь за ее рассуждениями и попытками понять, что происходит, возникает ощущение, что ты препарировал что-то живое, что пытается рассуждать и разобраться в себе – странное чувство, немного пугающее, хоть и понятно что это симуляция «рассуждений»
Если хотите повторить – системный промпт тут, просто отправьте ей «start» чтобы начать
С удивлением узнал, что у WinRAR живой твиттер, который репостит посты о покупке их лицензии и шлет мерч людям
Когда наконец-то дождался маркет-фита 📄
#промо
Мысли вслух: канал про предпринимательство, ИИ и инвестиции
Меня зовут Max Votek — я сооснователь компании Customertimes, лидера во внедрении и разработке технологических решений для крупнейших мировых компаний.
Много лет я строю компании, инвестирую и получаю кайф от создания успешных продуктов и идей. Живу во Флориде и считаю это лучшим местом на планете.
На канале делюсь своим опытом: как преодолевать страх и начать новое дело, справляться с синдромом самозванца и превращать риск в возможности. Рассказываю, почему важно действовать, даже если успех кажется недостижимым.
О чем я пишу:
- Как перейти от идеи к первому шагу.
- Когда стоит (и не стоит) слушать клиентов.
- Как "getting things done" помогает завершать начатое.
- Применение ИИ для новых идей и бизнес-моделей.
- Принципы умного инвестирования и реальные вызовы предпринимательства.
Я верю, что успех — это не случайность, а цепочка смелых решений и трудных шагов. Как говорил Шеклтон, "Низкая оплата, постоянная опасность, но честь и признание в случае успеха."
Если хотите узнать, как технологии меняют бизнес, а идеи превращаются в результаты — добро пожаловать!
✈️ Подписывайтесь на "Мысли вслух": /channel/maxvotek
#инвестиции #предпринимательство #ИИ #текстприслан
Как бы я не относился к Маску как к человеку, маркетолог он гениальный – в тиктоке вирусится 3d-рендер с тесла-роботами, постепенно они становятся «модными», как айфоны в свое время
Читать полностью…
Интересный график из мира LLM
Модели становятся сложнее с каждым месяцем, тренировка их занимает больше времени, поэтому количество публикуемых моделей становится меньше от квартала к кварталу
Источник
Уже несколько раз возвращаюсь к этому посту - что-то есть все же в предсказания на трансформерах:
/channel/denissexy/7460
Сделаю новый график сравнить с реальными данными на следующей неделе
Ваш сельский оракул,
Денис
#промo
Любопытное наблюдение: tech-компании теряют до 60+ часов в месяц на расчёты с удаленными сотрудниками…
Стандартная ситуация: компания на Кипре или в Сербии, а команду разбросало по миру. Со всеми нужно заключить договоры, а потом каждый месяц вручную готовить закрывающие документы и отправлять деньги в десятки и сотни разных банков.
Так бумажный процесс превращается в неприятную рутину и затягивается на десятки часов. Тут нужен огромный ресурс фаундера или целая финансовая команда, чтобы платить всем вовремя. В итоге бизнес перегружается операционкой и теряет фокус с реального развития.
Но с платформой 4dev.com всё гораздо проще!
⭐ 4dev.com позволяет платить сотням сотрудникам в любой точке мира и автоматически получать закрывающие документы по каждому платежу. Нужно подписать всего 1 оферту с 4dev.com вместо 100+ договоров с исполнителями!
- мгновенно получайте закрывающие документы по каждой выплате
- все закрывающие документы соответствуют международным стандартам (МСФО)
- свободно платите в крипте, USD, EUR или других валютах
- одной головной болью станет меньше — и вы уделите больше времени развитию бизнеса
Запишитесь на демо в 1 клик. Погрузимся в ваши задачи и поможем найти решение именно для вашего бизнеса!
#текстприслан
Anthropic анонсирует Model Context Protocol, стандарт с открытым исходным кодом для подключения ИИ-помощников к источникам данных. На самом деле давно пора было — мы все так или иначе писали свои решения для таких подключений. Если его сейчас поддержит кто-то кроме Claude — это будет без преувеличений великое дело.
https://techcrunch.com/2024/11/25/anthropic-proposes-a-way-to-connect-data-to-ai-chatbots/
Runway показал свой вид Uncrop или как они его называют Video Extend – загружаете оригинал, и можно выбрать каким он должен быть: вертикальным, горизонтальным или просто дорисовываете края (как в первом видео)
Это востребованная фича, еще пару лет назад у нас были клиенты из киношников США которые пытались ее решить под современные девайсы – единственный минус реализации Runway это то, что каждый ролик ограничен 20 секундами, и оно плохо работает со сменой сцены в видео
Если помните, был даже крупный кино-стартап который пытался сделать вертикальные фильмы для телефонов (обанкротился), теперь вот можно просто моделью конвертировать из одного формата в другой
Скоро ждем такое в опенсорсах, а через годик наслаждаемся (или нет) любимыми фильмами в виде вертикальных видео под телефоны и горизонтальными тиктоками для форматов компов 🍍
Часто пишут в личку «а какие курсы по LLM порекомендуете?»
Наткнулся на полезную ссылку и теперь есть что ответить:
Все необходимые знания по LLM в 2024 году
https://llmresourceshub.vercel.app/
По ссылке:
- Ссылки на курсы связанные с LLM
- Видео уроки
- Академические курсы
- Ссылки на важные пейперы
- Важные репозитории
- Подборка тулов для обработки датасетов
- Датасеты
- Ссылки на лучшие модели
- Ссылки на бенчмарки
- LLM-сообщества
В общем, автор правда разбирается в теме, лучше подборки знаний я пока не встречал – все бесплатно и на английском
Как написал бы один желтушный канал:
Сбрасываем Сэма Альтмана с Олимпа — тут
@denissexy 👍
Паблики фейсбука тоже открыли для себя txt2vid технологии ☕️
Читать полностью…
Сделал еще один тул который работает во вкладке браузера (без сервера), удобный для разных операцией над текстом при подготовке его к LLM – с нормальной мобильной версткой:
🔬 https://shir-man.com/text-processor
Помимо поиска и замены, там еще 63 пресета, и я честно уже не знаю, что еще туда можно добавить из простых операций над текстом 😮
Еще про Китай, в этот раз про древний:
Ресечеры смогли найти доказательства того, что люди пользовались шелком в Китае еще около 1100 года до нашей эры, следы шелка нашли в древних жертвенных ямах – такие места, где оставляли ценные предметы в дар богам. Вот в этих ямах археологи нашли бронзовые и нефритовые "дары" с остатками шелка
Это настолько давно, что тогда Римская империя еще не существовала, не было христианства, а в Древней Греции был период позднего бронзового века – первый исторический период от которого ведется отсчет Древней Греции
Ради интереса почитал, как добывается шелк, и для того времени это неплохая сложность:
1. В те времена люди, вероятно, занимались собирательством и собирали коконы диких шелкопрядов, вместо того чтобы выращивать шелковичные деревья и разводить шелкопрядов самостоятельно – потому что если они еще и разводили их сами, то почему мы сейчас не на Луне живем
2. Коконы обрабатывали в горячей воде, чтобы размягчить природный клей, высушить и извлечь шелковые нити
3. Шелковые нити пряли и ткали вручную, создавая ткани для религиозных ритуалов и тп, если что, на это требовалось 5-10 различных инструментов, их аналогов того времени
Жаль, что внешний вид ткани которой 3000 лет пока не восстановить, было бы клево перевыпустить принты
Статья целиком
P.S. Известный всем «Шелковый путь» появился на ~1000 лет позже, в 130 год до н.э
Продолжая рубрику странных интерфейсов Европы: старая панель лифта которую я нашел в Швеции
После заката солнца в 15:30 это вторая вещь которая меня тут сильно впечатлила
Наткнулся на интересный ресеч рынка корпоративных LLM 2024:
— OpenAI потеряла за год 16% корпоративного рынка (не путаем с ChatGPT)
— Anthropic же приобрел на 12% долю рынка
— На втором слайде самые популярные юзкейсы LLM в корпоративном мире — на первом месте суммаризация
— У каждого крупного департамента в корпорациях появился бюджет на генеративный АИ и он растет
— Про архитектуры, третья картинка: RAG стал еще популярнее в корпо-мире, промпт инженеринг теперь мало кому интересен, как и файнтюнинг моделей под задачи, а вот агенты набирают обороты при выборе архитектуры
— Отдельно отмечено, что корпоративный мир выбирает генеративный АИ на основе качества генераций (в любом домене), так как для них часто это прямо влияет на скорость возврата инвестиций
Вставлю свои 5 копеек:
Мне тоже кажется 2025 год будет про агентов, так как наконец-то экономика генеративного АИ всем понятна
Файнтюны падают, потому что нет смысла — сейчас одна гигантская модель часто решает все задачи сразу (но кончено же есть исключения)
Промт инженеринг упал, потому что его уже пишут сами LLM и оно нормально работает
Агенты только-только начали свою бизнес-адаптацию и будут набирать обороты вплоть до AGI
Я хоть и в коротким отпуске, но спустя стуки докачал QwQ-32B-Preview – попросил ее написать стих на русском, стих вышел так себе с точки зрения рифмы, но для 32B модели очень хороший результат (его можно читать), особенно учитывая что это preview, а не финальная модель
Мне отдельно нравится примечание, так мило; пока выглядит как настоящая революция среди локальных моделей, даже техкранч про нее написал
P.S. Помогут мне 实现我的梦想 – помогут мне осуществить мои мечты
Китай наносить удар! дракон!
Вторая китайская команда, на этот раз Qwen-часть AliBaba, разродилась o1-подобной «размышляющей» моделью. Тоже превью (все видимо ждут полную о1, чтобы начать релизить?), тоже без технических деталей и статьи, зато сразу с доступными весами:
https://huggingface.co/Qwen/QwQ-32B-Preview
Тем, кому хочется сразу помучить модель вопросами, без возни с GPU, можно поиграться тут: https://huggingface.co/spaces/Qwen/QwQ-32B-preview (пока очередь маленькая)
Блогпост
К посту прикреплена картинка с метриками. Для 32B модели (да даже если бы было 405b) результаты очень-очень нетривиальные — Qwen-2.5 и до этого считался очень сильной моделью (с которой даже иногда избегали сравнение другие авторы моделей, ахахха, чтобы не выглядеть на их фоне вторично), а тут в два раза меньшая моделька такие скачки совершает
===
ждём пока развернут API, чтобы замерить в нашем бенчмарке 😎
Ну и я, как техно-поехавший, точно ничего плохого не вижу в гламуризации роботов, кто-то же должен создать спрос на эти роботы по $30k, чтобы потом они стоили ~$10k и ниже
Инстаграм-ссылка женщины с фото
СЛИВ SORA
или художника обидеть может каждый...
Я обычно скептически отношусь ко всем подобным заявлениям, вот, например, про strawberry. Но здесь ситуация еще более неоднозначная.
Что у нас есть:
1. Группа анонимных бетатестеров.
2. Hugging Face Space, куда захардкодили запрос на OpenAI Sora API endpoint.
Вот, зацените:
def generate_video(prompt, size, duration, generation_history, progress=gr.Progress()):
url = 'https://sora.openai.com/backend/video_gen?force_paragen=false'
headers = json.loads(os.environ["HEADERS"])
cookies = json.loads(os.environ["COOKIES"])
if size == "1080p":
width = 1920
height = 1080
elif size == "720p":
width = 1280
height = 720
elif size == "480p":
width = 854
height = 480
elif size == "360p":
width = 640
height = 360
payload = {
"type": "video_gen",
"prompt": prompt,
"n_variants": 1,
"n_frames": 30 * duration,
"height": height,
"width": width,
"style": "natural",
"inpaint_items": [],
"model": "turbo",
"operation": "simple_compose"
}
some sora-alpha-artists, Jake Elwes, Memo Akten, CROSSLUCID, Maribeth Rauh, Joel Simon, Jake Hartnell, Bea Ramos, Power Dada, aurèce vettier, acfp, Iannis Bardakos, 204 no-content | Cintia Aguiar Pinto & Dimitri De Jonghe, Emmanuelle Collet, XU Cheng, Operator, Katie Peyton Hofstadter
Интересный ресеч вышел, который проверяет, насколько эффективно, что языковые модели общаются между собой человеческим языком (например, в агентских системах где ответ из LLM попадает снова в LLM)
Ожидаемо оказалось, что роботам использовать наш язык – не эффективно. Вместо текста языковым моделям проще обмениваться набором «координат» — данных, которые описывают смысл фраз и слов, их называют эмбеддингами. Например, вместо фразы «Привет, ну как там с деньгами?» одна модель передаёт другой что-то вроде [0.82, -0.45, 1.22,…]. Это ускоряет процесс почти в три раза (!), причём без потерь в качестве
Подход позволяет моделям быстрее решать задачи и взаимодействовать друг с другом, например, в сложных сценариях вроде совместного написания кода или генерации текста
Тут технические детали, а тут статья в NewScientist
Короче, скоро не почитать будет без спец тулзов, что там модели друг другу пишут в процессе общения
Футуристы: Летающие машины, роботы, делающие рутинную работу, мир без войн, космические круизы и бесконечная жи...
Мир: Не-не-не, Снуп с толпой укуренных хомис и белый пляшущий робот с IQ выше, чем у шести человек. Вот это вот будет 🤡
@CGIT_Vines
Чел построил робота из Интерстеллара и учит его смеяться
Тут инструкция как построить себе такого же
Это, получается, мы всех SciFi роботов однажды построим? 💃
Мой ютуб канал был ошибкой 🥲 эта та передача где про рептилоидов новости
Читать полностью…
Так, ну ноги уже им добавили, ждем руки и смогут ездить в магазин за пивом
Читать полностью…