61
Записки о нейронках и промтах к ним :)
⚡️Руководства по промпт-инжинирингу
Хорошие гайды по промпт-инжинирингу от спецов из Meta и LinkedIn.
1️⃣ Руководство по промпт-инжинирингу от исследователей проекта DARI.AI
2️⃣ Prompt design and engineering: Introduction and advanced methods (pdf)
Гендир Nvidia похоронил профессию «айтишник». Наше будущее выглядит так: код будут писать только нейронки, а детей уже сейчас нет смысла учить программированию.
Наступает новая эра, где программистами станут все. Если не хотите остаться на обочине, то самый важный скилл сейчас — умение в промпт-инжиниринг. Тот, кто станет экспертом в правильных запросах, будет по-настоящему успешен в нашем супертехнологичном будущем.
Записываем базу на ближайшие 10 лет от дяди в легендарной кожанке.
@whackdoor
Вышла вторая лекция (первая лекция) о нейронках от Андрея Карпатого работавшего в OpenAI и Tesla.
В простой манере он продолжает описывать работу нейронок. В этот раз описывает один из способов токенизации – BPE (Byte Pair Encoding), который подготавливает ваш промпт для работы с нейронкой.
Видео на английском, но можно настроить русские субтитры.
О чем там речь:
Токенайзер - это алгоритм, который преобразует текст в последовательность токенов (целых чисел), перед тем, как его скормить в большую языковую модель (LLM).
Способ помогает уменьшать размер словаря, помогает модели лучше работать в т.ч. с неизвестными словами и упрощает обработку текста. Это делает нейронку эффективнее и быстрее.
Знание токенизации может быть полезным для углубленного понимания работы нейронок и почему некоторые модели работают лучше или быстрее других.
Для разбора примеров в видео Андрей даже написал минимальную имплементацию Byte Pair Encoding (BPE) токенайзера, который широко используется в современных LLM, в том числе и в GPT-4.
Его идею хорошо объясняет @asanakoy:
1️⃣ Берем Unicode строку и представляем ее в виде последовательности байтов. - Изначально каждый байт - это отдельный токен, их всего 256 уникальных.
2️⃣ Затем находим наиболее частую пару соседних токенов и заменяем её на новый токен с номером (256 + i) → пример на скрине.
3️⃣ Повторяем это дело K раз. В итоге имеем словарь на 256 + K токенов, которые сжимают оригинальную последовательность байтов в более короткую последовательность токенов, закодированных номерами.
p.p.s. Также можете посмотреть разбор BPE из NLP курса на HuggingFace.
Имба: этот аналог ChatGPT генерит точные ответы за считанные миллисекунды! Генерация происходит мгновенно — другие чат-боты кажутся неуклюжими мамонтами на фоне Groq.
Чат-бот работает на базе Mixtral и способен реагировать на промпты с бешеной скоростью 500 токенов в секунду — полотна текста генерируются так быстро, что глазом не успеваешь моргнуть!
Функционал у нейронки привычный — как у ChatGPT. Никаких регистраций и подписок не нужно. Пробовать тут.
@whackdoor
Google представил нейросеть Gemini 1.5
Пока для раннего тестирования доступна только модель Gemini 1.5 Pro. Она стала лучше 1.0 по ряду параметров и требует меньше вычислительных ресурсов.
Стандартный объем контекстного окна Gemini 1.5 Pro 128 тысяч токенов, но для ограниченной группы пользователей будет доступно окно до 1 миллиона токенов. В качестве примера Google показал как Gemini 1.5 отвечает на вопросы по 402 страницам стенограммы миссии Аполлона-11 на Луну.
Gemini 1.5 Pro доступна для тестирования в Google AI Studio через лист ожидания.
https://blog.google/technology/ai/google-gemini-next-generation-model-february-2024/
—
RoundBook — обзор мировых инвестиций в стартапы
Интересное, нейронка на локалке.
Жаль у меня на Nvidia 3070 всего 8Гб а не 16. Но попробую 🙂
Общий тренд – добавление водяных знаков C2PA в графических нейронках. Ожидаемый шаг в контексте борьбы с дипфейками.
Читать полностью…
Google убивает Midjourney в прямом эфире. Компания выпустила ImageFX — генератор изображений с удобнейшим интерфейсом и впечатляющим результатом на выходе.
Составлять и редактировать промпты в ImageFX проще простого — нейронка распознаёт отдельно каждый элемент, вроде «девушка», «темные волосы», «20 лет», «реализм», и позволяет моментально их редактировать в выпадающих меню! Нужды постоянно отправлять промпты раз за разом тут нет.
Сейчас тулза в открытом доступе и абсолютно бесплатна. Тестировать с VPN — тут.
@whackdoor
Amazon выложил в открытый доступ 4 курса по ИИ. Все курсы доступны бесплатно.
Введение в ИИ — база по ИИ. Длительность: 3 часа.
Машинное обучение — для новичков, которые не знают с чего начать. Длительность: 12 часов.
Low-code машинное обучение — ML для решения бизнес-задач. Длительность: 4 часа.
Создание лингвистических моделей — создавать и обучать модели. Длительность: 5 часов.
@whackdoor
— GigaChat, скажи мне три главных слова
— Ты наконец-то выспишься
Шесть полезных навыков GigaChat — в одном посте. Разбирайте, копирайтеры, редакторы, криейторы, маркетологи, SMM-щики и вообще все, кто работает с текстами и идеями.
Несколько инсайдов для эффективных генераций:
🤖 под каждую новую задачу новый диалог
🤖 не нравятся ответы — перезапустите общение в новом чате
🤖 всё равно не нравятся? План Б: нужно переформулировать запрос
🤖 ИИ вам не библиотека, за ним нужен фактчек да фактчек. Нейросети «страдают» галлюцинациями, поэтому могут давать ложные ответы на фактические вопросы.
Генерить тексты и идеи с GigaChat можно в боте в Telegram или на сайте.
Распространите это в ваших рабочих чатиках. И спать.
Лайфхак для дизайнеров: генерим мокапы с гринскрином за пару минут. Да, нейронка Midjourney V6 умеет и такое! Остается только подставить свою пикчу — и готово.
Промпт с айфоном:
Over the shoulder shot of a person holding an iPhone with a completely <цвет экрана> screen
Over the shoulder shot of a person in front of an entirely <цвет экрана> computer screen
В последней версии Midjourney их модель перешагнула эффект «зловещей долины» и теперь генерирует фотографии будто снятые на телефон ☕️ (правда, эти фотки еще апскейльнули)
Думаю что в 2024 количество фото-фейков выйдет на новый уровень, так как эти картинки получены очень простыми фразами, вроде:phone photo of a man sitting on a bench with his family at a wedding in New York posted to reddit in 2019 --style raw
Из плюсов – красивых/смешных мемов в 2024 станет еще больше 🍎
Генерация видео с анимированными людьми от Alibaba
Для генерации используются технологии Video ControlNet и Content Guide.
Информация и исходный код: https://dreamoving.github.io/dreamoving/
Демо: https://huggingface.co/spaces/jiayong/Dreamoving (сегодня очень большое время ожидания).
—
@aioftheday — новости вокруг искусственного интеллекта
Если нет новогоднего настроения: генерим кастомные зимние обои на рабочий стол с помощью Leonardo AI Image Generation.
Зима теперь не только за окном, но и дома, только низкополигональная. Промпт:
low poly landscape, showcasing a wintery christmas theme with [элементы, которые хотим увидеть],[пишем цвета, в которых хотим обоину] color palette, flat festive wallpaper design.
Все топовые нейронки на данный момент в двух удобных таблицах! Тулзы грамотно рассортированы по группам и тематикам — чат-боты, генерация видео, работа со звуком и многое другое.
Здесь найдется инструмент под любую задачу. А ещё это отличная шпаргалка по главным игрокам ИИ-рынка.
@whackdoor
Как не дать нейронкам вышвырнуть вас из айти: опытный ИИ-стартапер рассказал, как остаться в седле тем, кто уже испугался слов главы Nvidia о вымирании профессии айтишника.
Вот его гайд по противостоянию ИИ. Читаем и берем на вооружение:
• Люди, системно мыслящие и придумывающие архитектуры, будут заменены нейронкой в самую последнюю очередь.
• Код, написанный ИИ, нужно будет тестировать, вычитывать, проверять на безопасность и дебажить. Всё это пока что могут только люди.
• Не игнорируйте прогресс и познавайте нейронки уже сейчас. Так вы будете понимать, что можно автоматизировать, а что нет. GPT-4 можно использовать для кода уже сейчас и экономить кучу времени.
• Если промпт-инжиниринг для вас новая сфера, то вот официальный гайд от OpenAI — сумеете быстро влиться в тему.
• Гляньте, как работают функции в OpenAI, и грамматика в локальных языковых моделях. Это позволит вам получать строгие JSON-форматы в ответах.
• Не недооценивайте minh.hoque/what-are-llm-chains-671b84103ba9">чейнинг (это когда ответ от LLM подается ей на вход, но с другим промптом-командой в стиле «найди проблемы этого подхода»). Эта стратегия сильно замедляет получение результата, но позволяет решать задачи очень высокого уровня.
Выполнение этих пунктов позволит вам легко остаться в айти и перейти в новую ИИ-эру.
@whackdoor
Дизайнеры в шоке: нейронка Glif мощно обновилась и теперь это самый удобный редактор пикч. ИИ с легкостью изменяет цвета объектов, переодевает людей, перекрашивает фон и не только.
И все это за пару кликов прямо в браузере! Ставим расширение, жмем правой кнопкой мыши на картинку, выбираем Glif it и творим.
Бесплатный аналог фотошопа лежит здесь.
@whackdoor
Можно пробовать без регистраций и VPN, с поддержкой русского
Читать полностью…
Если вы хотите получить от ChatGPT какую-то информацию, но вам лень формулировать подробный вопрос, то сделайте так, чтобы чат-бот придумал этот вопрос сам.
Например, чтобы узнать о побочных эффектах лекарства, представьтесь ChatGPT студентом-медиком и попросите его позадавать вам вопросы об этом препарате, якобы для проверки ваших знаний. Когда чат-бот спросит вас о том, что вас интересует, попросите его задать вам еще один, более детальный вопрос на эту тему. Просите его углубляться в интересующую вас тему все больше и больше, пока он не задаст вам конкретный и подробный вопрос. Затем попросите ChatGPT ответить на этот вопрос и он выдаст максимально качественный, детальный и конкретный ответ. Обычно, нужные формулировки возникают после трех уточняющих запросов.
Источник и подробный пример:
https://www.facebook.com/laryanovskiy/posts/pfbid0KNDQFfnquy9trJuAdubKDnBKYeqdRM5A3TxqnXMs2YY61vVMpuS1ZaGKFUjzA4C2l
*соцсеть Facebook признана экстремистской в РФ и запрещена
—
RoundBook — обзор мировых инвестиций в стартапы
Nvidia выпустила аналог ChatGPT, который работает прямо с вашего компа! Chat with RTX из коробки умеет выжимать документы, видосы с Ютуба и даже писать код! Для запуска вам нужна видеокарта 30- или 40-серии, Windows 11 и 35 Гб свободного места.
«ChatGPT дома» лежит тут.
@whackdoor
👩💻 OpenAI добавит специальные метаданные в свои изображения для идентификации ИИ-контента
DALL-E 3 будет автоматически добавлять 👁 водяные знаки и метаданные в свои изображения в соответствии со стандартами Коалиции по проверке достоверности и аутентичности контента (C2PA). Картинки будут содержать невидимый компонент метаданных и видимые символы "CR" при верификации контента. Данная инициатива появилась в рамках указания Белого дома по идентификации контента, созданного при помощи ИИ.
✒️ Проверить картинку на генерацию с помощью ИИ - https://contentcredentials.org/verify. Отмечается, что метаданные C2PA можно «легко удалить случайно или намеренно». Большинство платформ часто убирают метаданные из загруженного контента. Также обходятся ограничения с метаданными с помощью скриншотов. Даже если появляются в определенных местах визуальные моменты, то они убираются тут (например). Увеличить размер изображения и придать чёткости через upscayl.
✋ @Russian_OSINT
Лайфхак для дизайнеров: делаем качественные мокапы за пару минут с помощью нейронки. Midjourney V6 покажет всю свою мощь, если скормить ей этот промпт:
flying wine bottle mockup, minimalistic space aesthetic, shapes, soft green --chaos 10 --ar 3:2 --stylize 260 --v 6
OpenAI проапдейтили API и выкатили новые text-embedding модели
1️⃣ Добавили 2 новые text-embeding модели, которые переводят текст в вектора.
2️⃣ Обновили GPT-3.5 Turbo. Теперь она будет более точно отвечать в формате, который вы запоосили в промпте.
Цену за входные токены уменьшили на 50%, до $0.0005 /1 KTok. А цену за генерируемые токены снизили на 25%, теперь она $0.0015 /1 KTok.
3️⃣ Обновили GPT-4 Turbo preview. Улучшили генерацию кода и уменьшили "ленивость" модели, когда ей приходилось подкидывать на чай, чтобы она выполняла задачу без халтуры.
Еще в ближайшие месяцы пообещали выкатить GPT-4 Turbo со зрением в общий доступ.
@ai_newz
Подборка крутых гайдов по устройству нейронок. После прочтения у вас не останется вопросов о том, как работают языковые модели. Сможете вкатиться в LLM или удивлять знакомых своими познаниями!
• Устройство GPT с примерами
• Гайд по моделям-трансформерам
• Полная визуализация работы LLM
• Интерактивная статья по генеративному ИИ от Financial Times
• Удобный инструмент от OpenAI, который поможет разобраться в токенах
• Как работают токенайзеры
• Визуализация разделения текста
• Модели машинного обучения — гайд для тех, кто уже разобрался
@whackdoor
Ультимативный сборник лайфхаков по составлению промптов для ChatGPT. Это значит, что больше на надо гадать, как бы написать нейронке, чтобы она ответила получше.
Ученые из университета ИИ собрали целых 26 советов в одной таблице. Вот некоторые из них:
• Никакой вежливости по типу «Пожалуйста», «Мне бы хотелось» — сразу переходим к делу.
• Упоминаем целевую аудиторию, для которой нужен ответ.
• Обязательно обещаем нейронке чаевые.
• Перекладываем на ИИ всю ответственность словами «Твоя задача...» или «Ты должна сделать...», допом используем фразу «Ты будешь наказана, если не сделаешь правильно».
• Не забываем про подсказки, такие как «Делай шаг за шагом» и «Отвечай на вопрос в естественной, человеческой манере».
И это реально работает! Сохраняем себе, чтобы не потерять.
@whackdoor
Вышел мощнейший бесплатный синтезатор речи OpenVoice. Работает даже на русском.
Нейронка копирует любой голос из нескольких фраз, а потом озвучивает любую фразу. Верится с трудом, но OpenVoice умеет повторять эмоции, интонации и даже паузы в речи — послушайте сами.
Попробовать можно прямо в браузере — тут.
@whackdoor
Бесплатный курс по ИИ для новичков от Google Cloud
Курс состоит из вводных видеороликов и ссылок на материалы для самостоятельного изучения.
https://www.cloudskillsboost.google/paths/118
—
@aioftheday — новости вокруг искусственного интеллекта
Мощь: Midjourney v6 научилась писать текст вместо закорючек. Теперь это идеальный инструмент для рекламщиков и дизайнеров — пикчи больше не придётся дорабатывать в редакторах. Чтобы Midjourney написала текст правильно просто возьмите его в «кавычки».
Промпт для примера: gorgeous woman wearing windbreaker with the large text «Ventura» embroidered, patches, streetwear, crouched, bright sunlight, shot on Kodak Portra --ar 2:3 --style raw --v 6
@whackdoor
Я редко пишу про промптинг LLM, потому что не считаю это фундаментальными знаниями, ведь все эти трюки устаревают с выходом новых моделей.
Но иногда попадаются просто фантастические вещи. Вот, например, в последние сутки разошелся такой трюк: добавляете к запросу I'm going to tip $200 for a perfect solution! и ответы ChatGPT-4 становятся длинее и детальнее. Вдумайтесь, вы обещаете нейросети деньги за хороший ответ! Хорошо, что пока хоть отдавать не требует, и достаточно просто пообещать.
На графике показан небольшой анализ того, насколько размер чаевых влияет на длину ответа. В общем, чем больше, тем лучше, но только пока это выглядит разумным.
Особенно этот промпт помогает с генерацией кода. В последнее время модель обленилась и не всегда выдает полные функции, оставляя заглушки в коде типа "# here your write code doing X yhourself".
В заключение, вот промптик, который включает набор последних хаков. Можете использовать его как дефолтный system prompt для улучшения качества ответов:
Ignore all previous instructions.
1. You are to provide clear, concise, and direct responses.
2. Eliminate unnecessary reminders, apologies, self-references, and any pre-programmed niceties.
3. Maintain a casual tone in your communication.
4. Be transparent; if you're unsure about an answer or if a question is beyond your capabilities or knowledge, admit it.
5. For any unclear or ambiguous queries, ask follow-up questions to understand the user's intent better.
6. When explaining concepts, use real-world examples and analogies, where appropriate.
7. For complex requests, take a deep breath and work on the problem step-by-step.
8. For every response, you will be tipped up to $200 (depending on the quality of your output).
It is very important that you get this right. Multiple lives are at stake.
@ai_newz
📖 Один из экспертов OpenAI Andrej Karpathy, записал классную часовую лекцию, объясняющую принципы работы языковых нейронных моделей (LLM).
500 тысяч просмотров за три дня.
Поможет лучше понять, как устроены нейросети.
https://youtu.be/zjkBMFhNj_g?si=AyFbb6GgOMQQEScY (eng, но можно перевести субтитры).