Адмет есть в чате
https://www.instagram.com/p/DMAV34YRDcD/
Ребята кто нибудь когда нибудь генерировал счета на оплату через питон? именно казахстанские счета на оплату
Читать полностью…
К примеру у меня там есть работа с одним сервисом где много разных API и я все это хотел бы запихнуть в один toolsets а не иметь один большой или множество других
Читать полностью…
за то продажа энергетиков повысился на 6 раз больше чем в 2000х
Читать полностью…
Задача: Создать умный бейдж нового поколения для участников Digital Bridge 2025 — с функциями идентификации, нетворкинга и цифровой аналитики..
Приём заявок до: 2025-07-25
Заказчик: Филиал Digital Bridge Автономного кластерного фонда «Парк инновационных технологий»
Стоимость: 0
Ссылка: https://astanahub.com/ru/tech_task/sozdat-umnyi-beidzh-novogo-pokoleniia-dlia-uchastnikov-digital-bridge-2025-s-funktsiiami-identifikatsii
ну и это тоже)
имею в виду, данный период жизни, уже пару лет, только в отпуске чисто продегустировать местный алкоголь
https://www.dsml.kz/
Надо на сайте зарегаться, создать анкету и подать заявку, тогда в ТГ группу пустит по мл и дс
Да, облако состояний веры в итоге образовал фракталы. Но это свойство самой задачи (Mess3) - ее специально подобрали чтобы ее теоретический belief state был фрактальной формы
Но удивительно что трансформер сумел адаптироваться и взломать паттерн
Каждый, кто работает с LLM, знает: правильный контекст решает все. Но почему это так? Что именно происходит внутри модели, когда мы «направляем» ее с помощью промпта?
Ответ на этот вопрос дает крутое исследование, в котором ученые доказали, что у модели есть внутреннее «состояние веры» (belief state) — по сути, ее уверенность в том, как обстоят дела. И это состояние имеет конкретную геометрическую форму. Поняв это, мы можем лучше понять, как управлять поведением модели.
Ниже — мой разбор этой статьи, без лишней воды и сложных терминов.
Во время инференса LLM очень грубо говоря происходит:
- разбиение текста на токены
- калькуляция внимания на каждый токен, происходит параллельно и многослойно
- прогон через перцептроны с настроенными весами (тут находятся "знания" ллмки)
- софтмакс и распределение вероятностей токена
- выходные токены
То есть, каждый токен играет роль, каждый "правильный" токен улучшает уверенность ллмки (belief state) в нужных местах.
В этой статье ученые взяли трансформер и Mess3.
Mess3 — это конечный автомат с 3 скрытыми состояниями, где следующее состояние зависит от предыдущего, с определенным рандомом.
Трансформеру кормили весь предыдущий текст и заглядывали в его "мысли" (внутренние векторы). Их целью было найти там не само предсказание следующего токена ('A', 'B' или 'C'), а именно трехмерный вектор "состояния веры" — уверенности модели в том, в каком из трех скрытых состояний находится Mess3. Этот вектор содержит информацию о всем возможном будущем, а не только о следующем токене.
(Вектор [0.7, 0.2, 0.1] означает, что модель уверена на 70% в том, что система в состоянии 'A', с уверенностью 20% — в состоянии 'B' и т.д., по сути — это модель «веры» над текущей задачей с тремя скрытыми состояниями)
Вектор превратили в точку и собрали кучу точек в виде графика. Теоретическая модель состояния веры при работе Mess3 была сложным треугольным фракталом, и трансформер со временем очень точно воссоздал этот график-фрактал.
Выводы:
- У LLM-ки есть внутренний belief state над определенной проблемой.
- Он зависит от контекста и весов.
- Правильный контекст правильно направляет LLM-ку.
https://arxiv.org/html/2405.15943v3
MCP way, имеет свои плюсы, но много минусов.
Главный минус - сложно заставить это все заработать, особенно на моделях OpenAI
Модели Claude показывают лучше в таких adhoc задачах
А вообще, лучше вызовы к сторонним сервисам скрыть за локальными тулзами, в этих тулзах явно описать дескрипшн, условия триггера, названия тулзов явно включить в промт
Среди молодых мало пьющих курящих почти все не ошибусь если скажу 60 процентов
Читать полностью…
Как выглядит tool calling?
Сперва в LLM отправляется один большой запрос, в этом запросе упаковано все: системный промт, юзер промт, описание тулзов (типа свагера). Допустим, вопрос юзера требует вызова нескольких тулзов. Когда LLM решает использовать первую тулзу, он оканчивает инференс чем-то вроде "вызови такую тулзу с такими-то параметрами", после чего вызывающий клиент вызывает функцию тулзы с нужными параметрами. Когда функция ответила — в предыдущее "полотно" добавляется "вызов такой-то функции ответил вот так".
Итерации повторяются, с каждым инференсом контекст растет, с ней растет и сложность, и LLM может забыть изначальный план вызовов. Или может вызвать с неправильными параметрами, что тоже не очень. В этом подходе все обоснования вызова тулзов лежат "под капотом" в скрытом состоянии LLM, и это хрупкая структура.
Как с этим бороться? ReAct и явные рассуждения
Чтобы бороться с этой хрупкостью, был придуман фреймворк ReAct. Его идея — заставить LLM рассуждать вслух перед каждым действием, следуя циклу "Мысль -> Действие -> Наблюдение". Сначала модель генерирует мысль ("Так, мне нужно найти погоду в Париже"), затем выполняет действие (вызывает тулзу get_weather(city="Paris")), получает результат и на его основе думает дальше. Это помогает адаптировать план по ходу дела.
Однако есть и другой способ сделать рассуждения явными. В этой статье предлагается в сигнатуре тулзов ставить первым (именно первым) аргументом переменную с цепочкой мыслей LLM-ки (chain of thought). В практическом тесте это сильно улучшило поведение агента.
http://clintgoodman27.medium.com/chain-of-thought-with-tool-calling-and-structured-output-5afdfc984870
Эту технику, например, успешно применяет Anthropic, и выглядит это просто.
https://docs.anthropic.com/en/docs/agents-and-tools/tool-use/overview#chain-of-thought-tool-use
Или настойки. Но текила тоже хороша, водка конечно лучше
Читать полностью…
