14289
Уютный чат для профессионалов, занимающихся поиском питоньих мудростей. Как не получить бан: https://t.me/ru_python/1961404
Ну ты же скармливаешь это всё нейронке на обработку? Ей приходит твой документ про 2020 год, плюс документ-дефиниция без ограничения по датам "Независимый автор — понятие, введённое обновлением оферты в 2023 году, заключающееся в бла бла", и она понимает, о чём вопрос и какой ответ
Читать полностью…
Ну, окей, но как тогда это собрать всё в кучу? Например она нашла за 2026 год вместо 20, но нужна фильтрация обязательно по дате...
Читать полностью…
Ну вот как раз таки в этом случае ответ должен быть по типу в БД нету данных за 1820 год
Читать полностью…
"Можно ли было поиграть в Ведьмака 3 в 1820 году?" — нужно найти дефиницию "Ведьмак 3", нельзя искать только пресс-релизы за 1820 год
Читать полностью…
временные ограничения, пользователь просит за 2020 год, значит надо дать ответ, что было в 20 году, а не в 26 к примеру
Читать полностью…
Проблема в том, что это всё на автоматизме должно работать, там десятки тысяч документов. К тому же этот документ может редактироваться в будущем, поэтому не вариант закинуть "без ограничение по датам"
Читать полностью…
Как определить, что результаты RAG, отфильтрованные по дате, релевантны, но не отвечают на поставленный вопрос?
В базе есть документы с разными периодами действия. Например:
документ 1 действовал с 01.01.2026 по 01.01.2027;
документ 2 — с 05.06.2026 по 01.01.2027;
документ 3 — с 01.01.2027 по 01.01.2028.
Пользователь задаёт вопрос о ситуации на 10.06.2026. Поиск правильно отбирает документы 1 и 2, поскольку они действовали на эту дату. Но ответа на вопрос в них нет: нужная норма появилась только в документе 3, который тогда ещё не действовал. Проблема в том, что документ 1 содержит похожий абзац. Из-за сходства по эмбеддингам и BM25 он попадает в топ результатов, а реранкер присваивает ему высокий балл. В итоге модель может ответить на основе этого абзаца, хотя он не отвечает на вопрос пользователя. Как в таком случае отличить действительно подходящую норму от просто похожего текста?
Условный пример:
Вопрос пользователя: «В 2020 году можно было зарегистрироваться как независимый автор и подключить единый тариф?» Найденный документ, действовавший в 2020 году: «Пользователи могут самостоятельно публиковать материалы без создания команды. Для таких пользователей действуют стандартные условия оплаты». Документ, вступивший в силу позже: «Независимый автор — отдельный тип аккаунта. После регистрации ему доступен единый тариф»
этот язык специально придумали чтобы на нём кто угодно мог писать
Читать полностью…
За последние сутки в чате обсуждали:
📱 Push-уведомления: Gorush и альтернативы ✉
🤖 LLM: токены, стоимость и грабли с дешёвыми моделями ✉
⚙️ ИИ в реальных задачах: автокомплит, репликация и инфраструктура ✉
🔧 Кризис в IT и альтернативы: слесарь vs программист ✉
💰 Стоимость инференса: как потратить меньше и получить больше ✉
😅 ИИ и социалка: потеря контроля, зависимость от провайдеров и спам в резюме ✉
🎓 Образование и ИИ: студенты, курсы и поверхностное понимание ✉
⛏️ Майнкрафт, редстоун и сложность модов ✉
#summary
Я долго пытался понять своими уже сдувшимися мозгами, как устроены Q, K, V и какую роль они выполняют, вроде удалось сообразить что Q, K - это преобразование пространства, которое условно представляет токен через его окружение (то есть как одно слово зависит от других из промпта). Причём если словарь большой (50000 слов), отношения всех со всеми - это 2,5 млрд., естественно, столько много модель не вывезет, поэтому используем сжатое преобразование, которое примерно должно описывать логику модели.
Читать полностью…
Просто если всего редакций этого документа 250 штук, то он может взять и забить топ одними и теми же чанками (т.к. минимальное редактирование самого документа последует созданию новых чанков с минимальными изменениями)
Читать полностью…
Ну это как пример. В 2007 уже есть игра "Ведьмак", но чтобы знать, что "3" — это не опечатка, надо знать дефиниции из будущего неизбежно
Читать полностью…
откидывать даты и отдавать приоритет релевантности?
Читать полностью…
Ну а что мешает дефиниции вытаскивать на автоматизме из остальных документов?
Читать полностью…
Ну я бы добавил документ, описывающий концепцию независимого автора, действующий без ограничения по датам
Читать полностью…
📊«Взаимосвязь между вакансиями, грейдами и деньгами»
Читать полностью…
https://go.dev/ref/spec го можно за вечер узнать %)
Читать полностью…
Ваши мнения? По сравнению со всяким скамом хотя бы не отвратно.
Читать полностью…