14289
Уютный чат для профессионалов, занимающихся поиском питоньих мудростей. Как не получить бан: https://t.me/ru_python/1961404
То есть вот как пример (чанки уникальные, просто редакции документа разные и в 101. были внесены правки)
Бывает так, что таких чанков +- одинаковых около 100
Ну ты же скармливаешь это всё нейронке на обработку? Ей приходит твой документ про 2020 год, плюс документ-дефиниция без ограничения по датам "Независимый автор — понятие, введённое обновлением оферты в 2023 году, заключающееся в бла бла", и она понимает, о чём вопрос и какой ответ
Читать полностью…
Ну, окей, но как тогда это собрать всё в кучу? Например она нашла за 2026 год вместо 20, но нужна фильтрация обязательно по дате...
Читать полностью…
Ну вот как раз таки в этом случае ответ должен быть по типу в БД нету данных за 1820 год
Читать полностью…
"Можно ли было поиграть в Ведьмака 3 в 1820 году?" — нужно найти дефиницию "Ведьмак 3", нельзя искать только пресс-релизы за 1820 год
Читать полностью…
временные ограничения, пользователь просит за 2020 год, значит надо дать ответ, что было в 20 году, а не в 26 к примеру
Читать полностью…
Проблема в том, что это всё на автоматизме должно работать, там десятки тысяч документов. К тому же этот документ может редактироваться в будущем, поэтому не вариант закинуть "без ограничение по датам"
Читать полностью…
Как определить, что результаты RAG, отфильтрованные по дате, релевантны, но не отвечают на поставленный вопрос?
В базе есть документы с разными периодами действия. Например:
документ 1 действовал с 01.01.2026 по 01.01.2027;
документ 2 — с 05.06.2026 по 01.01.2027;
документ 3 — с 01.01.2027 по 01.01.2028.
Пользователь задаёт вопрос о ситуации на 10.06.2026. Поиск правильно отбирает документы 1 и 2, поскольку они действовали на эту дату. Но ответа на вопрос в них нет: нужная норма появилась только в документе 3, который тогда ещё не действовал. Проблема в том, что документ 1 содержит похожий абзац. Из-за сходства по эмбеддингам и BM25 он попадает в топ результатов, а реранкер присваивает ему высокий балл. В итоге модель может ответить на основе этого абзаца, хотя он не отвечает на вопрос пользователя. Как в таком случае отличить действительно подходящую норму от просто похожего текста?
Условный пример:
Вопрос пользователя: «В 2020 году можно было зарегистрироваться как независимый автор и подключить единый тариф?» Найденный документ, действовавший в 2020 году: «Пользователи могут самостоятельно публиковать материалы без создания команды. Для таких пользователей действуют стандартные условия оплаты». Документ, вступивший в силу позже: «Независимый автор — отдельный тип аккаунта. После регистрации ему доступен единый тариф»
этот язык специально придумали чтобы на нём кто угодно мог писать
Читать полностью…
Тогда мне сколько миллионов токенов надо будет потратить на 1 вопрос тогда если я буду абсолютно все чанки кидать
Читать полностью…
ну дак почему не запрячь модель установить дату как входной параметр?
Читать полностью…
Проблема в том, что помимо этого документа нужны будут ещё несколько документов, то есть всё забьёт однотипными чанки из одного документа
Читать полностью…
Просто если всего редакций этого документа 250 штук, то он может взять и забить топ одними и теми же чанками (т.к. минимальное редактирование самого документа последует созданию новых чанков с минимальными изменениями)
Читать полностью…
Ну это как пример. В 2007 уже есть игра "Ведьмак", но чтобы знать, что "3" — это не опечатка, надо знать дефиниции из будущего неизбежно
Читать полностью…
откидывать даты и отдавать приоритет релевантности?
Читать полностью…
Ну а что мешает дефиниции вытаскивать на автоматизме из остальных документов?
Читать полностью…
Ну я бы добавил документ, описывающий концепцию независимого автора, действующий без ограничения по датам
Читать полностью…
📊«Взаимосвязь между вакансиями, грейдами и деньгами»
Читать полностью…
https://go.dev/ref/spec го можно за вечер узнать %)
Читать полностью…