Python

30 September 2026 07:03

Ну, по видюхе у меня 8гб 3070, оперативки 16гб

Python

30 September 2026 00:42

каким образом, если они попросту разные?

Python

30 September 2026 00:30

Ну может q6, если поубивать остальные процессы.

Python

30 September 2026 00:19

q4 наверное прям грустное будет

Python

29 September 2026 23:02

Думаю, что да, но имеет ли смысл

Python

29 September 2026 23:00

если твой реранкер увидит данные подходящие вне диапазона данных - он может скор пониже дать?

Python

29 September 2026 22:58

Нет, в моем случае реранкер выдает высокий скор. Давай так скажем, что это статьи юридические, и они очень схожие по смыслу

Python

29 September 2026 22:57

ну дак у него скор должен быть низкий...

Python

29 September 2026 22:57

"В 2020 году можно было зарегистрироваться как независимый автор и подключить единый тариф?" -> диапазон: 2020 год -> могут вылезти только данные за 20 год -> низкий скор - вычеркиваем

Python

29 September 2026 22:54

тоесть у тебя есть только дата документа, но нет нормально прикрепленной даты к данным из них?

Python

29 September 2026 22:51

уже имея поиск по релевантности, тебе достаточно первично отсекать все вне диапазоне по датам

Python

29 September 2026 22:49

у тебя как раг вызывается?

Python

29 September 2026 22:47

и по ней первичный фильтр гнать

Python

29 September 2026 22:46

Могу, она уже реализована

Python

29 September 2026 21:49

То есть вот как пример (чанки уникальные, просто редакции документа разные и в 101. были внесены правки)
Бывает так, что таких чанков +- одинаковых около 100

Python

30 September 2026 06:34

Ну смотри:

1. Можешь получить 1млн токенов на API от Gemini
2. То же самое, только у Qwen (модельки у них половчее)

Генерируешь ключ, подключаешь к своей IDE (например к Zed) и погнали

На агентских штуках у тебя этот лимит уйдет на раз-два, если автокомплиты и генерация в IDE, то хватит надолго

Так же если есть какая-никакая видюха (от 6гБ) и RAM (от 32гБ), можешь локально MoE модельку подключить через LmStudio. Самая интересная Qwen3.6. Посмотри видосы у Codacus на канале, он показывает как это сделать.

Python

30 September 2026 00:41

а это разве бабушка и дедушка? Это же родитель и ребенок в контексте флоата и интов

Python

30 September 2026 00:30

Другое вряд ли влезет.

Python

30 September 2026 00:14

Расчехлю qwen 3.8 27b q4 и буду смотреть, как оно. 😄

Python

29 September 2026 23:00

можно отсеивать по дате постфактум?

Python

29 September 2026 22:59

ну мне кажется тут только два варианта: править реранкер или вести обратную историю

Python

29 September 2026 22:58

зачастую ситуация такая, что там находятся данные, которые напрямую против вопроса говорят. но они релевантные и с высоким скором

Python

29 September 2026 22:57

Ещё раз объясню,
Пользователь задает вопрос, коронавирус 2015 год.
Но его тогда не было.
Есть условный документ за 2015 год, который описывает шоколадка «корона»
И ретривал берет эту шоколадку и реранкер его ставит на первое место

Python

29 September 2026 22:55

тогда откуда именно проблема?

Python

29 September 2026 22:53

Ну тогда это будет тоже самое, что и у меня было, тк ответ находится в документе 26 года, когда вопрос задан на 20 год

Python

29 September 2026 22:50

ты можешь там выделить место, куда моделька будет вводить диапазон по датам?

Python

29 September 2026 22:49

Тогда мне сколько миллионов токенов надо будет потратить на 1 вопрос тогда если я буду абсолютно все чанки кидать

Python

29 September 2026 22:47

ну дак почему не запрячь модель установить дату как входной параметр?

Python

29 September 2026 22:46

ну ты не можешь первичную фильтрацию сделать?

Python

29 September 2026 21:45

Проблема в том, что помимо этого документа нужны будут ещё несколько документов, то есть всё забьёт однотипными чанки из одного документа