14289
Уютный чат для профессионалов, занимающихся поиском питоньих мудростей. Как не получить бан: https://t.me/ru_python/1961404
и все вокруг тебя тоже будут его использовать именно так. никому твоя собственная нотация не нужна
Читать полностью…
Дай определение резолвингу сам, по смыслу, а не то что заучил
Читать полностью…
Взаимно. Про FFN я вообще не подозревал, да и не знал что аттеншен просчитывает корреляции для всего (хотя можно было бы догадаться, оно же матрица как-никак)
Читать полностью…
Сорян что был резок в этом споре. У меня в целом бывает резковатый пыл, особенно во время стресса, а тут ещё и недосып (у меня уже светло :) )
Читать полностью…
И притом от него я жду не сугубо академического объяснения (как у 3blue1brown с их "используется только на обучении", которое абсолютный бред), а чего-то поближе к реальности и к практике
Читать полностью…
Сколько раз бы я не брался разобраться в механизме работы llm-к каждый раз голова кипит
Читать полностью…
Вот тут подробно расписал эффект от этого
НО пример из того поста вообще-то не верен)
Он замечательно иллюстрирует смысл проблемы, но конкретно с ним никаких проблем не возникнет, потому как ллм эмерджентно изобрели себе вектора с "суперпозицией смысла". Но это уже совсем другая история..
Это влияет на то, как она интерпретирует смысл написанного
Читать полностью…
Вообще всё это время можно было просто закинуть промпт ниже в любую ллм, но ты меня тут итак попустил за отсутствие внятных источников)
LLMЧитать полностью…
при рассчёте корреляций для токена n, просчитывают ли его коррелирование с токеном n+1?
ну не знает первый токен о том в чем говориться во втором
Читать полностью…
я его не заучивал. я просто в отличие от тебя знаю, что резолвер значит в контексте днс
Читать полностью…
Хорошо что к общему пониманию пришли, я в целом лучше разобрался теперь
Читать полностью…
Я правда хз зачем мне это нужно, все равно свои нейросетки делать не буду. У меня денег на железо не хватит 😁
Читать полностью…
Моё понимание (ллм, не всего мл) сформировано по материалам вот этого чувака. Конкретно курс на ютубе я не смотрел, но вроде как он там подробно про структуру рассказывает
https://youtu.be/wNsp1ZH-pyk
Насчёт t2 и t3 поверхностно не согласен, но глубоко в это погружаться сегодня не готов, ахах
Читать полностью…
по идее у нас модельки [t1, t2, t3] на входе, а на выходе [t2, t3, t4]
Читать полностью…
ну это не значит же что внимание больше уделяется концу промпта чем началу
Читать полностью…
Я удивлён что для Training-Inference Mismatch нету статьи на википедии
Читать полностью…
А если вернуться к началу, то как это должно повлиять на общий ответ LLM
Читать полностью…
А, там о разнице перфа. Вот гайд, в котором он, ссылаясь на это, говорит, что надо следить за разницей между боевыми и учебными данными
https://developers.google.cn/machine-learning/crash-course/production-ml-systems/monitoring?hl=en#check_for_training-serving_skew