-
про нейросети щитпостинг личный опыт, сервисы, ресерчи, рассуждения об индустрии
палю жесточайшую альфу: http://qwenlm.github.io/blog/qwen1.5/
лучшая модель щас
но самое угарное конечно
что нам нужны
ВИДЕОКАРТЫ
ВИДЕО КАРТЫ
*ВИДЕО* КАРТЫ
чтобы напечатать текст следующего токена
В И Д Е О КАРТЫ
поэтому если у кого-то есть желание заниматься чем-то свежим, то велкам ↑
больше, меньше денег – i don't care
whatever you need to build
whatever you can build
я недавно был на встрече с индусами которые пытались мне продать лангчейн нотебуки из документации на градио и говорили "our systems"
я за час произнёс 6 слов: "tremendous work", "cool", "impressive", "see ya"
у меня голова разболелась во второй раз после таблетки от головной боли – как это возможно
retarded industry в которой несколько закрытых команд в мире понимают что они делают, вся остальная индустрия тупо миксуют опенсорс говно в надежде что в этом вуншпунше что-то получится
датасеты: спизжены с sharegpt, весь датасет это пара вопрос/ответ
оптимизации: въебали флеш аттеншн, воткнули квантизацию для 🅱️едолаг на домашних картах
инференс: ллама.срр oh my god are you fucking joke кому в голову пришло писать инференс для ллм на крестах и потом ещё питон обёртки вокруг
end to end системы: RAG 👍👍👍 RAG 👍👍👍 YES CHUNK ME DADDY 👍👍👍
дев тулзы: ЛАНГЧЕЙН 👍👍👍 await LOADER14(new LOADER6(load5(NEW LOADER2(await loader3()))))) – are you fucking mad?
and of course OF COURSE every new model is just bullshit_term1 + bullshit_term2 + bullshit_term3
Читать полностью…
you can’t say singapore without “poor”
$743m
5 years
wtf
/channel/ftsec/10934
ахахаххахахахахахахахахаха you can’t make this shit up хааххааххахахахахахахахахахахахахахахахаххахахахаха
https://ai.meta.com/blog/v-jepa-yann-lecun-ai-model-video-joint-embedding-predictive-architecture/
https://x.com/nearcyan/status/1758276222453485738?s=46&t=ZH6BQfQhvxQhHiwIB8IAWQ
Читать полностью…
йоу мне короче нужен сеньор промпт инженер (я не шучу)
вилка: 300-500к рублей
мы построили action model – ллм которая вызывает функции и использует респонс дальше
скоро отправим на ретрейн, у меня 1300+ h100 видеокарт
и чтобы стабилизировать модель, мне нужен промпт инженер
1. добить формат
2. разбираться с весами
3. сделать автоматизированные эвалы
4. собирать всё в датасет
по датасету: можно и синтетику, можно и контест запустить чтобы накраудсорсить, бюджеты есть
договор, етц, всё есть
писать в лс
Я почитал комментарии в соц сетях про Sora и если коротко — люди в ужасе.
На моей памяти уже третий раз за два года люди в ужасе от технологий — сначала в ужасе были художники, потому писатели, теперь люди работающие с видео.
И мне кажется «ужас в обществе» как явление, до этого века было сильно реже, общества успевали адаптироваться, к новому темпу мы явно не привыкли:
Печатный станок изобрели в 15 веке — люди того времени были напуганы, что теперь еретики будут печать свои неправильные тексты и это нанесет удар по церкви;
Паровой двигатель изобрели в начале 18 века — это был главный двигатель индустриальной революции, многие выступали против изобретения парового двигателя, потому что он «отнимает рабочие места»;
В 19 веке люди постоянно жили в страхе от этого вашего технологического прогресса что аж появились луддиты — сначала изобрели первую фотокамеру, люди были напуганы тем, что это нарушит приватность. Позже появился телеграф, который мог быть использован для спекулятивной торговли на рынках ценных бумаг и сильно изменил рынок доставки почты. Потом Эдисон придумал свою лампочку и куча людей стало выступать против электричества потому что «оно убивает», я даже в канал постил плакаты того времени. И конечно же железные дороги и автомобили — все это вызвало огромную критику из-за аварий, потерю рабочих мест, отказа от лошадей в транспорте (как вообще они посмели). Изобретение кинематографа вызвало огромную критику со стороны любителей театра. Также было с граммофонами — реальная музыка только в концертном зале, пропагандировали плакаты того времени.
В 20 веке не хватит никакого поста, но все равно многие изобретения которые попадали «в народ» и меняли рабочие места, случались не каждый год, они случались в 5-10 лет — открытие пластика, ядерной энергетики, ГМО, интернета, ТВ, телефонов — все это случалось как бы мягко, хоть и было страшно, у общества было время подстроится.
Этот век — это что-то новое, теперь открытия которые могут поменять жизнь каждого, оставить кого-то без работы, происходят по нескольку раз в год и это не оставляет никакого времени на адаптацию тем людям кто не понимают как технологический прогресс устроен, поэтому — многие в ужасе.
Короче мне кажется нам всем сильно повезло жить в это время, несмотря на все минусы типа войны и ренессанса диктатур, с точки зрения прогресса это самое удивительное время за всю историю.
И это еще AGI не изобрели, который просто каждый день начнет что-то открывать 🔄
и картинки эти ещё ебаные всегда
щиткоины левел тайп щит
это всё я страдаю в ожидании пока мои доп карты настроят
время от времени выныриваю чекнуть что в опенсорс индустрии появилось – всё такоая же хтонь
разве что moondream.ai кул, дал им компьюта, на этой неделе дропнут новый релиз
но ллм… это пиздец полный
чем все они занимаются, я литералли не могу понять
ради чего они всем этим занимаются
в чём эндгейм
в детстве что ли кто-то хотел заниматься файнтюном на готовых датасетах спизженных с чатгпт я хз
чем больше (дпо/сфт/микстуре оф экспертс/флеш аттеншен/ринг аттеншен/ёр мам аттеншн) мы намешаем в модель тем пизже она пройдёт бенчмарк на котором мы её тренировали
i'm fucking tired
майкрософт $2 млрд за 2 года в испанию инвестируют на ии
Читать полностью…
у этих тоже без пейпера и продукта, видимо перебить релиз гугла хотели
but oh my God, демки ебические
text2video от опенай
https://openai.com/sora