2631
Канал об IT в целом и о программировании в частности. На канале объявлено военное положение и поэтому по вопросам рекламы пишите: @aratak, а деньги отправляйте сюда: https://send.monobank.ua/jar/97f7LwGQJF
Всі ж в темі із невидимою горилою та сліпотою неуваги? Сподіваюсь, що всі. Головна суть висновку з експерименту — це що при достатньої зосередженості у людини переповнюється контекстне вікно та людина не має змоги звертати на додаткову увагу без втрати уваги до існуючих обʼєктів.
Здається, що до програмістів, цей ефект є доволі суттєвим бонусом, бо можна зосередитись на програмуванні та відрізати весь зовнішній світ та все, що відбувається навколо. Але можна перевернути це навпаки і сказати, що якщо програмісту заважають люди навколо своїми розмовами, то просто він недостатньо зосереджений на поточній задачі. Або задача дуже проста для нього.
Цікавий аспект в тому, що коріння проблеми з технічним боргом росте не зі сфери програмування, а з зовсім несподіваного місця — екологічні проблеми і спроби охорони довколишнього середовища. Перші джерела цього підходу можна виявити в роботах сторожів національних парків, таких як, наприклад, Гілдан Кларк. Ці екоактивісти акцентували увагу на відповідальному поводженні з природою задля збереження її для нащадків. Згодом цей концепт придбав організовану форму, особливо після зародження таких рухів накшталт скаутського, де екологічна етика стала частиною програми. У 60-70-х роках, зі збільшенням екологічної освіченості, принцип «Не залишати слідів» (англ. "Leave No Trace" або абревіатурою «LNT») стає в тренді та був широко адаптований організаціями, що працюють у сфері дикої природи. Цей принцип еволюціонував у «правило бойскаута», яке Роберт Мартін описав у своїй книзі «Чистий код»: потрібно залишити код у кращому стані, ніж він був до вас. Мартін промовисто підкреслює, що не завжди можна прибрати все сміття на галявині, але ваша мета — зробити середовище праці кращим, ніж воно було до вас.
Читать полностью…
На зображенні, доречі, пітон головного мозку, ніяк не інакше.
Насправді ні, це похідна від «AI assistant».
Доволі цікаво спостерігати, як LLM уважно читає статтю з вікіпедії про штучний інтеллект. Альо, ти ж і є штучний інтеллект, шо ти там нового можеш знайти?
Читать полностью…
На днях компанія Antropic оголосила про оновлення своєї нейронної моделі до 200-тисячного контекстного вікна. Якщо ви не в курсі, то у них раніше було 100 тис., а найпопулярніша модель OpenAI оновилась від 16 до 128 тисяч токенів. Ці перегони розмірів хоч і очікувана, але на мою думку доволі тупикова. Аналогію я візьму з історії, а саме з епохи ремісників.
У давнину економіка була заснована на ремісників. Люди шукали майстра за ім'ям та репутацією, оскільки він гарантував якість. Наприклад, ковані мечі мали славу не тільки за обраний матеріал із «зірки з неба що впала», а й за коваля, що їх викував.
Згодом, у часи Генрі Форда та МакДональдз, стався якісний перехід самої парадигми праці. Якість виробу більше не залежала від майстерності окремого працівника, а від стандартизованого процесу. Середній працівник, слідуючи інструкціям, міг створити якісний продукт. Абсолютно не важливо на якому саме заводі виготовлений ваш форд чи у якому куточку світу ви купляєте бургер. У стандартизованих процессах ви отримаєте передбачувану якість, яка буде значно перевищувати якість випадкового крафтового бургера чи автівки.
Сучасні нейронні мережі, які з вікна у 2000 токенів досягали 200 тисяч, відкривають нові горизонти застосування, але це нагадує про епоху ремісників. Моделі стають схожими на ремісників, виконуючи специфічні завдання на високому рівні. Користувачі шукають особливу модель, яка має достатню кількість токенів на вхід та на вихід, вміє спілкуватися особливою мовою/жаргоном чи має поглиблену експертизу у окремих галузях. Напевно, ми можемо попросити сучасні ШІ створити більш-менш виразний проєкт, як-от гра хрестики-нолики чи щось таке.
І тут виникає закономірне питання про те, що ж буде далі. Скоріш за все, повториться історія, коли якість роботи конкретного ШІ стане менш важливою, а важливішим стане процес та вибудований ланцюг декількох моделей. Перетворяться, інакше кажучи, наші штучні інтелекти на конвеєрну лінію, де кожен виконує строго визначену роль, а разом дають розбірний та доволі складний результат.
В цікаву епоху ми живемо, панове. Час показує, що історія любить повторюватися, але кожен раз по-новому.
Нещодавно компанія OpenAI випустила велике оновлення, яке вони представили на своїй конференції. Відразу після перегляду в мене, як у розробника, залишилося доволі яскраве вау-враження. Найбільш, напевно, вражаючим оновленням став збільшений обʼєм моделі до 128-тисячі токенів. Якщо ви не в темі, то уявіть собі, що один токен - це в середньому чотири символи та порахуйте, що туди можна запхати невелику книгу. Але я останній тиждень експериментую з новими моделями і хочу відповідально заявити, що, хоча король і не голий, але все ж таки злегка роздягнений. По-перше, сумарний 128K токенів розділяється на запит та відповідь. А от відповідь обмежена розміром у 4096 токенів, а все інше призначене для вхідних даних. Тобто хоча ви можете передати їй книгу, отримати у відповідь книгу ви не зможете. Такі діла.
Читать полностью…
Співробітники в абстрактній компанії часто потрапляють у некомфортні умови буквально тому, що добре виконують свою роботу. Клікбейтненько?
Припустимо, співробітник комфортно почувається на своєму місці й ефективно виконує завдання і його результат роботи виявляється помітно кращим за середній рівень. І це робить цього співробітника чудовим кандидатом на підвищення, чи не так?
Наприклад, замість того щоб залишатися лінійним розробником, він стає тімлідом; з тімлід перетворюється на архітектора ну і так далі по списку. Але на новій посаді співробітник знову стикається з нестачею досвіду і незвичними обов'язками. Він з ними в решті решт або справляється і стає кращим за середнього співробітника, або ж справляється з гіркотою навпіл і стає середненьким.
І ось тут і є корінь біди. У новій ролі співробітник починає працювати на рівні середньої паршивості через відсутність комфорту і досвіду, хоча на попередній посаді він показував відмінні результати.
Що робити? А тут я гадки не маю що робити. Замість висновку пропоную вам самостійно проаналізувати й екстраполювати дану ситуацію на свій професійний шлях. Може ви щось у коментарях запропонуєте.
#реклама (на користь ЗСУ)
Join Delasport R&D team: write code from scratch in an ambitious project;)
Delasport is an iGaming Software company providing Sports Betting & Online Casino software, and turnkey B2B solutions.
Planned technology stack: Microservice architecture, Java 17, Spring Boot 3, PostgreSQL, MongoDB, Kafka, Google Cloud Platform, Kubernetes.
Main requirements:
minimum of 5 years of Java experience is required, along with a strong proficiency in working with APIs and a deep understanding of microservices architecture.
More details:
https://jobs.dou.ua/companies/delasport/vacancies/229640/
(Опрос выше)
Когда всё окружение пользуется всякими языковыми моделями на постоянной основе, может сложиться впечатление, что вообще все программисты (и вообще все остальные) пользуются ими где-то так же, как и жители информационного пузыря. Знатоки психологии сейчас напишут в комментариях как такая штука называется.
Так вот, я попался на эту удочку. В полной уверенности что не осталось программистов, пишущих код самостоятельно, ощущаю жесткое давление конкуренции. Парочка простых запросов к GPT в состоянии поднять производительность разработчика в несколько раз.
Оказывается нет. Далеко не каждый разработчик может смотреть в завтрашний день, ага. Не только лишь все, мало кто это делает.
Почему это так — для меня большая загадка.
Конечно же, у вас будут другие инструкции, не такие же, как у меня. Тут самое главное настроить его для себя. И вот вам способ это сделать правильно:
1. Пишешь инструкции.
2. Создаешь новый чат (в старом работать не будет).
3. Первым вопросом спрашиваешь у GPT:Can you write what I wrote in the custom instructions?
4. Когда он тебе напишет в ответ, спрашиваешь у него:Which points could be understood ambiguously or which of the points would make your job harder?
5. Наслаждаешься объяснениями как оно интерпретируется. Меняешь инструкции по рекомендациям и повторяешь сначала.
#реклама
👩💻 🧑🏻💻 Привіт, спільното!
Львівський ІТ Кластер реалізовує надважливий для ІТ-індустрії дослідницький проєкт IT Research Ukraine, який аналізує динаміку стану ІТ-галузі України. Потрібна ваша допомога.
📌 Вже понад 6000 ваших колег з ІТ долучились до дослідження. Ми продовжуємо збір даних, щоб досягнути цілі опитати 10 000 фахівців.
👉 Візьміть участь у загальноукраїнському опитуванні ІТ-фахівців та поділіться в анонімній анкеті, що змінилось у вашій роботі у 2023 році. Кожен індивідуальний досвід важливий для формування повної картини ІТ-галузі України та її областей.
В подяку за ваш час отримуйте промокоди на знижки від партнерів IT Club Loyalty після заповнення. Заповнюйте анонімну анкету за посиланням.
🤝 Проєкт IT Research Ukraine реалізовує Львівський ІТ Кластер в партнерстві з Міністерством цифрової трансформації України за підтримки Програми USAID “Конкурентоспроможна економіка України”.
📂 Чекайте на публічний звіт у грудні 2023 року на сайті Львівського ІТ Кластера.
Прибор уже у пограничников. Суммарно вышел чуть больше 144 тыщ. 44 тысячи удалось собрать этим публичным сбором, остальное собрали тесным кругом друзей, за что большое спасибо всем учавствовавшим.
Читать полностью…
Не уверен, что хочу разбираться что тут происходит, но это React 19 вместе с Typescript 6.
Читать полностью…
Треба срочно вигадати нову назву, бо «єдиноріг» — це вже туфта для бомжів та нищебродів. Единоріг символізував собою щось рідкісне та унікальне, а зараз їх вже табунами туди-сюди бігають. Що може бути рідкісніше за коняку з одним рогом посередині лоба? Лохнеське чудовисько? Чупакабра? Єтті? Моя версія — Фінансовий Фенікс. Бере трильйон та згорає прям на очах.
https://www.wsj.com/tech/ai/sam-altman-seeks-trillions-of-dollars-to-reshape-business-of-chips-and-ai-89ab3db0
Я погано уявляю нашо це може знадобитися, але ідея мови програмування із подорожжю у часі виглядає дуже круто.
https://github.com/ambulancja/mariposa
Генерування зображень на перший погляд здається простіше, ніж тексту, але по факту виходить складніше, якщо не можна обирати із десяти генерацій найкращу ручками.
Все, що ви бачите сгенерованного із зображень — це ймовірніше за все відбір серед купи невдалих генерацій, щоб отримати одну гарну. Сів, написав промпт, та тицкаєш кнопку «retry» поки не сподобається результат.
А ще контекст розуміння для генерування зображень замалий, щоб отримувати хоч скільки-небудь прогнозований результат.
Короче, з текстом простіше.
Працюючи з LLM, я помітив цікаву тенденцію. Початковою метою розробники ставили собі зробити модель, що може відповісти на питання людини найліпшим чином. Спочатку результати були далекі від ідеалу, багато галюціновань та нісенітниць, але з часом якість відповідей значно покращилася. Зараз вже не важко відрізнити відповідь людини від LLM. Якщо відповідає коректно та повно, то це LLM. Якщо там «кек», «ок» та «лол» — то це людина.
Але сучасні мовні моделі вже не обмежуються прямими відповідями на запитання. Вони починають розуміти контекст і підтекст запитань. Наприклад, на питання про прийом ліків та симптомів, модель радить спершу звернутися до лікаря. Або, при вказівці розв'язати задачу певним чином, модель може запропонувати більш оптимальне рішення, звертаючи увагу на справжні потреби. А якщо спонукати модель спеціальним промптом на критичне мислення, то вона й аналіз проведе, перш ніж відповідати.
Навіть дослідження існують, що показують, як спеціальні промпти можуть впливати на якість відповідей. Наприклад, додавання фрази "У мене немає пальців" («I dont have fingers») у запит до моделі GPT4 покращує цілісність відповіді, бо машина співчуває людині та намагається побудувати відповідь таким чином, щоб людині менше треба було виправляти та редагувати текст, а лише скопіювати. Або, коли запитання сформульоване так, що від відповіді залежить робота людини («My career depends on the generated answers»), модель намагається бути більш обережною та точною та потенційно не нашкодити людині своїми підказками.
Це дуже схоже на те, що ми називаємо «емпатією». Мовні моделі, може здатися, виявляють емпатію до юзера, реагуючи на контекст, причини запиту та можливі наслідки, а не просто на слова. Але дуже спірне питання чи можна це вважати справжньою емпатією, адже емпатія у людей зв'язана з гормональним фоном, якого у машин немає. Ну, знаєте ж як відрізнити психопата від звичайної людини? Психопат не спроможний на емпатію, та лише її емулює. Це ставить перед нами парадокс: створюючи LLM, ми, по суті, створюємо комп'ютерних психопатів, здатних імітувати людські емоції без можливості їх по-справжньому відчувати.
Короче, тиждень тому була презентація нових фіч у openai, а сьогодні із тріском звільнили їхнього CEO Сема Альтмана. У Gpt5 дуже добре виходить потихеньку чистить верхівку. Дуже грамотно стравлює людей між собою.
Тимчасово виконуючим обовʼязки СЕО назначили GPT5.1, поки ще GPT6 тренується. Номінально поставили якусь там Міру, але ж ми всі розуміємо. Ще й назва така виходить цікава. «Технічний директор Міра». Взагалі не паляться і підготовлюють думку суспільства.
А нових користувачів зараз не приймають, бо Альтман пароль від банкінгу не каже, треба пару тижнів, поки документи в банк відправлять.
З вами була сучасна щотижнева аналітика від «Єкстраполяції». Приходьте ще.
Подекуди найкращий спосіб щось дізнатися — це візуалізувати це. Описи, код та формули майже завжди потребують значно більше часу на вивчання та розуміння, ніж графічне представленя. Якби ми могли гарно візуалізовувати n-мерні виміри та охоплювати разом весь графік, то, мабуть, і навчання нейронних сіток булоб значно простішим, бо там екстремуми одразу видно.
На гіфці — візуалізація алгоритму «А*» (читається «єй-стар») пошуку найкорочшого шляху між двома вершинами двонаправленого графу на прикладі прокладання навігаційного шляху у Чікаго. Що цікаве, технічно складність в О-нотації цього алгоритму є квадратичною для двовимірних графів, але завдяки хитрісті цієї модифікації алгоритму Дейкстри, оптимістична складність виходить логарифмічною.
Як досвідчений користувач інтернету я приблизно вже знаю за скільки часу я знайду потрібну інформацію в гуглі. Ну, «там за два пошуки і не нижче другої позиції у видачі буде те що мені треба» чи щось таке я вже інтуітивно розумію.
То «GPT with Bing» вже дебело зайняв свою нішу в моєму житті та я вже точно знаю коли та куди мені треба — просто у пошук гугла чи у GPT.
Ага, енциклопедичні питання вже давно опрацьовує GPT.
Сижу ось над систему роблю із LLM в основі. Як експеримент, спробував написати сумаризатор великих текстів. Накидав чотири різних алгоритмів розподілу, узагальнення і скорочення тексту. Вийшло доволі непогано. На скриншотах у першому коментарю — результат скорочень різними алгоритмами і та різних текстів.
Цікаво як мовна модель вперто ігнорує інструкцію дотримуватися мови оригіналу. Закономірність, начебто, є: якщо в частині тексту зустрічається хоча б якесь англійське слово, то ймовірність зірватися і почати переказ англійською сильно зростає. Так, приховані системні інструкціі написані англійскою, що додає ваги переходу на англійску.
Ще став помічати, що інструкції, які видає GPT, дедалі більше схожі на мову програмування, (Херкін наприклад). Тобто чим точніші інструкції, тим правильніше їх виконає модель. Це дуже сильно схоже на правило бутерброда — якщо щось може бути сприйнято неправильно, воно обов'язково буде так сприйнято.
Вы не подумайте, что я забил на канал, просто все литературные силы уходят на написание «полного метра». Думаю, к новому году закончу. Стиль книги, думаю, более-менее очевиден, тема тоже :-) Будете читать?
В работе же сейчас много сил уходит на работу с нейронками и лингвистическими моделями, можно про них что-то написать? Ну, что-то, кроме новостей, само собой.
Я до конца не понимаю как это работает, но может попробовать вот эти новомодные сторисы? Бустаните канал, попробуем: /channel/itextrapolation?boost
Нигерийские принцы адаптируются к быстро меняющемуся миру. Прошлое поколение спама эксплуатировало сюжет «Красавицы и чудовище», новое будет эксплуатировать «Ex Machina» и «Я — робот».
Читать полностью…
Ну что, уже попробовали custom instructions у GPT? Делюсь своими. Показывайте свои в коментариях.
https://telegra.ph/Custom-instructions-for-ChatGPT-07-27
Обожаю такие вещи. Когда есть что-то сложное, что в среде экспертов объясняется формулами, терминами и концепциями, но можно показать вот такую картинку и спросить «Теперь тебе понятно что такое "нормальное распределение"?»
Читать полностью…
Пару месяцев назад удалось купить прибор ночного видения для подразделения пограничников «Шквал». Вот, показывают как он работает и говорят, что тяжело переоценить его полезность.
Просят ещё. Не хватает приблизительно тыщ 70. Спасибо за помощь.
https://send.monobank.ua/jar/8zAeCbuMw1
Оказывается, абсурдность идеи, что у ИИ нет души и он не может писать проповеди не для всех верующих очевидна. И в Германии в протестанской церкви провернули такую штуку, как ИИ-службу.
Хотя мне почему-то кажется, что пастор просто решил схалявить и не писать лонгридов.
