20846
Tech, VC, Business, Startups, AI and more. 👤 linkedin.com/in/andrii-brodetskyi ✉️ @politehnik
AI Index Report 2023 від Стенфорда [PDF]
400 сторінок статистики про індустрію AI. Багато графіків, буде корисно при підготовці тематичних звітів та презентацій.
Найцікавіші розділи — про R&D та економіку, про бенчмарки і етику теж цікаві, про policy та education занадто US-центричні.
Можна проглянути хайлайти на початку кожного з розділів, зручно.
Новини 2023 року (наприклад, GPT-4) в цей звіт не потрапили.
Читайте також: 100 most cited AI papers in 2022
Подумав, що треба для розвитку каналу трохи обмінюватись рекомендаціями з каналами з релевантною аудиторією. Про iPlan давно чув позитивні відгуки, тож ділюсь їх постом.
====
Сьогодні мало розуміти, як заробити кошти. Варто знати, як їх зберегти та примножити.
Канал Iplan.ua стане вашим провідником до фінансової свободи.
Ви розберетеся:
🔻Куди інвестувати в Україні в 2023 році?
🔻Що з ринком землі зараз?
🔻Як поповнювати Interactive Brokers в теперішніх умовах?
👉 Статті, огляди ринку, поради експертів. Щоб розібратися у всіх нюансах інвестування, підписуйтесь на канал iPlan.ua.
Якщо вас теж лякають графіки про те, як мовні моделі справляються з різними інтелектуальними задачами, цей текст дозволить трохи розслабитись.
По-перше, деякі з бенчмарків, на яких тестували GPT-4, були в навчальному датасеті (це називається training data contamination). При тестуванні на нових аналогічних тестах GPT-4 показує зовсім інші результати (0/10 замість 10/10). Тобто, інколи нейромережа класно проходить тест лише тому, що запам'ятала буквально його питання і відповіді.
По-друге, проходження професійного тесту далеко не дорівнює наявності професійних компетенцій.
Professional exams, especially the bar exam, notoriously overemphasize subject-matter knowledge and underemphasize real-world skills, which are far harder to measure in a standardized, computer-administered way. In other words, not only do these exams emphasize the wrong thing, they overemphasize precisely the thing that language models are good at.
Ну а ще будь-який бенчмарк стає ціллю для тренування, і перестає бути корисним, тому що все тренування перетворюється в підгонку результату під конкретний тест — емпіричне правило, відоме як закон Гудхарта.
В кінці є лінки на джерела про недоліки тестів для LLMs та альтернативні підходи до оцінювання їх продуктивності.
Виходить, ввів вас в оману цим графіком від Open AI, вибачаюсь! Краще перечитайте ще один текст від пана Нараянана з Прінстона, щоб краще помічати такі маніпуляції.
Особливості національного бізнесу. Або як Uber заводить водіям кеш.
https://ain.ua/2023/03/20/beb-vykrylo-brend-taksi/
Компанію MindGeek, яка володіє Pornhub та іншими популярними порно-стрімінгами, купив новий канадський private equity фонд з іронічною назвою Ethical Capital Partners. Переглянув лінкедіни його топів, там люди з цікавими бекграундами: директор мережі канабіс-клінік, кримінальний адвокат, керівник держагентства з обігу наркотиків, фіндиректор канабіс-стартапу. Досвідчені профі ринків етичного капіталу!
До речі, заплутану схему з реальними власниками MindGeek кілька років тому викрили в розслідуванні FT, писав про це. Для розуміння масштабу: revenue MindGeek за 2018 рік — $460 млн, profit margin — 50%. Вері гуд бізнес. З компанією досі судяться за незаконні відео, на яких вона заробляла роками.
Microsoft інтегрує AI-асистента в свої офісні сервіси. А тепер давайте згадаємо про беззаперечну перевагу Microsoft над конкурентами в дистрибуції. У Office 345 млн платних користувачів. Багато компаній зараз працюють над офісними застосунками з AI, і дехто може зробити продукт, кращий ніж у Microsoft. Але хто зможе викатити його на таку кількість користувачів? Здається, ніхто. Google теж працює над AI-фічами для свого офісного пакета, але має лише 9 млн платних користувачів-організацій.
Памятаєте, колись був популярним Slack? Коли під час пандемії всі переходили на ремоут, Microsoft запустив по своїм каналам дистрибуції Teams. Тепер у нього 270 млн користувачів, а у Slack — 18 млн.
Microsoft має шанс стати лідером в ніші AI productivity apps суто за рахунок потужної ринкової позиції.
До речі, щодо відкритості OpenAI. Цей проект починався як неприбуткова дослідницька організація, яка публікувала всі свої дослідження у відкритому доступі. Хороша тенденція, яку започаткували AI-лабораторії тех-гігантів, і яка сприяла швидкому поширенню cutting edge знань. З часом відкритості в OpenAI ставало менше. Пізніше компанія перестала бути некомерційною. А щоб залучати фінансування, стартапу потрібно показувати вражаючі демо. Такі як ChatGPT. (Це я продовжую переказувати ідеї ЛеКуна з розмови в попередньому пості.)
Якщо в технічних пейперах по GPT-3 та InstructGPT можна знайти багато подробиць про навчання, датасет моделі (див. ілюстрацію) та ручне шліфування відповідей, то в пейпері по GPT-4 розробників та дослідників з усього світу чекало розчарування: Given both the competitive landscape and the safety implications of large-scale models like GPT-4, this report contains no further details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar.
Здається, час перейменовувати компанію на Closed AI.
Ну що, як вам GPT-4? (демо / пейпер)
Нові можливості дійсно вражають: текст генерується краще, тести проходяться краще (див. ілюстрацію). Проте недоліки залишились: галюцинації, обмежений контекст, відсутність навчання з досвіду. Роботу з графікою ще не тестував.
До речі, я уже кілька тижнів використовую GPT-4 безкоштовно — саме він під капотом нового Bing, який завдяки цьому набрав 100 млн DAU.
Інсайд дня.
Напередодні початку великої війни казахстанський фінтех‑гігант Kaspi.kz ледь не купив дітище Чечоткіних. Сума угоди, що не відбулася, ніколи не оголошувалася. Проте троє співрозмовників Forbes кажуть, що Rozetka оцінили в суму між $1 млрд і $3 млрд. «Їм лишалося кілька тижнів до того, щоб «помацати мільярд», – каже підприємець, знайомий із перебігом перемовин.
🏦 Топ-тема у світі тех і фінансів — падіння Silicon Valley Bank, який обслуговував величезну кількість американських фондів та тех-компаній.
В 2021 році в умовах нульових ставок банк придбав багато довгострокових бондів з низьким купоном. Потім Федрезерв підняв ставки, ці бонди стали виглядати непривабливим активом, ціни на них впали. Банк був змушений продати їх за низькими цінами і зафіксував великі збитки.
Потім оголосив про випуск акцій, щоб покращити баланс, але не прокомунікував це нормально і клієнти кинулись забирати свої депозити. Стався класичний bank run. Наразі в банку діє тимчасова адміністрація.
Дивлячись на те, скільки top tier фондів та високо оцінених компаній мали там депозити, я впевнений, що банкрутства не буде, уряду США зараз не потрібен такий удар по тех-сектору — ефект доміно, банкрутства фондів, тех-компаній... Швидше за все SVB викуплять банки, зацікавлені у венчурі, наприклад JPMorgan.
Ну і звісно є питання, чому в 16-му за обсягом активів банку США такий поганий interest rate risk management. Це навіть не програма CFA, ми це з одногрупниками на магістратурі КШЕ рахували — duration і convexity, чутливість ціни портфоліо бондів до зміни облікової ставки... Не знайшли куди припаркувати надмірну ліквідність рекордного 2021-го, а тепер і банку немає.
Гарний привід перечитати про модель Даймонда-Дибвіга, які досліджували роль банків у фінансовій системі. Банки — ключові інститути, які перетворюють "довгі" гроші інвесторів на ліквідність для позичальників; Bank run — ситуація, коли вкладники панічно кидаються забирати свої депозити, бо вірять, що банк має збанкрутувати; це може бути (як в даному випадку) self-fulfilling prophecy, тобто без паніки не було б і банкрутства. За дослідження на цю тему Даймонд і Дибвіг минулого року отримали премію імені Нобеля з економіки, ось тут писав про них.
Суперпотужний текст про те, як працює ChatGPT, від Стівена Волфрама. Попри його складність і об'єм, це науково-популярний текст, тому якщо ви не тренуєте моделі власноруч і не можете читати технічні пейпери про трансформери, спробуйте його прочитати. Краще розуміючи, як працюють LLMs, ви зможете ефективніше їх використовувати.
https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/
100 most cited AI papers in 2022 з цікавою статистикою за три роки по країнам (лідери: США з великим відривом, Китай, UK) і організаціям: Google, Meta Microsoft. І власне списком пейперів. Класний зріз по галузі, що зараз найгарячіше: LLMs, diffusion models, трансформери, image generation, protein folding etc.
Читать полностью…
Якщо ви ще не використовуєте LLMs, я рекомендую витратити час на те, щоб розібратись з ними. Якщо ви працюєте з текстом/кодом/листуванням/документами, це точно має сенс.
Я раджу вам спробувати новий Bing, який інтегрує ChatGPT зі свіжими даними з інтернету. Це бомба порівняно зі звичайним GPT. На десктопі працює тільки через Edge, на мобайлі — через апку Bing.
Ось вам список цікавих промптів для експериментів. І результати свіжих досліджень:
Two early papers find the effects of generative AI on knowledge work are completely unprecedented in modern history.
Separate studies of both writers and programmers find 50% increases in productivity with AI, and higher performance and satisfaction. And this is just the start.
🥊 Цікавий стартап — підрахунок ударів за допомогою computer vision. Норм фіча для спортивних стрімінгів (ESPN, DAZN), там люблять виводити поверх картинки всіляку додаткову статистику. Зараз статистику ударів в боксі ведуть так: сидять двоє чуваків під рингом і натискають на кнопку, коли їм здається, що удар був влучним. Очевидно, машина може детектити удари набагато точніше, особливо якщо буде аналізувати ще й звук (хто був на боях біля рингу, розуміє про що я). Система також видає аналітику по відео (punch types, quality, footwork, aggression, pressure), так що можна продавати і тренерам, які цікавляться інноваціями. В баскетболі вже давно використовують data driven підхід, але там набагато більше простору для аналізу і оптимізації. В боксі і без трекерів ясно, що треба робити і що іде не так. Цікаво, що в результаті вийде у цих стартаперів, підписався на них в LinkedIn. Сайт: https://jabbr.ai/
Читать полностью…
🗂 В епоху, коли LLMs стають доступними і дешевими, однією з конкурентних переваг для AI-продукту стає наявність унікальних даних, на яких можна навчати чи файнтюнити модель.
Тому я з великим інтересом прочитав, як в Bloomberg натренували мовну модель на фінансових даних і текстах.
Половина тренувальних даних — загальнодоступні датасети, на яких зараз навчаються всі мовні моделі. Інша половина — фінансові звіти компаній, ділові прес-релізи, новини і аналітика Bloomberg.
Результат — модель BloombergGPT з 50 млрд параметрів показує на звичайних тестах результати на рівні з GPT-3, а на фінансових — значно обганяє всі неспеціалізовані моделі такого ж розміру. До фінансових тестів тут відносять sentiment analysis (позитивна чи негативна новина для компанії та інвесторів), аналіз новин та заголовків, пошук та аналіз сутностей в текстах.
Найцікавіше — фінансовий аналіз: given input from S&P 500 earnings reports that includes text and at least one table with financial data, the task is to answer conversational questions that require numerical reasoning over the input. Я використовував для подібних задач Bing AI, що допомогло мені зекономити немало часу при написанні проекту з Financial Reporting and Analysis. Більшість часу пішло на написання промптів і упаковку цифр, а з таким інструментом як BloombergGPT це було б ще швидше.
Ще один приклад в коментарях — автоматична генерація заголовків для новин.
Було лише питанням часу, коли саме Bloomberg, компанія з найбільшим масивом фінансових даних, створить такий інструмент. Можна уявити, скільки процесів там оптимізують з його допомогою і скільки нових фіч додадуть для клієнтів.
Фінансовим аналітикам теж пора потроху освоювати prompt engineering.
👨🏻💻 Нещодавно мав цікавий досвід — бізнес-школа KSE провела спільний буткемп з Центром підприємництва МІТ, де я був одним з менторів. Розповів про це детальніше в LinkedIn.
Дуже зацінив програму "Disciplined Entrepreneurship" від керівника цього центру. В її основі проста ідея: підприємництво це не мистецтво і не дар, а звичайне ремесло, якому можна навчитись. В МІТ студентам дають детальний фреймворк, який допомагає людям з технічним/інженерним мисленням розвинути мислення бізнесове/продуктове: хто користувач, які його потреби, як він приймає рішення, скільки можна заробити на цьому ринку, як порахувати юніт-економіку і т.д. Суперпрактичні і корисні речі для фаундерів. Без жодного натяку на фігню з поп-книжок про позитивне мислення та квадранти грошового потоку. Купа прикладів, таблиць, питань та детальних пояснень. Все класно структуровано, читаєш і кайфуєш. Такий фірмовий МІТ style — from nerds for nerds.
Ну а про власне буткемп і команди написав на LinkedIn, лінк вище, а на фото спойлер.
В коментарях спитали про лист із закликом загнати джина в пляшку. Мій короткий коментар: не спрацює, хоча речі там озвучуються раціональні. Базова теорія ігор: домінантна стратегія для кожного з гравців в даній ситуації — продовжувати свої розробки, що б там не робили конкуренти. Якщо вони припинять, ти їх переженеш, якщо не припинять — принаймні не відстанеш.
Тому не спрацює.
Google відкриває доступ до свого AI-асистента Bard. Поки доступно в US/UK. Записався в waiting list через VPN. Коли отримаю доступ, порівняю його з Bing AI і поділюсь враженнями.
Який би з сервісів не став кращим в довгостроковій перспективі, динаміка мені подобається. Користувачам ця конкуренція між гігантами приносить лише нові потужні сервіси. Звісно, кости на підтримання такого сервісу зовсім інші, ніж для звичайного пошуку, відповідно і прибутковість такого пошуку нижча. Пізніше проаналізую дані і напишу про це.
Crazy stuff. Guys from Stanford fine-tuned Meta's LLaMa model using OpenAI's text-davinci-003 model (improved InstructGPT). The result is a powerful model that performs many tasks on par with OpenAI's model. But the cost of training was just $600.
https://youtu.be/xslW5sQOkC8
https://crfm.stanford.edu/2023/03/13/alpaca.html
🤝 В четвер буду тут. Має бути непоганий нетворкінг, тож якщо працюєте в VC чи будуєте стартап, зверніть увагу.
==
23 березня в Unit.City (та онлайн) відбудеться Challenger AI Accelerator | Demo Day, під час якого 8 команд презентують свої рішення в Digital & AI/ML сфері.
Серед учасників: Elomia Health, CheckEye, BeHolder, Softbrik, AirLaw, ParkingAround, Scally, GetPin. Ви також матимете нагоду послухати панельну дискусію на тему стійкості української бізнес-екосистеми та персонально поспілкуватись із командами, міжнародними інвесторами та представниками корпорацій. Реєстрація: bit.ly/challenger_AI_DemoDay
Далі — лекція професора Стенфорда, фахівця з обчислювальної лінгвістики Крістофера Поттса. Складність — середня. Погляд на LLMs з точки зору NLP. З 6 хвилини — цікавий фрагмент про стрімкий прогрес мовних моделей за останні роки, і особливо цікавий слайд про те, як драматично зростає здібність моделей виконувати певні задачі зі зростанням їх розміру (див.ілюстрацію). Висвітлено механізм навчання ChatGPT, виклики і можливі підходи до використання мовних моделей для універсальних задач.
Серед океану інфошуму про LLMs фахівців з обчислювальної лінгвістики незаслужено обходять увагою. Хоча, здавалось би, саме до них треба іти за поясненнями цього феномену в першу чергу.
Продовжуємо занурюватись в тему LLMs. Зараз буде пачка відбірного, щільного контенту по темі.
Спочатку для розминки — Ян ЛеКун про обмеження LLMs. Рівень складності — базовий. Легка розмова з журналістом, можна слухати замість подкасту. Бесіда фокусується не суто на LLMs, а на питанні "наскільки це близько до AGI". Тому цікаво послухати міркування такого фахівця як ЛеКун, про те, чого не вистачає мовним моделям на шляху до AGI — зокрема внутрішніх моделей світу та здатності планувати (=оперувати поняттям часу та складати послідовності дій з причинно-наслідковими зв'язками). Деякі з його ідей раніше публікував в текстовому форматі.
До речі він там зауважує ще багато правильних речей. Наприклад, що трансформери багато в чому побудовані на результатах відкритих досліджень ШІ-лабораторій Alphabet/Meta. Але самі тех-гіганти не стали першими випускати такий продукт як ChatGPT. Саме тому що для таких компаній висока ціна помилки — Meta уже випускала раніше мовну модель навчену на наукових текстах; всього за два дні інтернет-спільнота розмовляла з моделлю про користь споживання битого скла та інший треш, і експеримент швидко закрили. OpenAI натомість позиціонувала себе як маленьку дослідницьку компанію, тому могла дозволити собі випустити чатбота, який інколи видає нісенітницю, без репутаційних ризиків.
Послухайте, там багато цікавого.
Колеги з Ukrainian Tech Ecosystem поділились крутою можливістю для стартапів — поїхати у складі української делегації на головний захід у США з просування прямих іноземних інвестицій — SelectUSA Summit. Шукають стартапи з MVP і планами вийти на ринок США, в пріоритеті — CleanTech, FinTech, MedTech та SaaS.
Якщо підходите за критеріями, подавайтесь без вагань, дедлайн завтра.
🎭 Український стартап Reface круто нашумів свого часу — захопив заголовки всіх медіа, очолив App Store в США, залучив інвестиції від a16z... Але досі не знайшов стійку бізнес-модель. Ось гарний текст про це, буде корисно почитати тим, хто робить продукт.
Навіть з крутою технологією і цікавим продуктом ключове питання — як на цьому заробити (= кому це може дати цінність, як знаходити та утримувати клієнтів, чи сходиться юніт-економіка і тд).
Крута можливість отримати 85% грант на навчання IT-професії
Міжнародний онлайн-коледж DevEducation пропонує навчання IT-професіям, при цьому є можливість отримати грант!
Студенти отримують і мають можливість відпрацювати їх на кейсах великих компаній. Після вивчення теорії студенти проходять практику на реальному проєкті.
Для отримання гранту необхідно:
1) Залишити заявку на сайті компанії
2) Пройти базовий тест на відповідність умовам гранту
3) Почати навчання для отримання практичних навичок та професійних IT-знань
Після проходження курсу абітурієнт отримає:
1. Hard skills та soft skills по обраній професії.
2. Достатній для працевлаштування обсяг практичних знань та вмінь.
3. Сертифікат та диплом про проходження курсу.
4. При відмінних результатах навчання миттєве працевлаштування до компаній-партнерів.
Заповни заявку зараз та побудуй кар‘єру в IT.
А також підписуйся на наш канал!
#реклама
🗣 Телефонне шахрайство "мама, я в поліції, скинь грошей" отримало нове життя завдяки технологіям voice cloning: літнім людям дзвонять шахраї, імітуючи їхніх близьких за допомогою ШІ. В тексті WP наводяться кілька прикладів, коли шахраї таким чином виманювали десятки тисяч доларів. Легкість, з якою можна скопіювати голос людини, лякає: достатньо взяти з її соцмереж записи кількох реплік та скористатись сервісом за кілька десятків доларів.
Читать полностью…
Записали з колегами по подкасту випуск про найгарячішу тему зараз. Вийшло непогано, послухайте! І полайкайте, щоб більше людей побачили: YouTube / Apple
Багато прочитав про LLMs за останній час, що саме вам було б цікаво дізнатись про цю технологію?
Приклад поганого питання: "чИ зАмІнИтЬ цЕ лЮдЕй". Приклади гарних питань:
- Хто і як на цьому заробить
- Що там під капотом і звідки такі вражаючі результати
- Кращі практики використання
- Інтеграції LLMs з цифровими робочими інструментами
- ... Продовжуйте
Зараз матиму трохи більше часу для ведення каналу, бо був дуже важкий семестр. Але на щастя успішно його закінчив, в тому числі використовуючи LLMs для оптимізації задач. Тож питайте, будемо розбиратись разом🤓
Можна захоплюватись лінгвістикою, штучним інтелектом і computer science. А можна конвертувати свою пристрасть у професію. Але спочатку пройти курс NLP Beginning та дізнатися:
— як збирати, зберігати, аналізувати текстові дані;
— розбиратися у ML підходах для NLP завдань;
— освоїти бібліотеки й технології для NLP рішень.
Бонус: студенти дізнаються, де і як отримати свою першу роботу комплінгвіста.
Початок навчання 25 березня.
#реклама
Від творців Stable Diffusion: перенос стилю на відео. Дуже крута штука, не перестаю дивуватись, як це все швидко демократизується.
https://research.runwayml.com/gen1
