Оригінальний автор: @BlazingKevin_, дослідник у Movemaker
Еволюція мультимодальних моделей не принесла хаосу, але поглибила технічні бар'єри Web2 AI – від семантичного вирівнювання до візуального розуміння, від високорозмірного вбудовування до злиття функцій, складні моделі інтегрують різні модальні вирази з безпрецедентною швидкістю, щоб побудувати все більш закрите ШІ-високогір'я. Фондовий ринок США також голосував ногами, будь то валютні акції або акції штучного інтелекту, вони вийшли з хвилі бичачого ринку. І ця спека не має нічого спільного з криптовалютою. Спроби штучного інтелекту Web3, які ми бачили, особливо еволюція напрямку агента в останні місяці, майже повністю неправильні: видача бажаного за дійсне використання децентралізованої структури для складання мультимодальної модульної системи в стилі Web2 насправді є подвійним неузгодженням технологій і мислення. У сучасних високозв'язаних модулях, вкрай нестабільному розподілі функцій і все більш концентрованому попиті на обчислювальну потужність мультимодальна модульність просто не може стояти в Web3. Зазначимо: майбутнє Web3 AI — це не імітація, а стратегічні обхідні шляхи. Від семантичного вирівнювання високовимірних просторів до інформаційного вузького місця в механізмі уваги, до вирівнювання функцій в умовах різнорідної обчислювальної потужності, я буду розширювати їх одну за одною, щоб пояснити, чому Web3 AI повинен використовувати сільську місцевість для оточення міста як тактичну програму.
Web3 AI на основі плоскої мультимодальної моделі, семантична несумісність призводить до низької продуктивності
У сучасних мультимодальних системах Web2 AI "семантичне вирівнювання" означає відображення інформації з різних модальностей (таких як зображення, текст, аудіо, відео тощо) у єдине або взаємоперетворюване семантичне простір, що дозволяє моделі розуміти та порівнювати внутрішнє значення цих спочатку різних сигналів. Наприклад, фотографія кота та речення "a cute cat", модель повинна проєктувати їх у близькі позиції в високорозмірному вбудованому просторі, щоб під час пошуку, генерації або висновків мати змогу "бачити і говорити" або "чути звук і уявляти картину".
Тільки за умови реалізації високорозмірного вбудованого простору, поділ робочого процесу на різні модулі має сенс для зниження витрат і підвищення ефективності. Але в протоколі Web3 Agent не можна реалізувати високорозмірну вбудованість, оскільки модульність є ілюзією Web3 AI.
Як розуміти високовимірний вбудований простір? На найбільш інтуїтивному рівні думайте про «високовимірний вбудований простір» як про систему координат — подібно до координат x–y на площині, ви можете знайти точку за допомогою пари чисел. Просто на нашій звичайній двовимірній площині точка повністю визначається двома числами (x, y); У «високовимірному» просторі кожна точка описується більшою кількістю чисел, яких може бути 128, 512 або навіть тисячі чисел.
Поетапно, розглянемо в три кроки:
Двовимірний приклад:
Уявіть, що ви на карті позначили координати кількох міст, наприклад, Пекін (116.4, 39.9), Шанхай (121.5, 31.2), Гуанчжоу (113.3, 23.1). Кожне з цих міст відповідає "двовимірному вектору вкладення" (embedding vector): двовимірні координати кодують географічну інформацію в числах.
Якщо ви хочете виміряти "схожість" між містами — міста, що знаходяться близько одне до одного на карті, зазвичай знаходяться в одній економічній або кліматичній зоні — ви можете безпосередньо порівняти евклідову відстань їхніх координат.
2. Розширення до багатовимірності:
Тепер припустимо, ви хочете описати не тільки розташування в «географічному просторі», але і деякі «кліматичні характеристики» (середня температура, кількість опадів), «демографічні характеристики» (щільність населення, ВВП) і т.д. Ви можете призначити кожному місту вектор, який містить 5, 10 або навіть більше вимірів.
Наприклад, 5-вимірні вектори в Гуанчжоу можуть бути [ 113.3, 23.1, 24.5, 1700, 14.5 ], які представляють довготу, широту, середню температуру, річну кількість опадів (мм) і економічний індекс відповідно. Цей «багатовимірний простір» дозволяє порівнювати міста за кількома параметрами, такими як географія, клімат, економіка тощо одночасно: якщо вектори двох міст близькі один до одного, це означає, що вони дуже схожі за всіма цими атрибутами.
3. Переключення на семантику — чому потрібно «вбудовувати»:
У обробці природної мови (NLP) або комп'ютерному зорі, ми також хочемо відобразити "слова", "речення" або "зображення" в такому багатовимірному векторі, щоб "схожі за значенням" слова або зображення були ближче один до одного в просторі. Цей процес відображення називається "вбудовуванням" (embedding).
Приклад: ми тренуємо модель, яка відображає "cat" (кіт) на 300-вимірний вектор v₁, "dog" (пес) на інший вектор v₂, а "недоречне" слово, наприклад, "economy" (економіка), на v₃. Таким чином, у цьому 300-вимірному просторі відстань між v₁ і v₂ буде дуже маленькою (оскільки обидва вони є тваринами і часто з'являються в подібному мовному середовищі), а відстань між v₁ і v₃ буде дуже великою.
Завдяки навчання на величезних обсягах тексту або зображеннях-текстових парах, кожен вимір, який він вивчає, не відповідає безпосередньо таким зрозумілим атрибутам, як «широта» чи «довгота», а є певними «прихованими семантичними ознаками». Деякі виміри можуть захоплювати грубе розмежування «тварини проти не тварин», інші можуть розрізняти «домашні проти диких», а деякі виміри можуть відповідати відчуттю «миловидний проти грізного»... Загалом, сотні і тисячі вимірів працюють разом, щоб закодувати всі складні, переплетені семантичні рівні.
У чому різниця між високими і низькими габаритами? Лише достатня кількість вимірів може вмістити різноманітні переплетені семантичні ознаки, і лише високі розмірності можуть зробити їх більш чіткими позиціями у відповідних семантичних широтах. Коли семантику неможливо відрізнити, тобто семантику не можна вирівняти, різні сигнали в низьковимірному просторі «здавлюють» один одного, що призводить до частої плутанини в пошуку або класифікації моделі, і точність сильно знижується. По-друге, на етапі генерації стратегії складно вловити тонкі відмінності, а також легко пропустити ключові торгові сигнали або неправильно оцінити поріг ризику, що безпосередньо тягне вниз показники прибутковості. Крім того, міжмодульна спільна робота стає неможливою, кожен агент працює незалежно, феномен інформаційних островів є серйозним, загальна затримка реагування зростає, а надійність стає слабкою. Нарешті, в умовах складних ринкових сценаріїв низьковимірна структура майже не має здатності передавати дані з кількох джерел, а стабільність і масштабованість системи важко гарантувати, а довгострокова експлуатація обов'язково зіткнеться з вузькими місцями продуктивності та труднощами з обслуговуванням, що призведе до великого розриву між продуктивністю продукту після посадки та початковим очікуванням.
Отже, чи можуть протоколи Web3 AI або Agent досягти високорозмірного простору для вбудовування? Перш за все, щоб відповісти на питання про те, як досягти високовимірного простору, традиційне розуміння «високовимірного» вимагає, щоб кожна підсистема, така як ринкова аналітика, генерація, виконання та реалізація стратегії, а також контроль ризиків, узгоджувалися одна з одною та доповнювали одна одну в представленні даних та процесі прийняття рішень. Однак більшість Web3-агентів інкапсулюють лише готові API (CoinGecko, інтерфейси DEX тощо) у незалежних «агентів», не маючи єдиного центрального простору вбудовування та механізму уваги між модулями, що призводить до інформації, яка не може взаємодіяти між модулями з різних кутів і рівнів, і може слідувати лише лінійному конвеєру, показуючи єдину функцію, і не в змозі сформувати загальну оптимізацію замкнутого циклу.
Багато агентів звертаються безпосередньо до зовнішніх інтерфейсів і навіть не виконують достатнього тонкого налаштування або інженерії функцій для даних, що повертаються інтерфейсом. Наприклад, агент з аналізу ринку просто бере ціну та обсяг торгів, агент з виконання угод лише розміщує ордери відповідно до параметрів інтерфейсу, а агент з контролю ризиків подає сигнали тривоги лише за кількома пороговими значеннями. Вони виконують свої власні обов'язки, але їм не вистачає мультимодального злиття та глибокого семантичного розуміння однієї і тієї ж ризикової події або ринкового сигналу, що призводить до того, що система не може швидко генерувати комплексні та багаторакурсні стратегії в умовах екстремальних ринкових або перехресних можливостей активів.
Таким чином, вимога до Web3 AI для досягнення простору високої розмірності еквівалентна вимозі протоколу Agent розробляти всі задіяні інтерфейси API, що суперечить його початковому наміру модульності, а модульна мультимодальна система, описана малими та середніми підприємствами в Web3 AI, не може витримати пильної уваги. Високорозмірна архітектура вимагає наскрізного уніфікованого навчання або спільної оптимізації: від захоплення сигналу до розрахунку стратегії, до виконання та контролю ризиків, усі ланки мають однаковий набір функцій представлення та втрат. Ідея Web3 Agent «модуль як плагін» посилила фрагментацію — кожне оновлення агента, розгортання та налаштування параметрів виконуються у власному бункері, який важко повторити синхронно, а також немає ефективного централізованого механізму моніторингу та зворотного зв'язку, що призводить до стрімкого зростання витрат на обслуговування та обмеженої загальної продуктивності.
Щоб реалізувати повноланковий інтелектуальний агент з бар'єрами для галузі, необхідно здійснити спільне моделювання з кінця в кінець, уніфіковане вбудовування між модулями, а також системну інженерію для кооперативного навчання та впровадження. Проте на даний момент на ринку немає таких болючих моментів, отже, немає й ринкового попиту.
У низьковимірному просторі механізм уваги не може бути точно спроектований
Мультимодальні моделі високого рівня повинні проектувати складні механізми уваги. «Механізм уваги» - це, по суті, спосіб динамічного розподілу обчислювальних ресурсів, що дозволяє моделі вибірково «фокусуватися» на найбільш значущих частинах при обробці модального введення. Найбільш поширеними є механізми самоуваги і перехресної уваги в Трансформаторі: самоувага дозволяє моделі вимірювати залежності між елементами в послідовності, наприклад, важливість кожного слова в тексті до інших слів; Трансувага дозволяє інформації з однієї модальності (наприклад, тексту) вирішувати, які особливості зображення «бачити» при декодуванні або генерації іншої модальності (наприклад, послідовності ознак зображення). Завдяки увазі з кількома головами, модель може вивчати кілька вирівнювань одночасно в різних підпросторах, щоб зафіксувати більш складні та тонкі асоціації.
Передумова механізму уваги полягає в тому, що мультимодальність має високі розміри, а у високовимірному просторі складний механізм уваги може знайти основну частину з масивного високовимірного простору за найкоротший час. Перш ніж пояснити, чому механізм уваги має бути розміщений у високовимірному просторі, щоб відігравати певну роль, ми спочатку зрозуміємо процес Web2 AI, представлений декодером Transformer під час проектування механізму уваги. Основна ідея полягає в тому, що при обробці послідовностей (текст, ділянки зображень, аудіокадри) модель динамічно призначає «ваги уваги» кожному елементу, дозволяючи їй зосередитися на найбільш релевантній інформації, а не сліпо ставитися до них однаково.
Простіше кажучи, якщо порівнювати механізм уваги з автомобілем, то проектування Query-Key-Value – це проектування двигуна. Q-K-V – це механізм, який допомагає нам визначити ключову інформацію, Query посилається на запит ( "що я шукаю" ), Key посилається на індекс ( "який у мене ярлик" ), Value відноситься до контенту (" Що тут" ). Для мультимодальної моделі те, що ви вводите в модель, може бути реченням, зображенням або аудіо. Для того, щоб отримати потрібний нам контент у розмірному просторі, ці входи розрізаються на найменші одиниці, такі як символ, невеликий блок певного розміру пікселя або шматок аудіокадру, і мультимодальна модель генерує Query, Key та Value для цих мінімальних одиниць для розрахунку уваги. Коли модель обробляє певне місце, вона за допомогою запиту цієї позиції порівняє ключі всіх позицій, визначить, які теги найкраще відповідають поточним вимогам, а потім витягне значення з відповідної позиції за ступенем відповідності та зважену комбінацію за важливістю, і нарешті отримає нове представлення, яке не тільки містить власну інформацію, а й інтегрує актуальний контент всього світу. Таким чином, кожен вихід може бути динамічно «запитаний-отриманий-інтегрований» відповідно до контексту для досягнення ефективного та точного інформаційного фокусу.
На основі цього движка додаються різні деталі, а «глобальна взаємодія» і «керована складність» вміло поєднуються: масштабований точковий добуток забезпечує чисельну стабільність, багатоголове паралельне багате вираз, кодування позицій зберігає порядок послідовностей, розріджені варіанти враховують ефективність, залишки і нормалізація допомагають стабільному тренуванню, а перехресна увага відкриває мультимодальність. Ці модульні, пошарові конструкції дозволяють Web2 AI мати потужні можливості навчання та ефективно працювати в доступному діапазоні обчислювальної потужності під час виконання різноманітних послідовних і мультимодальних завдань.
Чому модульний Web3 AI не може досягти єдиного планування уваги? По-перше, механізм уваги спирається на єдиний простір Запит-Ключ-Значення, і всі вхідні функції повинні бути відображені в одному і тому ж векторному просторі високої розмірності, щоб розрахувати динамічні ваги з скалярного добутку. Однак незалежні API повертають різні формати та різні розподіли даних — ціну, статус замовлення, порогові сигнали — без уніфікованого рівня вбудовування та не можуть сформувати набір інтерактивних Q/K/V. По-друге, многоголовное фокусування дозволяє звертати увагу на різні джерела інформації паралельно на одному рівні в один і той же час, а потім результати агрегуються. Однак незалежні API часто «спочатку викликають А, потім викликають В, а потім викликають С», і вихід кожного кроку є лише входом наступного модуля, якому не вистачає можливості паралельного і багатоканального динамічного зважування, і, природно, не можна імітувати тонке планування підрахунку балів і синтезу всіх позицій або модальностей одночасно в механізмі уваги. Нарешті, справжній механізм уваги динамічно призначає вагу кожному елементу залежно від загального контексту; У режимі API модулі можуть бачити лише «незалежний» контекст під час їх виклику, і немає центрального контексту, спільного один з одним у режимі реального часу, тому неможливо досягти глобальної кореляції та фокусування між модулями.
Таким чином, лише шляхом упаковки різних функцій у дискретні API — без спільного векторного представлення, без паралельного зважування та агрегування, неможливо побудувати таку "уніфіковану увагу" як у Transformer, так само як автомобіль з низькою продуктивністю двигуна важко вдосконалити, незалежно від модифікацій.
Дискретна модульна збірка призводить до того, що злиття ознак залишається на поверхневому статичному з'єднанні
"Злиття ознак" полягає в подальшому поєднанні векторів ознак, отриманих з різних модальностей після їх обробки, на основі вирівнювання та уваги, для безпосереднього використання в наступних завданнях (класифікація, пошук, генерація тощо). Методи злиття можуть бути простими, такими як конкатенація, зважене сумування, або складними, такими як дволінійне пулінг, розкладання тензорів, навіть технології динамічної маршрутизації. Більш складні методи полягають у чергуванні вирівнювання, уваги та злиття в багатошарових мережах, або встановленні більш гнучких шляхів передачі інформації між крос-модальними ознаками за допомогою графових нейронних мереж (GNN) для досягнення глибокої взаємодії інформації.
Не потрібно казати, що Web3 AI, безумовно, перебуває на найпростішому етапі з'єднання, оскільки передумовою динамічного злиття ознак є високорозмірний простір та точний механізм уваги. Коли ці передумови не можуть бути виконані, природно, що фінальний етап злиття ознак також не може забезпечити відмінну продуктивність.
Web2 AI має тенденцію до наскрізного спільного навчання: усі модальні функції, такі як зображення, текст і аудіо, обробляються одночасно в одному і тому ж високовимірному просторі, а модель автоматично навчається оптимальним вагам злиття та режимам взаємодії в прямому та зворотному поширенні за допомогою спільної оптимізації з нижчим рівнем завдань через шар уваги та шар злиття. Web3 AI, з іншого боку, використовує більш дискретне зрощування модулів, інкапсулюючи різні API, такі як розпізнавання зображень, захоплення ринку та оцінка ризиків, у незалежних агентів, а потім просто збираючи разом мітки, значення або порогові сигнали, які вони виводять, і приймаючи комплексні рішення за допомогою основної логіки або посібника, якому не вистачає єдиної мети навчання та немає градієнтного потоку між модулями.
У Web2 AI система покладається на механізм уваги, щоб розраховувати оцінки важливості різних функцій у режимі реального часу відповідно до контексту та динамічно коригувати стратегію злиття. Багатоголовий фокус також може вловлювати кілька різних моделей взаємодії ознак паралельно на одному рівні, беручи до уваги локальні деталі та глобальну семантику. Web3 AI, з іншого боку, часто заздалегідь фіксує вагу «зображення × 0,5 + текст × 0,3 + ціна × 0,2» або використовує прості правила «якщо/інакше», щоб визначити, чи потрібно зливати, чи не зливати взагалі, і представляє лише вихідні дані кожного модуля разом, якому не вистачає гнучкості.
Web2 AI відображає всі модальні особливості у високовимірний простір у кілька тисяч вимірів, а процес злиття — це не лише зшивання векторів, а й різноманітні взаємодії вищого порядку, такі як додавання та білінійне об'єднання — кожен вимір має потенціал відповідати латентному семантику, що дозволяє моделі фіксувати глибокі, складні крос-модальні асоціації. На противагу цьому, вихід агента Web3 AI часто містить лише кілька ключових полів або показників, а розміри функцій надзвичайно низькі, що робить майже неможливим передачу тонкої інформації, наприклад, «чому вміст зображення відповідає значенню тексту» або «тонка кореляція між коливаннями цін і рухами настроїв».
У Web2 AI втрата у підлеглих завданнях постійно передається через шари уваги та злиття назад до різних частин моделі, автоматично регулюючи, які ознаки повинні бути посилені або придушені, формуючи замкнуту оптимізацію. У свою чергу, Web3 AI, після звітування результатів викликів API, в основному покладається на людські або зовнішні процеси для оцінки та налаштування параметрів, що призводить до відсутності автоматизованого зворотного зв'язку з кінця в кінець, ускладнюючи онлайн-ітерацію та оптимізацію стратегій злиття.
Бар'єри в AI-індустрії поглиблюються, але болі ще не з'явилися.
Через необхідність враховувати крос-модальне вирівнювання, складні обчислення уваги та злиття високорозмірних функцій у наскрізному навчанні, мультимодальна система Web2 AI часто є надзвичайно великим інженерним проєктом. Він не тільки вимагає величезних, різноманітних і добре анотованих крос-модальних наборів даних, але й тижнів або навіть місяців навчання на тисячах графічних процесорів; З точки зору архітектури моделі, вона інтегрує різні новітні концепції проектування мережі та технології оптимізації. З точки зору реалізації проекту також необхідно побудувати масштабовану розподілену навчальну платформу, систему моніторингу, управління версіями моделей і пайплайн розгортання. У дослідженні та розробці алгоритмів необхідно продовжувати вивчати більш ефективні варіанти уваги, більш надійні втрати вирівнювання та легші стратегії злиття. Така повноланкова, повна системна робота має надзвичайно високі вимоги до капіталу, даних, обчислювальної потужності, талантів і навіть організаційної співпраці, тому вона становить сильний галузевий бар'єр, а також створила основну конкурентоспроможність, освоєну кількома провідними командами до цього часу.
Коли я розглядав китайські програми штучного інтелекту у квітні та порівнював WEB3 ai, я згадав точку зору: у галузях із сильними бар'єрами Crypto може досягти проривів, що означає, що деякі галузі були дуже зрілими на традиційних ринках, але є величезні больові точки, висока зрілість означає, що є достатня кількість користувачів, знайомих зі схожими бізнес-моделями, а великі больові точки означають, що користувачі готові спробувати нові рішення, тобто сильна готовність прийняти Crypto, і те, і інше незамінне, тобто, навпаки, Якщо це не індустрія, яка вже дуже зріла на традиційному ринку, але є величезні больові точки, криптовалюта не зможе в ній прижитися, не буде місця для виживання, а готовність користувачів повністю зрозуміти її дуже низька, і вони не розуміють її потенційної верхньої межі.
WEB3 AI або будь-який криптопродукт під прапором PMF потрібно розробляти з тактикою оточення міста в сільській місцевості, а воду тестувати в невеликих масштабах у граничному положенні, щоб переконатися, що фундамент міцний, а потім чекати появи основного сценарію, тобто цільового міста. Суть Web3 AI лежить у децентралізації, і його шлях еволюції відображається в сумісності високого рівня паралелізму, низького зв'язку та гетерогенної обчислювальної потужності. Це робить Web3 AI більш вигідним у таких сценаріях, як периферійні обчислення, і підходить для завдань із легкою структурою, легкою паралелізмом і стимулюванням, таких як тонке налаштування LoRA, поведінково узгоджені завдання після навчання, навчання та анотації даних за допомогою краудсорсингу, навчання невеликій базовій моделі та спільне навчання периферійних пристроїв. Архітектура продукту в цих сценаріях легка, а дорожня карта може бути гнучко ітерована. Але це не означає, що можливість є зараз, тому що бар'єри WEB2 AI тільки почали формуватися, поява Deepseek стимулювала прогрес мультимодального комплексного завдання AI, який є конкуренцією провідних підприємств, і це ранній етап появи дивідендів WEB2 AI, я думаю, що лише коли дивіденди WEB2 AI зникнуть, больові точки, залишені ним, — це можливості для WEB3 AI врізатися, як і оригінальне народження DeFi, а до того, як настане час, WEB3 AI Нам потрібно ретельно визначити домовленість, яка має «сільські райони навколо міст», чи відрізати від краю, чи спочатку міцно закріпитися на сільській місцевості (або маленькому ринку, маленькому сцені), де влада слабка і ринок має мало вкорінених сцен, і поступово накопичувати ресурси та досвід; Якщо це неможливо зробити, то важко розраховувати на те, що PMF досягне ринкової вартості в 1 мільярд доларів США на цій основі, і такі проекти не будуть у списку спостереження; НАМ ПОТРІБНО ЗВЕРНУТИ УВАГУ НА ТЕ, ЧИ МАЄ ПРОТОКОЛ WEB3 AI БУТИ ПОВНІСТЮ ГНУЧКИМ, ГНУЧКИМ ДЛЯ РІЗНИХ СЦЕНАРІЇВ, МІГ ШВИДКО ПЕРЕМІЩАТИСЯ МІЖ СІЛЬСЬКИМИ РАЙОНАМИ ТА РУХАТИСЯ БЛИЖЧЕ ДО ЦІЛЬОВОГО МІСТА З НАЙБІЛЬШОЮ ШВИДКІСТЮ.
Про Movemaker
Movemaker є першою офіційною громадською організацією, авторизованою Aptos Foundation і спільно ініційованою Ankaa та BlockBooster, зосередженою на сприянні будівництву та розвитку китайськомовної спільноти Aptos. Як офіційний представник Aptos у китайськомовному регіоні, Movemaker прагне створити різноманітну, відкриту та процвітаючу екосистему Aptos, об'єднуючи розробників, користувачів, капітал та багатьох партнерів екосистеми.
Відмова від відповідальності:
Ця стаття/блог носить виключно інформаційний характер і відображає особисті погляди автора і не обов'язково відображає позицію Movemaker. Ця стаття не має на меті надати: (i) інвестиційні поради або інвестиційні рекомендації; (ii) пропозицію або заклик купити, продати або утримувати цифрові активи; або (iii) фінансові, бухгалтерські, юридичні чи податкові консультації. Зберігання цифрових активів, включаючи стейблкоїни та NFT, є надзвичайно ризикованим, дуже волатильним у ціні та навіть може стати марним. Ви повинні ретельно подумати, чи підходить вам торгівля або зберігання цифрових активів у світлі вашого власного фінансового становища. Будь ласка, проконсультуйтеся зі своїм юридичним, податковим або інвестиційним консультантом, якщо у вас виникнуть запитання щодо ваших конкретних обставин. Інформація, надана в цій статті, включаючи ринкові дані та статистику, якщо така є, призначена лише для загальних інформаційних цілей. При підготовці цих малюнків і графіків було приділено розумну обережність, але ми не несемо відповідальності за будь-які фактичні помилки або упущення, виражені в них.
Контент має виключно довідковий характер і не є запрошенням до участі або пропозицією. Інвестиційні, податкові чи юридичні консультації не надаються. Перегляньте Відмову від відповідальності , щоб дізнатися більше про ризики.
Чому мультимодульність є ілюзією Web3 AI?
Оригінальний автор: @BlazingKevin_, дослідник у Movemaker
Еволюція мультимодальних моделей не принесла хаосу, але поглибила технічні бар'єри Web2 AI – від семантичного вирівнювання до візуального розуміння, від високорозмірного вбудовування до злиття функцій, складні моделі інтегрують різні модальні вирази з безпрецедентною швидкістю, щоб побудувати все більш закрите ШІ-високогір'я. Фондовий ринок США також голосував ногами, будь то валютні акції або акції штучного інтелекту, вони вийшли з хвилі бичачого ринку. І ця спека не має нічого спільного з криптовалютою. Спроби штучного інтелекту Web3, які ми бачили, особливо еволюція напрямку агента в останні місяці, майже повністю неправильні: видача бажаного за дійсне використання децентралізованої структури для складання мультимодальної модульної системи в стилі Web2 насправді є подвійним неузгодженням технологій і мислення. У сучасних високозв'язаних модулях, вкрай нестабільному розподілі функцій і все більш концентрованому попиті на обчислювальну потужність мультимодальна модульність просто не може стояти в Web3. Зазначимо: майбутнє Web3 AI — це не імітація, а стратегічні обхідні шляхи. Від семантичного вирівнювання високовимірних просторів до інформаційного вузького місця в механізмі уваги, до вирівнювання функцій в умовах різнорідної обчислювальної потужності, я буду розширювати їх одну за одною, щоб пояснити, чому Web3 AI повинен використовувати сільську місцевість для оточення міста як тактичну програму.
Web3 AI на основі плоскої мультимодальної моделі, семантична несумісність призводить до низької продуктивності
У сучасних мультимодальних системах Web2 AI "семантичне вирівнювання" означає відображення інформації з різних модальностей (таких як зображення, текст, аудіо, відео тощо) у єдине або взаємоперетворюване семантичне простір, що дозволяє моделі розуміти та порівнювати внутрішнє значення цих спочатку різних сигналів. Наприклад, фотографія кота та речення "a cute cat", модель повинна проєктувати їх у близькі позиції в високорозмірному вбудованому просторі, щоб під час пошуку, генерації або висновків мати змогу "бачити і говорити" або "чути звук і уявляти картину".
Тільки за умови реалізації високорозмірного вбудованого простору, поділ робочого процесу на різні модулі має сенс для зниження витрат і підвищення ефективності. Але в протоколі Web3 Agent не можна реалізувати високорозмірну вбудованість, оскільки модульність є ілюзією Web3 AI.
Як розуміти високовимірний вбудований простір? На найбільш інтуїтивному рівні думайте про «високовимірний вбудований простір» як про систему координат — подібно до координат x–y на площині, ви можете знайти точку за допомогою пари чисел. Просто на нашій звичайній двовимірній площині точка повністю визначається двома числами (x, y); У «високовимірному» просторі кожна точка описується більшою кількістю чисел, яких може бути 128, 512 або навіть тисячі чисел.
Поетапно, розглянемо в три кроки:
Уявіть, що ви на карті позначили координати кількох міст, наприклад, Пекін (116.4, 39.9), Шанхай (121.5, 31.2), Гуанчжоу (113.3, 23.1). Кожне з цих міст відповідає "двовимірному вектору вкладення" (embedding vector): двовимірні координати кодують географічну інформацію в числах.
Якщо ви хочете виміряти "схожість" між містами — міста, що знаходяться близько одне до одного на карті, зазвичай знаходяться в одній економічній або кліматичній зоні — ви можете безпосередньо порівняти евклідову відстань їхніх координат. 2. Розширення до багатовимірності:
Тепер припустимо, ви хочете описати не тільки розташування в «географічному просторі», але і деякі «кліматичні характеристики» (середня температура, кількість опадів), «демографічні характеристики» (щільність населення, ВВП) і т.д. Ви можете призначити кожному місту вектор, який містить 5, 10 або навіть більше вимірів.
Наприклад, 5-вимірні вектори в Гуанчжоу можуть бути [ 113.3, 23.1, 24.5, 1700, 14.5 ], які представляють довготу, широту, середню температуру, річну кількість опадів (мм) і економічний індекс відповідно. Цей «багатовимірний простір» дозволяє порівнювати міста за кількома параметрами, такими як географія, клімат, економіка тощо одночасно: якщо вектори двох міст близькі один до одного, це означає, що вони дуже схожі за всіма цими атрибутами. 3. Переключення на семантику — чому потрібно «вбудовувати»: У обробці природної мови (NLP) або комп'ютерному зорі, ми також хочемо відобразити "слова", "речення" або "зображення" в такому багатовимірному векторі, щоб "схожі за значенням" слова або зображення були ближче один до одного в просторі. Цей процес відображення називається "вбудовуванням" (embedding). Приклад: ми тренуємо модель, яка відображає "cat" (кіт) на 300-вимірний вектор v₁, "dog" (пес) на інший вектор v₂, а "недоречне" слово, наприклад, "economy" (економіка), на v₃. Таким чином, у цьому 300-вимірному просторі відстань між v₁ і v₂ буде дуже маленькою (оскільки обидва вони є тваринами і часто з'являються в подібному мовному середовищі), а відстань між v₁ і v₃ буде дуже великою. Завдяки навчання на величезних обсягах тексту або зображеннях-текстових парах, кожен вимір, який він вивчає, не відповідає безпосередньо таким зрозумілим атрибутам, як «широта» чи «довгота», а є певними «прихованими семантичними ознаками». Деякі виміри можуть захоплювати грубе розмежування «тварини проти не тварин», інші можуть розрізняти «домашні проти диких», а деякі виміри можуть відповідати відчуттю «миловидний проти грізного»... Загалом, сотні і тисячі вимірів працюють разом, щоб закодувати всі складні, переплетені семантичні рівні.
У чому різниця між високими і низькими габаритами? Лише достатня кількість вимірів може вмістити різноманітні переплетені семантичні ознаки, і лише високі розмірності можуть зробити їх більш чіткими позиціями у відповідних семантичних широтах. Коли семантику неможливо відрізнити, тобто семантику не можна вирівняти, різні сигнали в низьковимірному просторі «здавлюють» один одного, що призводить до частої плутанини в пошуку або класифікації моделі, і точність сильно знижується. По-друге, на етапі генерації стратегії складно вловити тонкі відмінності, а також легко пропустити ключові торгові сигнали або неправильно оцінити поріг ризику, що безпосередньо тягне вниз показники прибутковості. Крім того, міжмодульна спільна робота стає неможливою, кожен агент працює незалежно, феномен інформаційних островів є серйозним, загальна затримка реагування зростає, а надійність стає слабкою. Нарешті, в умовах складних ринкових сценаріїв низьковимірна структура майже не має здатності передавати дані з кількох джерел, а стабільність і масштабованість системи важко гарантувати, а довгострокова експлуатація обов'язково зіткнеться з вузькими місцями продуктивності та труднощами з обслуговуванням, що призведе до великого розриву між продуктивністю продукту після посадки та початковим очікуванням.
Отже, чи можуть протоколи Web3 AI або Agent досягти високорозмірного простору для вбудовування? Перш за все, щоб відповісти на питання про те, як досягти високовимірного простору, традиційне розуміння «високовимірного» вимагає, щоб кожна підсистема, така як ринкова аналітика, генерація, виконання та реалізація стратегії, а також контроль ризиків, узгоджувалися одна з одною та доповнювали одна одну в представленні даних та процесі прийняття рішень. Однак більшість Web3-агентів інкапсулюють лише готові API (CoinGecko, інтерфейси DEX тощо) у незалежних «агентів», не маючи єдиного центрального простору вбудовування та механізму уваги між модулями, що призводить до інформації, яка не може взаємодіяти між модулями з різних кутів і рівнів, і може слідувати лише лінійному конвеєру, показуючи єдину функцію, і не в змозі сформувати загальну оптимізацію замкнутого циклу.
Багато агентів звертаються безпосередньо до зовнішніх інтерфейсів і навіть не виконують достатнього тонкого налаштування або інженерії функцій для даних, що повертаються інтерфейсом. Наприклад, агент з аналізу ринку просто бере ціну та обсяг торгів, агент з виконання угод лише розміщує ордери відповідно до параметрів інтерфейсу, а агент з контролю ризиків подає сигнали тривоги лише за кількома пороговими значеннями. Вони виконують свої власні обов'язки, але їм не вистачає мультимодального злиття та глибокого семантичного розуміння однієї і тієї ж ризикової події або ринкового сигналу, що призводить до того, що система не може швидко генерувати комплексні та багаторакурсні стратегії в умовах екстремальних ринкових або перехресних можливостей активів.
Таким чином, вимога до Web3 AI для досягнення простору високої розмірності еквівалентна вимозі протоколу Agent розробляти всі задіяні інтерфейси API, що суперечить його початковому наміру модульності, а модульна мультимодальна система, описана малими та середніми підприємствами в Web3 AI, не може витримати пильної уваги. Високорозмірна архітектура вимагає наскрізного уніфікованого навчання або спільної оптимізації: від захоплення сигналу до розрахунку стратегії, до виконання та контролю ризиків, усі ланки мають однаковий набір функцій представлення та втрат. Ідея Web3 Agent «модуль як плагін» посилила фрагментацію — кожне оновлення агента, розгортання та налаштування параметрів виконуються у власному бункері, який важко повторити синхронно, а також немає ефективного централізованого механізму моніторингу та зворотного зв'язку, що призводить до стрімкого зростання витрат на обслуговування та обмеженої загальної продуктивності.
Щоб реалізувати повноланковий інтелектуальний агент з бар'єрами для галузі, необхідно здійснити спільне моделювання з кінця в кінець, уніфіковане вбудовування між модулями, а також системну інженерію для кооперативного навчання та впровадження. Проте на даний момент на ринку немає таких болючих моментів, отже, немає й ринкового попиту.
У низьковимірному просторі механізм уваги не може бути точно спроектований
Мультимодальні моделі високого рівня повинні проектувати складні механізми уваги. «Механізм уваги» - це, по суті, спосіб динамічного розподілу обчислювальних ресурсів, що дозволяє моделі вибірково «фокусуватися» на найбільш значущих частинах при обробці модального введення. Найбільш поширеними є механізми самоуваги і перехресної уваги в Трансформаторі: самоувага дозволяє моделі вимірювати залежності між елементами в послідовності, наприклад, важливість кожного слова в тексті до інших слів; Трансувага дозволяє інформації з однієї модальності (наприклад, тексту) вирішувати, які особливості зображення «бачити» при декодуванні або генерації іншої модальності (наприклад, послідовності ознак зображення). Завдяки увазі з кількома головами, модель може вивчати кілька вирівнювань одночасно в різних підпросторах, щоб зафіксувати більш складні та тонкі асоціації.
Передумова механізму уваги полягає в тому, що мультимодальність має високі розміри, а у високовимірному просторі складний механізм уваги може знайти основну частину з масивного високовимірного простору за найкоротший час. Перш ніж пояснити, чому механізм уваги має бути розміщений у високовимірному просторі, щоб відігравати певну роль, ми спочатку зрозуміємо процес Web2 AI, представлений декодером Transformer під час проектування механізму уваги. Основна ідея полягає в тому, що при обробці послідовностей (текст, ділянки зображень, аудіокадри) модель динамічно призначає «ваги уваги» кожному елементу, дозволяючи їй зосередитися на найбільш релевантній інформації, а не сліпо ставитися до них однаково.
Простіше кажучи, якщо порівнювати механізм уваги з автомобілем, то проектування Query-Key-Value – це проектування двигуна. Q-K-V – це механізм, який допомагає нам визначити ключову інформацію, Query посилається на запит ( "що я шукаю" ), Key посилається на індекс ( "який у мене ярлик" ), Value відноситься до контенту (" Що тут" ). Для мультимодальної моделі те, що ви вводите в модель, може бути реченням, зображенням або аудіо. Для того, щоб отримати потрібний нам контент у розмірному просторі, ці входи розрізаються на найменші одиниці, такі як символ, невеликий блок певного розміру пікселя або шматок аудіокадру, і мультимодальна модель генерує Query, Key та Value для цих мінімальних одиниць для розрахунку уваги. Коли модель обробляє певне місце, вона за допомогою запиту цієї позиції порівняє ключі всіх позицій, визначить, які теги найкраще відповідають поточним вимогам, а потім витягне значення з відповідної позиції за ступенем відповідності та зважену комбінацію за важливістю, і нарешті отримає нове представлення, яке не тільки містить власну інформацію, а й інтегрує актуальний контент всього світу. Таким чином, кожен вихід може бути динамічно «запитаний-отриманий-інтегрований» відповідно до контексту для досягнення ефективного та точного інформаційного фокусу.
На основі цього движка додаються різні деталі, а «глобальна взаємодія» і «керована складність» вміло поєднуються: масштабований точковий добуток забезпечує чисельну стабільність, багатоголове паралельне багате вираз, кодування позицій зберігає порядок послідовностей, розріджені варіанти враховують ефективність, залишки і нормалізація допомагають стабільному тренуванню, а перехресна увага відкриває мультимодальність. Ці модульні, пошарові конструкції дозволяють Web2 AI мати потужні можливості навчання та ефективно працювати в доступному діапазоні обчислювальної потужності під час виконання різноманітних послідовних і мультимодальних завдань.
Чому модульний Web3 AI не може досягти єдиного планування уваги? По-перше, механізм уваги спирається на єдиний простір Запит-Ключ-Значення, і всі вхідні функції повинні бути відображені в одному і тому ж векторному просторі високої розмірності, щоб розрахувати динамічні ваги з скалярного добутку. Однак незалежні API повертають різні формати та різні розподіли даних — ціну, статус замовлення, порогові сигнали — без уніфікованого рівня вбудовування та не можуть сформувати набір інтерактивних Q/K/V. По-друге, многоголовное фокусування дозволяє звертати увагу на різні джерела інформації паралельно на одному рівні в один і той же час, а потім результати агрегуються. Однак незалежні API часто «спочатку викликають А, потім викликають В, а потім викликають С», і вихід кожного кроку є лише входом наступного модуля, якому не вистачає можливості паралельного і багатоканального динамічного зважування, і, природно, не можна імітувати тонке планування підрахунку балів і синтезу всіх позицій або модальностей одночасно в механізмі уваги. Нарешті, справжній механізм уваги динамічно призначає вагу кожному елементу залежно від загального контексту; У режимі API модулі можуть бачити лише «незалежний» контекст під час їх виклику, і немає центрального контексту, спільного один з одним у режимі реального часу, тому неможливо досягти глобальної кореляції та фокусування між модулями.
Таким чином, лише шляхом упаковки різних функцій у дискретні API — без спільного векторного представлення, без паралельного зважування та агрегування, неможливо побудувати таку "уніфіковану увагу" як у Transformer, так само як автомобіль з низькою продуктивністю двигуна важко вдосконалити, незалежно від модифікацій.
Дискретна модульна збірка призводить до того, що злиття ознак залишається на поверхневому статичному з'єднанні
"Злиття ознак" полягає в подальшому поєднанні векторів ознак, отриманих з різних модальностей після їх обробки, на основі вирівнювання та уваги, для безпосереднього використання в наступних завданнях (класифікація, пошук, генерація тощо). Методи злиття можуть бути простими, такими як конкатенація, зважене сумування, або складними, такими як дволінійне пулінг, розкладання тензорів, навіть технології динамічної маршрутизації. Більш складні методи полягають у чергуванні вирівнювання, уваги та злиття в багатошарових мережах, або встановленні більш гнучких шляхів передачі інформації між крос-модальними ознаками за допомогою графових нейронних мереж (GNN) для досягнення глибокої взаємодії інформації.
Не потрібно казати, що Web3 AI, безумовно, перебуває на найпростішому етапі з'єднання, оскільки передумовою динамічного злиття ознак є високорозмірний простір та точний механізм уваги. Коли ці передумови не можуть бути виконані, природно, що фінальний етап злиття ознак також не може забезпечити відмінну продуктивність.
Web2 AI має тенденцію до наскрізного спільного навчання: усі модальні функції, такі як зображення, текст і аудіо, обробляються одночасно в одному і тому ж високовимірному просторі, а модель автоматично навчається оптимальним вагам злиття та режимам взаємодії в прямому та зворотному поширенні за допомогою спільної оптимізації з нижчим рівнем завдань через шар уваги та шар злиття. Web3 AI, з іншого боку, використовує більш дискретне зрощування модулів, інкапсулюючи різні API, такі як розпізнавання зображень, захоплення ринку та оцінка ризиків, у незалежних агентів, а потім просто збираючи разом мітки, значення або порогові сигнали, які вони виводять, і приймаючи комплексні рішення за допомогою основної логіки або посібника, якому не вистачає єдиної мети навчання та немає градієнтного потоку між модулями.
У Web2 AI система покладається на механізм уваги, щоб розраховувати оцінки важливості різних функцій у режимі реального часу відповідно до контексту та динамічно коригувати стратегію злиття. Багатоголовий фокус також може вловлювати кілька різних моделей взаємодії ознак паралельно на одному рівні, беручи до уваги локальні деталі та глобальну семантику. Web3 AI, з іншого боку, часто заздалегідь фіксує вагу «зображення × 0,5 + текст × 0,3 + ціна × 0,2» або використовує прості правила «якщо/інакше», щоб визначити, чи потрібно зливати, чи не зливати взагалі, і представляє лише вихідні дані кожного модуля разом, якому не вистачає гнучкості.
Web2 AI відображає всі модальні особливості у високовимірний простір у кілька тисяч вимірів, а процес злиття — це не лише зшивання векторів, а й різноманітні взаємодії вищого порядку, такі як додавання та білінійне об'єднання — кожен вимір має потенціал відповідати латентному семантику, що дозволяє моделі фіксувати глибокі, складні крос-модальні асоціації. На противагу цьому, вихід агента Web3 AI часто містить лише кілька ключових полів або показників, а розміри функцій надзвичайно низькі, що робить майже неможливим передачу тонкої інформації, наприклад, «чому вміст зображення відповідає значенню тексту» або «тонка кореляція між коливаннями цін і рухами настроїв».
У Web2 AI втрата у підлеглих завданнях постійно передається через шари уваги та злиття назад до різних частин моделі, автоматично регулюючи, які ознаки повинні бути посилені або придушені, формуючи замкнуту оптимізацію. У свою чергу, Web3 AI, після звітування результатів викликів API, в основному покладається на людські або зовнішні процеси для оцінки та налаштування параметрів, що призводить до відсутності автоматизованого зворотного зв'язку з кінця в кінець, ускладнюючи онлайн-ітерацію та оптимізацію стратегій злиття.
Бар'єри в AI-індустрії поглиблюються, але болі ще не з'явилися.
Через необхідність враховувати крос-модальне вирівнювання, складні обчислення уваги та злиття високорозмірних функцій у наскрізному навчанні, мультимодальна система Web2 AI часто є надзвичайно великим інженерним проєктом. Він не тільки вимагає величезних, різноманітних і добре анотованих крос-модальних наборів даних, але й тижнів або навіть місяців навчання на тисячах графічних процесорів; З точки зору архітектури моделі, вона інтегрує різні новітні концепції проектування мережі та технології оптимізації. З точки зору реалізації проекту також необхідно побудувати масштабовану розподілену навчальну платформу, систему моніторингу, управління версіями моделей і пайплайн розгортання. У дослідженні та розробці алгоритмів необхідно продовжувати вивчати більш ефективні варіанти уваги, більш надійні втрати вирівнювання та легші стратегії злиття. Така повноланкова, повна системна робота має надзвичайно високі вимоги до капіталу, даних, обчислювальної потужності, талантів і навіть організаційної співпраці, тому вона становить сильний галузевий бар'єр, а також створила основну конкурентоспроможність, освоєну кількома провідними командами до цього часу.
Коли я розглядав китайські програми штучного інтелекту у квітні та порівнював WEB3 ai, я згадав точку зору: у галузях із сильними бар'єрами Crypto може досягти проривів, що означає, що деякі галузі були дуже зрілими на традиційних ринках, але є величезні больові точки, висока зрілість означає, що є достатня кількість користувачів, знайомих зі схожими бізнес-моделями, а великі больові точки означають, що користувачі готові спробувати нові рішення, тобто сильна готовність прийняти Crypto, і те, і інше незамінне, тобто, навпаки, Якщо це не індустрія, яка вже дуже зріла на традиційному ринку, але є величезні больові точки, криптовалюта не зможе в ній прижитися, не буде місця для виживання, а готовність користувачів повністю зрозуміти її дуже низька, і вони не розуміють її потенційної верхньої межі.
WEB3 AI або будь-який криптопродукт під прапором PMF потрібно розробляти з тактикою оточення міста в сільській місцевості, а воду тестувати в невеликих масштабах у граничному положенні, щоб переконатися, що фундамент міцний, а потім чекати появи основного сценарію, тобто цільового міста. Суть Web3 AI лежить у децентралізації, і його шлях еволюції відображається в сумісності високого рівня паралелізму, низького зв'язку та гетерогенної обчислювальної потужності. Це робить Web3 AI більш вигідним у таких сценаріях, як периферійні обчислення, і підходить для завдань із легкою структурою, легкою паралелізмом і стимулюванням, таких як тонке налаштування LoRA, поведінково узгоджені завдання після навчання, навчання та анотації даних за допомогою краудсорсингу, навчання невеликій базовій моделі та спільне навчання периферійних пристроїв. Архітектура продукту в цих сценаріях легка, а дорожня карта може бути гнучко ітерована. Але це не означає, що можливість є зараз, тому що бар'єри WEB2 AI тільки почали формуватися, поява Deepseek стимулювала прогрес мультимодального комплексного завдання AI, який є конкуренцією провідних підприємств, і це ранній етап появи дивідендів WEB2 AI, я думаю, що лише коли дивіденди WEB2 AI зникнуть, больові точки, залишені ним, — це можливості для WEB3 AI врізатися, як і оригінальне народження DeFi, а до того, як настане час, WEB3 AI Нам потрібно ретельно визначити домовленість, яка має «сільські райони навколо міст», чи відрізати від краю, чи спочатку міцно закріпитися на сільській місцевості (або маленькому ринку, маленькому сцені), де влада слабка і ринок має мало вкорінених сцен, і поступово накопичувати ресурси та досвід; Якщо це неможливо зробити, то важко розраховувати на те, що PMF досягне ринкової вартості в 1 мільярд доларів США на цій основі, і такі проекти не будуть у списку спостереження; НАМ ПОТРІБНО ЗВЕРНУТИ УВАГУ НА ТЕ, ЧИ МАЄ ПРОТОКОЛ WEB3 AI БУТИ ПОВНІСТЮ ГНУЧКИМ, ГНУЧКИМ ДЛЯ РІЗНИХ СЦЕНАРІЇВ, МІГ ШВИДКО ПЕРЕМІЩАТИСЯ МІЖ СІЛЬСЬКИМИ РАЙОНАМИ ТА РУХАТИСЯ БЛИЖЧЕ ДО ЦІЛЬОВОГО МІСТА З НАЙБІЛЬШОЮ ШВИДКІСТЮ.
Про Movemaker
Movemaker є першою офіційною громадською організацією, авторизованою Aptos Foundation і спільно ініційованою Ankaa та BlockBooster, зосередженою на сприянні будівництву та розвитку китайськомовної спільноти Aptos. Як офіційний представник Aptos у китайськомовному регіоні, Movemaker прагне створити різноманітну, відкриту та процвітаючу екосистему Aptos, об'єднуючи розробників, користувачів, капітал та багатьох партнерів екосистеми.
Відмова від відповідальності:
Ця стаття/блог носить виключно інформаційний характер і відображає особисті погляди автора і не обов'язково відображає позицію Movemaker. Ця стаття не має на меті надати: (i) інвестиційні поради або інвестиційні рекомендації; (ii) пропозицію або заклик купити, продати або утримувати цифрові активи; або (iii) фінансові, бухгалтерські, юридичні чи податкові консультації. Зберігання цифрових активів, включаючи стейблкоїни та NFT, є надзвичайно ризикованим, дуже волатильним у ціні та навіть може стати марним. Ви повинні ретельно подумати, чи підходить вам торгівля або зберігання цифрових активів у світлі вашого власного фінансового становища. Будь ласка, проконсультуйтеся зі своїм юридичним, податковим або інвестиційним консультантом, якщо у вас виникнуть запитання щодо ваших конкретних обставин. Інформація, надана в цій статті, включаючи ринкові дані та статистику, якщо така є, призначена лише для загальних інформаційних цілей. При підготовці цих малюнків і графіків було приділено розумну обережність, але ми не несемо відповідальності за будь-які фактичні помилки або упущення, виражені в них.