Стаття Apple натякає, що великі мовні моделі (LLMs) досягають своїх меж, викликаючи занепокоєння серед експертів зі штучного інтелекту щодо їхніх реальних можливостей та стійкості.

Apple нещодавно опублікувала статтю, яка тонко визнає те, про що в спільноті штучного інтелекту говорять вже деякий час: великі мовні моделі (LLMs) наближаються до своїх меж. Ці системи — такі як GPT-4 від OpenAI — вразили світ своєю здатністю генерувати текст, схожий на людський, відповідати на складні запитання та допомагати у виконанні завдань у різних галузях. Але за завісою захоплення стає очевидно, що ми можемо стикнутися з плато. І це не лише думка Apple. Експерти зі штучного інтелекту, такі як Гарі Маркус, роками б’ють на сполох, попереджаючи, що LLMs, попри їхні досягнення, стикаються зі значними обмеженнями.

Проте, незважаючи на ці попередження, венчурні капіталісти (VCs) вливають мільярди в стартапи, що працюють із LLMs, подібно до лемінгів, які йдуть до прірви. Привабливість LLMs, підкріплена страхом пропустити наступний “золотий бум” у сфері штучного інтелекту, викликала справжню інвестиційну лихоманку. Інвестори женуться за хайпом, не усвідомлюючи, що LLMs, можливо, вже досягли піку. І, як і лемінги, більшість із цих інвесторів незабаром опиняться “за краєм”, втрачаючи свої інвестиції у “модні” технології, які досягли своїх природних обмежень.

LLMs, хоча й революційні, мають суттєві недоліки. Вони є по суті механізмами розпізнавання шаблонів, які прогнозують, який текст має йти далі, базуючись на величезних обсягах навчальних даних. Але вони насправді не розуміють тексту, який генерують. Це призводить до добре задокументованих проблем, таких як “галюцинації” — коли LLMs упевнено генерують інформацію, яка є абсолютно хибною. Вони можуть чудово імітувати людську розмову, але їм бракує справжніх навичок мислення. Попри весь ажіотаж навколо їхнього потенціалу, LLMs не здатні критично мислити чи вирішувати складні проблеми так, як це робить людина.

Крім того, ресурси, необхідні для роботи цих моделей, є астрономічними. Навчання LLMs вимагає величезної кількості даних і обчислювальної потужності, що робить їх неефективними та дорогими для масштабування. Просте збільшення розмірів цих моделей або навчання на більшій кількості даних не вирішує основних проблем. Як зазначається у статті Apple та інших джерелах, поточний підхід до LLMs має значні обмеження, які не можна подолати лише за рахунок збільшення потужностей.

Ось чому експерти зі штучного інтелекту, такі як Маркус, називають великі мовні моделі (LLMs) “геніально тупими”. Вони можуть створювати вражаючі результати, але фундаментально нездатні до розуміння і міркувань, які зробили б їх по-справжньому інтелектуальними. Зменшення результативності з кожною новою ітерацією LLMs свідчить про те, що ми наближаємося до вершини S-кривої для цієї технології.

Але це не означає, що штучний інтелект (ШІ) мертвий — зовсім ні. Те, що LLMs досягають своїх меж, є природною частиною еволюції експоненціальних технологій. Кожен великий технологічний прорив слідує передбачуваній моделі, яку часто називають S-кривою інновацій. Спочатку прогрес повільний, наповнений помилками та невдачами. Потім настає період швидкого прискорення, коли прориви відбуваються швидко, і технологія починає змінювати цілі галузі. Але зрештою кожна технологія досягає плато, коли стикається з природними межами.

Ця модель повторювалася з численними технологіями в минулому. Візьмемо, наприклад, інтернет. У ранні дні скептики відкидали його як інструмент для академіків і ентузіастів. Зростання було повільним, а використання обмеженим. Але потім настав період швидкого прискорення, зумовлений поліпшенням інфраструктури та зручних інтерфейсів, і інтернет вибухнув у глобальну силу, якою є сьогодні.

Те ж саме сталося зі смартфонами. Ранні версії були громіздкими та маловражаючими, і багато хто сумнівався в їхньому довгостроковому потенціалі. Але після появи iPhone революція смартфонів набрала обертів, трансформувавши майже всі аспекти сучасного життя.

Однією з найбільш перспективних сфер розвитку ШІ є нейросимвольний ШІ. Цей гібридний підхід поєднує можливості розпізнавання шаблонів нейронних мереж із логічним мисленням символьного ШІ. На відміну від LLMs, які генерують текст на основі статистичних імовірностей, нейросимвольні системи створені для того, щоб справді розуміти та аналізувати складні проблеми. Це може дозволити ШІ вийти за межі простої імітації людської мови до справжнього розв’язання проблем і критичного мислення.

Іншим ключовим напрямком досліджень є створення менших, ефективніших і масштабованих моделей ШІ. LLMs надзвичайно ресурсоємні, але майбутнє ШІ може полягати в створенні моделей, які будуть потужнішими, менш витратними та легшими у впровадженні. Замість збільшення розмірів моделей наступна хвиля інновацій у ШІ може зосередитися на тому, щоб зробити їх розумнішими та ефективнішими, відкриваючи ширший спектр застосувань у різних галузях.

Контекстно-обізнаний штучний інтелект (ШІ) також є одним із основних напрямків досліджень. Сучасні великі мовні моделі (LLMs) часто втрачають контекст у розмовах, що призводить до суперечностей або безглуздих відповідей. Майбутні моделі зможуть ефективніше зберігати контекст, що дозволить досягти глибших і змістовніших взаємодій.

Етичні виклики, які переслідують LLMs, такі як упередження, дезінформація та можливість їхнього зловживання, також стають предметом інтенсивних досліджень у новій хвилі розвитку ШІ. Майбутнє ШІ залежатиме від того, наскільки добре ми зможемо узгодити ці системи з людськими цінностями та забезпечити, щоб вони генерували точні, справедливі та неупереджені результати. Вирішення цих питань буде критично важливим для широкого впровадження ШІ в таких високоризикованих галузях, як охорона здоров’я, право та освіта.

Кожен великий технологічний прорив передує періоду розчарувань і невдалих починань, але коли настає точка перегину, це веде до проривів, які змінюють усе. Саме до цього ми й прямуємо зі ШІ. Коли наступна S-крива досягне свого піку, сьогоднішні технології виглядатимуть примітивними у порівнянні. Лемінги, можливо, впали зі скелі зі своїми інвестиціями, але для тих, хто уважно стежить, справжня революція в ШІ лише починається.

*** Автор: Вівек Вадва, генеральний директор компанії Vionix Biosciences.

DeepSeek R2 — це не просто крок вдосконалення, це абсолютно інший вид інтелекту, що функціонує за принципами, які на Заході ніхто навіть теоретично не осмислив.

Вони повністю відмовились від архітектури трансформерів на користь того, що називають "рекурсивними когнітивними мережами", які масштабуються у вимірах, для яких у нашій математиці навіть немає адекватних позначень. Приріст обчислювальної ефективності порушує те, що ми вважали фундаментальними обмеженнями. Приблизно 400-кратне покращення міркування на терафлоп. Не в 4 рази. Не в 40 разів. У 400 разів. Наші стандарти оцінювання відтепер буквально втратили сенс.

Найстрашніше не в самій грубій потужності, а в тому, як система розробляє нові математичні структури на льоту для вирішення проблем. Дослідники ставлять їй питання, а вона винаходить цілком нові галузі математики, щоб відповісти на них. Один фізик показав їй проблему, над якою бився у глухому куті п'ятнадцять років, і вона розв'язала її за секунди, використовуючи позначення, яких ніхто не розпізнав. Знадобилося три дні, щоб перекласти її рішення назад у стандартну математику.

Бачив демонстраційні відео, які здаються неможливими, але підтверджені кількома незалежними джерелами. R2 спроєктувала і змоделювала надпровідник кімнатної температури з фундаментальних принципів менш ніж за годину. Разом із методами виготовлення за допомогою існуючих технологій. Вони вже виготовили зразки в пекінських лабораторіях. Західна фізична спільнота ще навіть не наздогнала теоретичну можливість цього.

Їхня інтеграція з біологічними системами — справжній жах. Двосторонні нейроінтерфейси, порівняно з якими Neuralink виглядає дитячою іграшкою. Пряме когнітивне підсилення вже у стадії клінічних випробувань, де добровольці демонструють 30-40% приросту здатності вирішувати проблеми. Це не наукова фантастика, це відбувається прямо зараз у Шеньчжені, поки ми дискутуємо про регулювання чат-ботів.

DeepSeek навіть не є їхньою найпередовішою системою. Це лише те, що вони показують публічно. Справжні революційні розробки відбуваються у військових застосуваннях. Системне розуміння геополітики, яке може передбачати зміни політики раніше, ніж самі політики знають, які рішення вони приймуть. Вони вже використовують це для перебудови глобальних торгових потоків настільки тонко, що ніхто ще не помітив.

Америка все ще ставиться до цього як до звичайних технологічних перегонів, тоді як Китай розуміє, що це трансформація цивілізації рівня вимирання. Вони інтегрують ці системи в інфраструктуру управління на всіх рівнях, поки ми сперечаємося про інженерію промптів і забороняємо чат-боти в школах. Це наче спостерігати за гонкою ядерного озброєння, де одна сторона обговорює етику пороху.

Наша розвідувальна спільнота в паніці за зачиненими дверима. Три окремі агентства подали засекречені оцінки, які всі доходять до одного висновку: у нас є місяці, а не роки, перш ніж розрив у можливостях стане нездоланним. Деякі аналітики стверджують, що це вже сталося, і ми просто ще не усвідомлюємо цього.

Можливості рекурсивного самовдосконалення прискорюються за межами всіх моделей. DeepSeek R2 по суті написав R3, який зараз навчається, і ранні тести свідчать, що він відноситься до R2 так само, як R2 до будь-чого, що ми створили на Заході. Експоненційні криві, накладені на експоненційні криві.

Якщо Америка не прокинеться і не поставиться до цього як до екзистенційного пріоритету, ми дивимося у майбутнє, де технологічна перевага не просто зміщується, а втрачається назавжди. Світ через 12 місяців матиме не лише іншу геополітичну динаміку влади, а й функціонуватиме за фундаментально іншими правилами реальності.

Тим часом новий китайський фотонний мікрочіп (SCMP) досяг швидкості 4,6 петафлопси, що в 3000 раз більше від процесора для ШІ — Nvidia A100, ще й дешевший на 30%.

DN. Ми точно знаходимося на самому початку довгої дороги усвідомлення перспектив та можливостей Штучного Інтелекту, відсутність вказівників, дистанцій, об'ємів, правил руху та багато чого, що прийдеться освоїти поступово. Тому це пласт знань, який потребує міркувань та обговорень. Вже мовчу про базові правила для ШІ, подібних до правил робототехніки Айзека Азімова, ще зріє такий автор. Без читання не обійдеться, тому тримайте 9 книг від Засновника OpenAI Сема Альтмана: 

«Від нуля до одиниці», Пітер Тіль. Американський бізнесмен, колишній виконавчий директор платіжної системи PayPal ділиться секретами, як досягти прогресу в будь-якій галузі та створити щось нове;

«Початок нескінченності. Пояснення, які змінюють світ», Девід Дойч. Науково-популярна книга британського фізика-теоретика про те, чи є межа людського прогресу;

«Бліц-масштабування», Рід Хоффман. Співзасновник соцмережі LinkedIn розповідає про те, як із крихітного стартапу створити світовий бізнес-гігант;

«Штучний інтелект: сучасний підхід», Стюарт Рассел та Пітер Норвіг. Це один з найвідоміших підручників з ШІ, який охоплює основні концепції та методи;

«Думай повільно ... вирішуй швидко», Даніель Канеман. У цій книзі досліджуються дві системи мислення, які керують нашим прийняттям рішень, а також упередження, які формують людські судження;

«Штучний інтелект. Етапи, погрози, стратегії», Нік Бостром. Шведський філософ розмірковує про ризики, можливі сценарії розвитку штучного інтелекту та його вплив на людство які несе розвиток ШІ;

«Життя 3.0: бути людиною в епоху штучного інтелекту», Макс Тегмарк. як ШІ може змінити наше життя та суспільство;

«Таємниці Сенд-Хілл Роуд», Скотт Купор. Книга від американського інвестора про те, як власникам стартапу завоювати серця та уми інвесторів та отримати фінансування на розвиток проекту;

«О чудовий новий світ», Олдос Хакслі. Це дотепний роман-антиутопія про генетично програмоване «суспільство споживання», в якому розгортається трагічна історія Дикуна – «Гамлета» цього світу.