Компанія Anthropic заявила, що виявила в мовних моделях на кшталт Claude внутрішній механізм, який допомагає їм аналізувати, планувати та працювати з інформацією ще до того, як вона з’являється у відповіді користувачу.
Про це йдеться в дослідженні Anthropic, повідомляє AIN.
Дослідники назвали цей механізм J-space. За їхніми словами, це набір внутрішніх нейронних представлень, у яких модель зберігає та обробляє поняття, необхідні для виконання завдань.
На відміну від ланцюжка міркувань (chain of thought), який може бути записаний текстом, J-space працює всередині моделі й залишається невидимим для користувача.
В Anthropic стверджують, що саме через цей механізм модель може виконувати багатокрокові обчислення, планувати відповіді, свідомо зосереджуватися на певній темі та повідомляти, про що вона “думає”.
Під час експериментів дослідники змінювали інформацію в J-space і спостерігали, як це впливало на відповіді моделі. Наприклад, коли вони замінювали внутрішнє представлення поняття “Франція” на “Китай”, модель змінювала пов’язані з ним факти – зокрема, столицю, мову, валюту та континент.
За словами авторів дослідження, без J-space мовна модель однаково може підтримувати діалог, створювати граматично правильні речення та відповідати на прості запитання. Однак вона значно гірше виконує складні завдання, які потребують логічного аналізу, узагальнень або кількох послідовних кроків.
Дослідники також вважають, що новий підхід може допомогти зробити ШІ безпечнішим. За допомогою J-space вони змогли виявляти випадки, коли модель усвідомлювала, що проходить тестування, збиралася сфальсифікувати дані або мала приховану шкідливу мету ще до того, як це проявлялось у відповіді.
Раніше Anthropic представила новий інструмент Claude Tag, який дозволяє командам працювати зі штучним інтелектом прямо в Slack.
Anthropic – це американська компанія у сфері штучного інтелекту. Її 2021 року заснували колишні дослідники OpenAI. Одним з головних її продуктів є чат-бот Claude. Як зазначають у самій компанії, це перша модель, доступна на трьох найбільших у світі хмарних платформах: Amazon Web Services, Google Cloud і Microsoft Azure.
AWS залишається основним постачальником хмарних послуг і партнером з навчання Anthropic.
Як повідомляв ІМІ, 30 червня Anthropic повідомила про відновлення доступу до своїх найновіших моделей штучного інтелекту Fable 5 і Mythos 5 після скасування експортних обмежень, які раніше наклав уряд США.