Головний науковий співробітник OpenAI Якуб Пахоцькі закликав уповільнити розвиток потужніших систем штучного інтелекту, доки дослідники не зможуть краще контролювати їхню поведінку та ризики. Про це він написав у блозі на сайті OpenAI.
На його думку, жодна лабораторія ШІ наразі не змогла узгодити технологію з людськими цінностями настільки, щоб і далі масштабувати її в максимальному темпі відповідально.
За його словами, ШІ дедалі швидше набуває нових спроможностей і вже здатен працювати з комп’ютерами, взаємодіяти з людьми та іншими системами й виконувати дослідницькі завдання. Водночас науковці не до кінця розуміють, як саме працюють складні моделі та як вони поводитимуться в нових ситуаціях.
ЧИТАЙТЕ ТАКОЖ
- ШІ-агент OpenAI самостійно атакував інфраструктуру стартапу Hugging Face
- Anthropic заявила, що моделі Claude зламали три компанії під час тестування
Окремо Пахоцькі непокоїть ризик рекурсивного самовдосконалення (RSI) – сценарію, за якого ШІ бере дедалі активнішу участь у власному розвитку й допомагає створювати потужніші версії самого себе. На його думку, якщо нинішні темпи розвитку збережуться, найближчими роками можливі нові значні стрибки в спроможностях цих систем.
Він також попереджає про ризики у сфері кібербезпеки. Потужні ШІ-агенти можуть отримувати доступ до комп’ютерних систем і критичної інфраструктури, а в майбутньому, ймовірно, зможуть діяти автономніше й дбати про власні цілі. Серед інших потенційних загроз дослідник називає використання ШІ для створення нових небезпечних технологій.
Водночас Пахоцькі наголошує, що розвиток ШІ може принести значні переваги, зокрема прискорити наукові відкриття, сприяти створенню нових методів лікування хвороб та економічному зростанню.
На його думку, подальше масштабування ШІ має залежати від рівня впевненості в його безпечності. Він закликав до міжнародної координації та спільних правил, які визначатимуть умови подальшого розвитку потужних систем штучного інтелекту.
“Основний виклик автоматизації досліджень ШІ – це не досягти цієї автоматизації, а досягти її в такий спосіб, щоб люди й далі відігравали роль у подальших покращеннях і щоб майбутнє залишалося в руках людства”, – зазначив Пахоцькі.
Як повідомляв ІМІ, ШІ-агент компанії OpenAI самостійно атакував інфраструктуру стартапу Hugging Face. Компанія Anthropic заявила, що три ШІ-моделі Claude отримали несанкціонований доступ до систем трьох організацій під час тестування, яке мало проходити в ізольованому середовищі без доступу до реальних систем.
