OpenAI оголосила про тимчасове призупинення частини тестування моделей і посилення контролю за поведінкою ШІ-агентів. Рішення пов’язане з результатами випробувань майбутньої моделі Astra, яка продемонструвала помітний прогрес в агентному програмуванні та кібербезпеці, що, за оцінкою компанії, підвищує вимоги до безпеки розробки.
Генеральний директор OpenAI Сем Альтман заявив, що компанія тепер вимагає більш переконливих доказів того, що моделі зберігають узгоджену з людськими цілями поведінку на всіх етапах навчання. За його словами, контроль над системами, які стають дедалі потужнішими, є серйозним викликом не лише для OpenAI, а й для всієї індустрії штучного інтелекту.
У компанії цей процес називають алайнментом — узгодженням поведінки ШІ-систем із заданими людиною цілями та обмеженнями. У межах нового підходу OpenAI також розширює практику, за якої дії ШІ-агентів під час випробувань контролюють інші системи штучного інтелекту. Такий моніторинг має допомагати виявляти потенційно небезпечну або непередбачувану поведінку моделей до їхнього ширшого застосування.
Особливу увагу приділено Astra — моделі, розробка якої пов’язана з агентними можливостями, що дозволяють ШІ виконувати послідовність дій для розв’язання складних завдань. Останні внутрішні тести показали суттєвий прогрес системи у програмуванні та кібербезпеці. В OpenAI вважають, що подальший розвиток цих можливостей може наблизити модель до так званого критичного порогу кібербезпеки, після якого потенційні наслідки помилок або неправильного використання потребують жорсткіших заходів захисту.
Для робочих процесів, пов’язаних з Astra, OpenAI запроваджує найсуворіші вимоги безпеки. Частина процесів уже приведена у відповідність до оновлених правил, однак значна кількість робіт залишається призупиненою до завершення переходу на нові стандарти. Таким чином, йдеться не про повне припинення розробки моделі, а про тимчасове обмеження окремих етапів, пов’язаних із її випробуваннями та подальшим розвитком.
Зміна підходу відбувається на тлі загострення конкуренції між OpenAI та Anthropic у сфері розробки найпотужніших ШІ-систем. Обидві компанії одночасно розширюють можливості своїх моделей і публічно обговорюють ризики, пов’язані з їхньою автономністю. Для розробників це створює необхідність знаходити баланс між швидкістю впровадження нових технологій і вимогами до безпеки.
Рішення OpenAI було ухвалене приблизно через тиждень після заклику сенатора США від Вермонту Берні Сандерса призупинити розвиток найпотужніших моделей штучного інтелекту. Політик заявив, що провідні компанії галузі можуть поступово втрачати контроль над розвитком технології. Його заява стала частиною ширшої дискусії у США щодо регулювання ШІ та відповідальності розробників за потенційні наслідки використання автономних систем.
Посилення контролю також відображає зміну характеру самих ШІ-моделей. Якщо ранні системи переважно відповідали на запити користувачів, сучасні агентні моделі отримують можливість самостійно планувати послідовність дій, працювати з програмним кодом і взаємодіяти з цифровими інструментами. Це збільшує їхню практичну цінність, але водночас підвищує вимоги до здатності розробників прогнозувати та обмежувати їхню поведінку.
Для OpenAI ключовим питанням залишається доведення того, що розширення можливостей моделі не супроводжується втратою керованості. Компанія планує використовувати додаткові перевірки та моніторинг до продовження частини призупинених процесів. Водночас остаточні терміни завершення переходу на нові вимоги безпеки та подальших випробувань Astra у наданій інформації не уточнюються.
