Месяц назад Anthropic пообещала внешнюю независимую проверку своих моделей и практик безопасности — и вот обещание начало работать. Команда некоммерческой организации METR, которая специализируется на тестировании самых мощных ИИ-моделей, получила доступ почти как у сотрудников Anthropic. Главная деталь для нас с тобой: METR будет публиковать результаты своих оценок рисков. То есть независимые выводы можно будет прочитать самому, а не только официальные отчёты самой Anthropic.
Что изменилось
- METR получила доступ уровня сотрудника. Некоммерческая организация METR теперь может проверять модели Anthropic изнутри — с доступом, почти как у штатного сотрудника. И METR сама опубликует итоги своих оценок рисков.
- Это не первая совместная работа. Весь последний год Anthropic и METR уже вместе проверяли Risk Reports — документы, где компания описывает, какие риски видит в своих моделях и как их закрывает.
- Проверяющих несколько. Кроме METR, в роли внешних оценщиков работают SecureBio и Accenture. С несколькими другими организациями, включая Hugging Face, идут ранние переговоры.
- Обещание подкреплено документом. Anthropic также подписала соглашение Белого дома о суперразумах (White House Accord on Super Intelligence) — его участники взяли на себя обязательство сотрудничать с внешними аудиторами и оценщиками.
- Почему не всё сразу в открытый доступ. Anthropic хочет быть публично подотчётной, но не может просто выложить всю информацию о безопасности: часть данных может пригодиться злоумышленникам, а часть — коммерческая тайна (например, сведения о вычислительных мощностях и обучении моделей). Поэтому глубокий доступ получают проверенные внешние оценщики, а не все желающие.