Дружественный ИИ (Friendly AI)

Что это такое?

Дружественный ИИ — понятие из исследований безопасности искусственного интеллекта. Так называют ИИ, цели и поведение которого согласованы с интересами людей, причём не только сейчас, но и по мере того, как система становится мощнее. Термин предложил исследователь Элиезер Юдковский в начале 2000-х. Сегодня близкие задачи чаще обсуждают под названием «согласование ИИ» (AI alignment).

Зачем нужен?

Чем больше решений передают ИИ, тем важнее, чтобы он действовал в интересах людей, а не только формально выполнял команду.

  • задаёт рамку для разговора о рисках мощных ИИ-систем;
  • влияет на то, как разработчики ограничивают и проверяют поведение моделей;
  • лежит в основе требований к безопасности и прозрачности ИИ.

Где применяется?

Исследования безопасности ИИ, политики разработчиков языковых моделей, обсуждение регулирования, корпоративные правила использования ИИ.

Пример: компания внедряет ИИ-агента, который может сам отправлять письма клиентам. В правила работы агента закладывают ограничения: он не обещает скидок без согласования и передаёт человеку любые спорные случаи.

Что важно знать?

Это не характеристика конкретного продукта и не «вежливый тон» чат-бота. Речь о том, совпадают ли цели системы с интересами людей. Для бизнеса практический вывод простой: у любого ИИ, который действует самостоятельно, должны быть понятные ограничения и контроль со стороны человека.