Дата публикации: 03.08.2025
0
40
By Emelia Probasco and Minji Jang
16 марта 1968 года - один из самых чёрных дней в военной истории США. В тот день солдаты роты «С» 1-го батальона 20-го пехотного полка, понёсшие десятки потерь в ходе акции против Вьетконга, напали на деревню Ми Лае *. Под командованием лейтенанта Уильяма Келли солдаты атаковали деревню, основываясь на ошибочных разведданных о местонахождении подразделения Вьетконга. Вместо ожидаемого противника они обнаружили местных жителей, в основном стариков, женщин и детей. В итоге расследование армии США установило, что солдаты роты «С» «убили большое количество мирных жителей», причём совершали пытки, изнасилования и детоубийства. Точное число убитых вьетнамцев составляло от 175 до 500 человек.
Хотя в это трудно поверить, бойня в Ми Лае была бы ещё хуже, если бы её не прервала команда вертолёта армии США, во главе с тогдашним уорент-офицером ** Хью Томпсоном-младшим, который, кружа над деревней, стал свидетелем действий солдат роты «С». В отдельные моменты, во время резни, Томпсон приземлял свой вертолёт, чтобы помочь местным жителям в попытке остановить убийства, напрямую оспаривая приказы Келли.
А теперь представьте себе поле боя будущего, где солдаты будут такими же эмоционально заряженными или сбитыми с толку, как те, которыми командует Келли. Но на этом поле боя будущего, может не оказаться двойника Хью Томпсона. Вместо этого над головой, скорее всего, будет летать беспилотник.
Может ли этот беспилотник сыграть ту же роль, что и Хью Томпсон в резне в Ми Лае? Это сложный вопрос, который военные руководители должны начать обсуждать.
Хотя такой дрон — назовём его беспилотником «Томпсона» — сегодня невозможен, он становится всё более вероятным. Пехотные подразделения уже тренируются с беспилотниками для поддержки наземных атак. Алгоритмы компьютерного зрения беспилотников рекламируются как способные отличать невооружённых гражданских лиц от комбатантов. И те же самые беспилотники могли бы использовать генеративный искусственный интеллект (ИИ) для передачи информации о гражданских лицах или комбатантах войскам на местах либо с помощью текстовых сообщений, либо с помощью более реалистичных голосов. Поэтому вполне вероятно, что будущий беспилотник «Томпсона» может быть использован для поддержки военных операций и участия в наземном нападении передавая информации таким образом, чтобы можно было предотвратить или пресечь нарушения права вооружённых конфликтов, Женевских конвенций и местных правил ведения боевых действий.
Если оставить пока в стороне современные технические возможности и ограничения беспилотных летательных аппаратов, наш гипотетический беспилотник «Томпсона» должен побудить нас задуматься о взаимосвязи между растущим потенциалом ИИ и людьми, участвующими в вооружённых конфликтах. Что, если бы ИИ мог обучать солдат в сложных ситуациях, таких как Ми Лае? Означает ли это, что мы должны рассматривать ИИ не просто как инструмент, а как тренера? Или «тренер» — это слишком мягкое понятие? Может ли ИИ играть потенциальную роль в качестве «проводника в жизнь» принципов, регулирующих профессиональное поведение в вооружённых конфликтах и защиты гражданского населения?
Свобода действий, предоставленная дронам, и относительная свобода действий, сохраняемая за людьми, будут определять, будет ли военная система с поддержкой искусственного интеллекта играть роль орудия, тренера или полицейского. Будущим военным командирам всё чаще придётся сталкиваться с трудностями при принятии решений использования искусственного интеллекта в качестве орудия, тренера или полицейского, и поэтому они должны тщательно продумать этические последствия каждой из трёх ролей.
Размышляя об искусственном интеллекте как об орудии или как о тренере
Преобладающая интерпретация системы искусственного интеллекта заключается в том, что она функционирует просто как инструмент. ИИ может быть направлен на выполнение определённого приказа и достижение определённой цели, поставленной людьми для их же блага. В этом смысле это похоже на использование молотка, чтобы забивать гвоздь в стену, а не кулака. Сфера применения узкая, а цель чётко определена. Примерами инструментов могут служить алгоритмы распознавания целей или противоракетная оборона, усиленная искусственным интеллектом. Если бы беспилотник был просто средством ведения воздушного наблюдения или обеспечения связи, его тоже можно было бы рассматривать как инструмент.
Однако наш гипотетический беспилотник «Томпсона» будет обладать более широкими полномочиями и сможет решать «локальные» или «глобальные» задачи. Локальные цели в данном случае — это краткосрочные задачи, привязанные к миссиям, подзадачам или пунктам принятия решений в рамках более широкой операции. Часто это важные шаги на пути к достижению глобальных целей — высокоуровневых, всеобъемлющих задач, которые направляют всю операцию. Право на арбитраж между локальными или глобальными целями включает в себя формирование этих целей или определение их относительного приоритета, когда они вступают в противоречие.
Например, отправляя лейтенанту Келли сообщение, которое прямо противоречит его действиям или заявленным намерениям, беспилотник «Томпсона» участвует в решении как глобальных, так и локальных задач. На глобальном уровне он оценивает общие задачи уничтожения противника и защиты дружественных сил охраняющих некомбатантов и даёт рекомендации их соответствия приоритетам подразделения. На локальном уровне беспилотник должен выполнять более неотложные задачи, такие как временное прекращение огня при повторной оценке информации.
Независимо от локальных или глобальных целей, искусственный интеллект, способный по своему усмотрению рекомендовать широкий спектр вариантов, — это гораздо больше, чем просто инструмент, особенно когда речь идёт о формировании целей и их согласовании. Например, будильник может эффективно подавлять желание человека больше спать, по крайней мере, когда он крепко спит по утрам. Тем не менее, мы не думаем, что будильник — это нечто большее, чем просто полезный инструмент для того, чтобы вовремя просыпаться на работу. И наоборот, что, если бы будильник с поддержкой искусственного интеллекта вышел за рамки простого звонка и вместо этого рекомендовал вам найти новую работу, которая в течение дня начинается позже? Будильник с такими полномочиями был бы скорее тренером, чем простым инструментом. Соответственно, мы можем рассматривать ИИ с ограниченными или низкими полномочиями в отношении целей арбитража как инструмент, а ИИ с большими полномочиями в отношении задач - как тренера.
Свобода воли человека и различие между тренером и полицейским
Хотя осмотрительность ИИ может отличать его роль как инструмента от роли тренера, крайне важно учитывать роль человека по отношению к ИИ. Здесь мы должны ввести концепцию человеческой воли — в частности, способность человека игнорировать систему искусственного интеллекта или противоречить ей.
Во-первых, чтобы объяснить, что мы подразумеваем под человеческой волей, вспомним пример с будильником, который может помешать намерению человека заснуть, но также может быть отключён, переведён в режим повтора или брошен в стену. Аналогичным образом, наш гипотетический беспилотник «Томпсона» мог бы легко вмешиваться в процесс принятия решений людьми, например, показывая изображения гражданских лиц с высоты птичьего полёта или посылая постоянные предупреждения. Беспилотник «Томпсона» мог бы даже оценивать психическое состояние солдат на местах и соответствующим образом настраивать свои коммуникации. Если эти сообщения можно игнорировать или отменять, подобно тому, как можно игнорировать инструкции личного тренера по физическим упражнениям, то человек обладает высокой степенью свободы действий по отношению к тренеру с искусственным интеллектом.
Но что, если подразделение понесло какие-то последствия за игнорирование указаний беспилотника «Томпсона»? Допустим, что дрон «Томпсон» зафиксировал решение местного командира игнорировать информацию и сообщил о нарушении вышестоящему командованию? В этом случае у человека всё ещё есть возможность действовать самостоятельно, хотя и в меньшей степени, чем если бы беспилотник просто передавал информацию солдатам на земле. В таких ситуациях, когда у людей меньше возможностей для действия, это не похоже на игнорирование советов личного тренера. Скорее, это больше похоже на игнорирование тренера, который может удалить вас с поля или выгнать из команды.
Однако задумайтесь на мгновение о том, что произошло в Ми Лае:
[Хью Томпсон] попытался объяснить, что эти люди, похоже, были гражданскими лицами, что мы не подвергались никакому обстрелу и что в этом районе нет никаких признаков присутствия боевиков. Лейтенант [Келли] сказал ему, чтобы он занимался своими делами и не путался под ногами. Они стояли лицом к лицу и кричали друг на друга. Хью вернулся к вертолёту … Он сказал: «Они придут сюда. Я собираюсь сам отправиться в бункер и вывести оттуда этих людей. Если они откроют огонь по этим людям или по мне, пока я буду это делать, стреляйте в них»!
Что, если бы беспилотник «Томпсон» угрожал тем же самым? Это, по праву, заставило бы многих командиров и солдат задуматься. Люди на земле не смогли бы проигнорировать или отменить команду беспилотника, который готов к стрельбе. В данном случае такой беспилотник, обладающий смертоносной способностью обеспечивать соблюдение правил, выходит за рамки роли тренера.
Из этого анализа мы делаем вывод, что система ИИ, которая может принуждать к определённым действиям или решениям, не является тренером, а скорее напоминает «полицейского». Грань между статусом, где ИИ «тренер» или «полицейский» зависит от того, насколько человек активен. Там, где у человека остаётся достаточно возможностей не обращать внимания на ИИ, ИИ действует как тренер. Там, где у человека нет возможности не обращать внимания на ИИ, ИИ действует как полицейский.
Конечно, нет чёткой границы между самостоятельностью и отсутствием самостоятельности. Скорее, самостоятельность человека существует в широком спектре возможностей. На одном конце спектра находится искусственный интеллект, который реагирует только на запрос и может быть проигнорирован или отключён по желанию человека. На другом конце спектра находится искусственный интеллект, который угрожает открыть огонь, если вы не выполните его приказ. Между этими двумя крайностями находится спектр различных типов взаимодействия человека и машины с различным уровнем участия человека. Возникают также вопросы о том, какие внешние факторы могут повлиять на осуществление человеком своей воли. Например, будут ли люди больше сомневаться прежде, чем воспользоваться своей свободой воли и игнорировать рекомендацию ИИ, если она будет передана с помощью искусственного голоса, похожего на человеческий, и антропоморфного дизайна, а не простого сообщения, отображаемого на экране? Будут ли люди более склонны прислушиваться к предупреждениям, исходящим от системы, обозначенной как «эксперт-консультант», чем от системы, называемой «инструментом поддержки», даже если эти системы одинаковые? Уменьшит ли убедительный чат-бот самостоятельность человека? Это важные вопросы, но они выходят за рамки нашего анализа.
Последствия использования ИИ в качестве инструмента, тренера или полицейского
Военная культура США привыкла к тренерам-людям и технологическим инструментам, а не к технологическим тренерам для людей-инструментов, не говоря уже о системах искусственного интеллекта в качестве блюстителя. При внедрении системы искусственного интеллекта в качестве инструмента, инструктора или средства принуждения военнослужащим придётся принимать решения, которые либо будут соответствовать этим культурным нормам, либо начнут полностью их менять. Не все эти решения будут простыми.
Использование искусственного интеллекта в качестве инструмента для отражения ракетного удара — очевидное решение, имеющее исторический прецедент. Министерство обороны разработало политику использования автономных и полуавтономных функций в системах вооружения. Ограниченные полномочия, предоставляемые ИИ в использовании инструментов, позволяют человеку получить больший контроль над действиями, предпринимаемыми в конкретных условиях.
Предоставление ИИ расширенных полномочий, особенно при определении локальных и глобальных целей военных операций, является более новым подходом, относительно использования ИИ в качестве инструмента, хотя и не беспрецедентным. Например, многие военнослужащие США используют приложения, которые обучают их достижению целей в фитнесе с помощью мотивирующих подсказок. Хотя это явление менее распространено, существуют примеры появления ИИ-тренеров. Например, проект Агентства перспективных исследовательских проектов разведки REASON побуждает аналитиков искать конкретные доказательства для обоснования своих выводов или рассматривать альтернативные объяснения. Более того, появляется новый класс систем поддержки принятия решений на базе искусственного интеллекта для обучения военных командиров процессу принятия решений, особенно на оперативном уровне ведения войны.
Кроме того, как предполагает научно-фантастический сценарий Ми Лае, могут быть случаи, когда ИИ может быть использован в качестве средства принуждения. Неясно, будет ли такое решение эффективным для уменьшения ущерба гражданскому населению — тема, заслуживающая изучения, прежде чем наш научно-фантастический сценарий станет реальностью. Тем не менее, ни один командир не хочет нести ответственность за умышленное убийство мирных жителей. Массовое убийство в Ми Лае навлекло глубокий позор на армию, которая пыталась скрыть это, стала международным скандалом, который до сих пор изучают в военных академиях как поучительный пример. Перспектива поддержки ИИ, которую военный командир мог бы использовать для предотвращения или прерывания такой катастрофы, имеет очевидную привлекательность как с гуманитарной, так и с оперативной точек зрения.
Мы уже продемонстрировали, как расширение свободы действий ИИ и сокращение участия человека в управлении, превращает ИИ из инструмента в тренера и в полицейского. Поэтому военным руководителям США следует подумать о том, как дизайн системы ИИ, а также выбор применения систем отражают их стремление использовать ту или иную роль, и степень комфорта, связанную с последствиями такого выбора. Преподаватели лидерства и этики должны инициировать обсуждения в своих классах того, что военные руководители всех уровней должны учитывать при использовании искусственного интеллекта, включая потенциальные последствия для человеческого вмешательства. Теоретики и специалисты по этике, информированные исследователями и разработчиками искусственного интеллекта, должны высказать свои соображения о практических и этических компромиссах, которые должны учитывать командиры между применением искусственного интеллекта и участием военнослужащих. Руководителям программ следует продумать способы обеспечения свободы действий командования в отношении этих технологий посредством обучения и выбора вариантов проектирования с учётом человеческого фактора. Техническим специалистам следует учитывать свою роль как в поддержке этих дискуссий, так и в разработке решений и интерфейсов на основе ИИ, которые будут этично служить оперативным целям. Не существует чёткой границы между «человеческим фактором» и «отсутствием человеческого фактора». Даже если ИИ-тренеров легко игнорировать, сообщения, которые они посылают, будут влиять на принятие решений людьми. Это влияние может быть незначительным — текстовое сообщение, отображаемое на экране, — или более сильным, например, громкий голос по радио или эмоционально манипулирующим сообщением. Это будут дизайнерские решения, принятые технологами и командирами, и им обоим следует учитывать влияние таких решений на структуру инструмента, тренера или полицейского.
Вывод
Некоторые могут посчитать вымышленный дрон «Томпсона», который при определённых обстоятельствах может отменять военные приказы, неосуществимым из-за устоявшихся принципов командования, делегирования и человеческой автономии в армии США. Однако наблюдается неуклонное снижение самостоятельности и автономности отдельных подразделений, начиная с установки радиостанций на кораблях ВМС и заканчивая прямыми трансляциями боевых действий.
За пределами Соединённых Штатов наш сценарий может оказаться ещё более реалистичным. Рассмотрим использование российскими военными алгоритмической войны и трудности Народно-освободительной армии Китая в формировании компетентных и независимых руководителей среднего звена. В обоих случаях есть признаки того, что старшие руководители могут попытаться положиться на технические системы, чтобы не полагаться на солдат более низкого ранга, которым может не хватать подготовки или здравого смысла.
Более того, ИИ, выполняющий роль тренера, не обязательно подразумевает для военнослужащих меньшую свободу действий на местах. Подразделение по-прежнему может полностью сохранять способность игнорировать или отменять рекомендации, сделанные ИИ-тренером. На самом деле, привлечение ИИ-тренера, который может более эффективно формировать и согласовывать локальные и глобальные цели, может стать способом поддержки, а не подрыва проявления самостоятельности и инициативы подразделением. Трудно определить, что представляет собой тренинг, а что можно считать манипуляцией ИИ. Аналогичным образом, что может представлять собой человеческая деятельность? Или согласие на развёртывание под руководством ИИ достаточно, чтобы считать это проявлением самостоятельности? Эти вопросы требуют дальнейшего изучения.
Тем не менее, функционирование ИИ лишь в роли тренера может быть недостаточным для предотвращения катастроф, подобных Ми Лай. Что, если местный командир проигнорирует приказ беспилотника «Томпсона» прекратить атаки на гражданских лиц или откроет по нему огонь, чтобы избавиться от его назойливости? Чтобы эффективнее предотвратить бойню, следует ли запретить людям игнорировать беспилотник «Томпсона»?
Ответы на эти вопросы зависят от эффективности беспилотника в формировании результатов. Однако в какой-то момент способность формировать результаты может вступить в противоречие с возможностями людей. В этом смысле военные могут столкнуться с критическим выбором между повышением эффективности операций, с одной стороны, и сохранением человеческого участия и суждений на местах, с другой. Мы не выступаем за то, чтобы военные предоставляли ИИ больше свободы действий или полномочий просто для повышения эффективности операций. Скорее, наша цель состоит в том, чтобы побудить военных лидеров тщательно обдумать, как их решения об использовании искусственного интеллекта могут повлиять на независимое принятие решений их военнослужащими.
Эмилия Пробаско - бывший военно-морской офицер, старший научный сотрудник Центра безопасности и новых технологий Джорджтаунского университета, где она изучает военное применение искусственного интеллекта.
Минджи Чан - научный сотрудник Института этики имени Кеннеди (Этическая лаборатория) Джорджтаунского университета и программы «Технологии и общество». Она получила степень доктора философии в Университете Северной Каролины в Чапел-Хилле.
Фото: Старший лётчик Пейдж Уэлдон
Источник: https://warontherocks.com/
В. Вандерер
Публикации, размещаемые на сайте, отражают личную точку зрения авторов.
dostoinstvo2017.ru
P/S
* В мировую историю американских военных преступлений, это событие вошло как резня в Ми Лае, в советской прессе, это получило название, массовое убийство в Сонгми.
** Уорент-офицер является очень приблизительным аналогом прапорщика в странах бывшего СССР, по статусу уорент-офицер занимает промежуточное положение между сержантами и младшими офицерами, и выполняет специальные функции технического специалиста. При этом от уорент-офицера не ожидается, что он будет командовать каким-либо войсковым подразделением, в отличие от младших офицеров в армии и флоте
Комментариев пока нет