Необхідно серйозно ставитись до можливості того, що одного дня рішення, які стосуються життя і смерті, будуть приймати машини, безпосередньо не керовані людьми. Останні декілька років ми спостерігаємо за швидким розвитком технології безпілотних апаратів і постійним посиленням їхньої автономності. Хоча жодна офіційно затверджена автономна безпілотна система поки що не використовується, наскільки нам відомо, така технологія випробовується і розвивається. Дехто бачить нові можливості і потенційні вигоди від використання автономних дронів, інші вважають розробку і застосування таких технологій за визначенням аморальним. Впливові особистості, такі як Стівен Гокінг, Елон Маск і Стів Возняк вже закликають до заборони використання автономної зброї або штучного інтелекту для ведення бойових дій. Отже, яка зараз ситуація і які головні правові і етичні проблеми постають перед нами?
До автономних дронів
Поки що немає узгодженої або юридичної дефініції терміну «автономні дрони». Промисловість широко використовує ярлик «автономність», бо він створює враження дуже сучасної і передової технології. Але низка країн має більш конкретні визначення того, що має називатись «автономними дронами». Наприклад, Велика Британія описує їх як «…здатних розуміти наміри і вказівки вищого рівня» (Міноборони Великої Британії, британський підхід до безпілотних літальних систем , 2011). Загалом, більшість військових і авіаційних відомств називають безпілотні літальні апарати «повітряними суднами з дистанційним керуванням» (RPA), роблячи наголос на тому, що вони літають під прямим контролем людини-оператора.
«BAT» («Летюча миша») компанії Нортроп Груммен (раніше «Кілер бі» («Бджола кілер») комапнії Рейтеон) – це дрон, що літає на середніх висотах і здатний діяти на збільшених відстанях з використанням різноманітних сенсорів і корисного навантаження, і вірогідно, з можливістю здійснювати принаймні електронну протидію. (Надано Нортроп Груммен).
Більшість людей вірогідно розуміють концепцію «автономних дронів» як чогось досконалого, наприклад, дронів, які можуть діяти на основі свого власного набору варіантів (що мовою військових часто називають «ініціативою системи» і «цілковитою автономією»). Такі дрони програмуються з великою кількістю альтернативних реакцій на різноманітні виклики, які можуть виникнути під час виконання своїх місій. Це не наукова фантастика – ця технологія вже доволі розвинута, але, наскільки нам відомо, жодна автономна безпілотна система ще не введена в експлуатацію. Перешкодою є не технологічний фактор, а радше політична воля розвивати або визнавати володіння такою політично делікатною технологією, яка може дозволити смертоносним механізмам діяти не будучи під прямим контролем людини.
Одна з найбільших проблем, пов’язаних з розвитком і введенням в експлуатацію літальних апаратів з такою технологією, є надзвичайна складність розробки задовільних систем перевірки і підтвердження, які гарантували б, що система безпечна і діє так, як діяла б людина. На практиці такі досконалі дрони потребуватимуть програмування неймовірної кількості комбінацій альтернативних дій, що робить неможливою перевірку і підтвердження на рівні, до якого ми звикли маючи справу з пілотованими літальними апаратами. Дехто також під автономністю має на увазі «штучний розум» - системи, які навчаються і навіть самостійно розробляють можливі підходи до розв’язання нових завдань. У нас не має інформації про те, що ми наблизились до прориву щодо такої технології, але багато хто побоюється, що це вже могло статися.
Автономні дрони, тобто, передові апарати, які програмуються алгоритмами численних дій, визначених людьми для розв’язання нових завдань – вже випробовуються багатьма цивільними університетами і військовими науково-дослідними інститутами. Ми спостерігаємо за випробуванням «роїв дронів» (дронів, які отримують і виконують завдання від інших дронів), які, звичайно, повністю залежать від автономного опрацювання інформації. Ми також бачимо випробування автономних дронів, які взаємодіють з пілотованими повітряними суднами, від (безпілотного) літального апарата «Лоял уїнгмен» («Слухняний ведений»), як його називають ВПС США, до вже добре перевіреної Системи морського спостереження за великими територіями (BAMS), що складається з морського патрульного літака Р-8 «Посейдон» і безпілотного літака «ТРИТОН». Ми також спостерігаємо подальший розвиток безпілотних систем, які мають запускатись з пілотованого літака для незалежної роботи або як продовження літака-«авіаматки», наприклад, нещодавно випробувані нанодрони PERDIX , коли 100 дронів було запущено з "авіаматки" F-18. Такі дрони не можуть діяти без високого рівня автономності. Багато таких досягнень і прагнень описано в, наприклад, американському плановому документі "Вектор RPA ВПС США – бачення і концепції розвитку 2013-2038", оприлюдненому в 2014 році; інші документи і навіть відеоматеріали про такі дослідження широко доступні. Перспективи автономної технології, чи то для літальних безпілотних апаратів, підводних апаратів чи інших смертоносних систем озброєння, безперечно надають військовим нові можливості.
"PERDIX" - це система рою мікродронів, яка була розроблена для Міністерства оборони США/Командування морської авіації разом з Лабораторією імені Лінкольна МІТ (Массачусетського технологічного інституту). (УорЛікс)
Подивіться це відео тестового запуску рою зі 100 дронів з американської «авіаматки» F-18.
У випадку з пілотованими повітряними суднами, ми знаємо, що для підготовки кваліфікованих пілотів і операторів потрібен значний час до початку експлуатації. Одна з найбільших змін, що прийдуть з розвитком автономних дронів, буде полягати в тому, що збройні сили в (недалекому) майбутньому зможуть забезпечувати собі велику бойову потужність за набагато менший проміжок часу, ніж раніше. Важливо зазначити – і багато хто це робить – що створити інфраструктуру і підготувати наземні команди для управління дронами не легше і не дешевше, ніж підготувати льотний склад. Проте вже підготовані команди операторів і центри управління зможуть керувати великою кількістю дронів. Традиційні пілотовані літальні апарати будуть ядром окремої бойової або розвідувальної системи, розширеної за рахунок дронів, які виконуватимуть, наприклад, допоміжні ролі з глушіння як платформи для доставки озброєння або системи, що складається з платформ для різноманітних сенсорів. Перехід від обмеження минулого, коли один пілот пілотував один літак, або одна команда керувала одним дроном, до ситуації, коли одна команда контролює велику кількість дронів може стати просто переломним моментом.
Ці перспективи для нових типів високотехнологічних систем озброєнь і страхи, які вони спричиняють, і стали основою для нашого дослідження автономних дронів і систем озброєнь. Майже неможливо передбачити, коли ці технології отримають широке застосування – це буде залежати від ситуації і потреб держав. Проте технології стають доступними і розвиваються, і ми вважаємо, що складне розв’язання юридичних і етичних завдань необхідно знаходити раніше, ніж пізніше.
Юридичні перспективи
- Застосовуються загальні правила, але не усе так просто
Автономні дрони, тоді, коли вони застосовуються під час збройного конфлікту, мають бути суб’єктом загальних принципів і правил, визначених в законі про збройні конфлікти. В цьому сенсі автономні дрони не відрізняються від будь-якої іншої зброї, систем озброєння чи платформ для озброєння. Так само як і інші «засоби ведення війни», автономні дрони мають бути націлені виключно на легітимні цілі (військові об’єкти і учасників бойових дій) і від їхніх атак не повинна очікуватись надмірна супутня шкода.
Безпілотний бойовий літальний апарат X-47B (UCAS), розроблений Нортроп Груммен у співпраці з DARPA, часто називають «напівавтономним». (Надано Нортроп Груммен)
Однак деякі специфічні риси автономних дронів можуть поставити під сумнів застосування до них закону про збройний конфлікт. Автономні дрони, незалежно від того, як врешті-решт їх будуть визначати, будуть здатні діяти до певного ступеня самостійно в часі і просторі. Така (потенційна) відсутність людського втручання в роботу зброї чи збройної системи під час атак зумовлює запитання щодо того, коли і де закон вимагає присутності людини в циклі прийняття рішення. Перед тим як надати певні орієнтовні відповіді на це запитання, нам потрібно зупинитись на деяких аспектах юридичних вимог, яких повинні дотримуватися командири під час прийняття рішення атакувати.
- Закон вимагає від розсудливого командира діяти добросовісно
Низка юридичних вимог, що застосовуються під час збройного конфлікту, пристосовані до «туману війни». Деякі з цих юридичних правил містять гнучкі вирази, які залишають військовим командирам певну свободу маневру при їх тлумаченні і прийнятті рішень, наприклад, що стосується «військової переваги» і наскільки ця перевага є важливою для атаки загалом. Більше того, їм потрібно зважити відносну важливість цієї переваги порівняно з очікуваною супутньою шкодою (принцип пропорційності).
Ця свобода прийняття рішення супроводжується очікуванням, що військовий командир діє добросовісно і оцінює військову перевагу (а також і супутню шкоду) на основі інформації, яка є реальною йому або їй, доступна на даний час. Під час прийняття рішень про атаки військові командири, залучені до планування і здійснення атаки, повинні прийняти усі «можливі перестороги», щоб переконатись в тому, що атака не спрямована на особу, яка підлягає захисту, або об’єкт під захистом, і що атака не порушить принцип пропорційності. Як ці дискретні поняття застосовуються до використання автономних дронів?
- Скільки людської участі необхідно?
Автономні дрони не здатні до розумної діяльності в людському сенсі. Вони не мають людської свідомості. Поки що автономні дрони (чи будь-яка інша автономна система) не може замінити людину за законом. Вимоги, які ми навели вище, очевидно передбачають участь людини в контурі управління циклом прийняття рішення. В який момент прийняття рішення про атаку людина повинна прийняти рішення про те, що атакувати і наскільки важливою є ця ціль. Ключове питання точиться навколо того, наскільки широким є цикл прийняття рішення.
Ця стаття ґрунтується на дослідженні, в результаті якого в 2016 році була опублікована книга норвезькою мовою:
“Når dronene våkner: Autonome våpensystemer og robotisering av krig” (Осло; CappelenDamm, 2016)
Звичайно, людям-операторам можуть допомагати автономні машини (так само, як і «автономні» тварини), обмежені в часі і просторі – але де вимагаються обмеження? Як і з будь-яким запитанням щодо військових дій відповідь залежить від обставин. Якщо місцевість щільно заселена (як, наприклад, міські території), обмеження обов’язково мають бути жорсткішими, ніж на менш населених територіях (як, наприклад, у відкритому морі чи під водою). Тут, як і скрізь, диявол ховається в деталях: за деяких обставин автономна збройна система може бути (законно) «залишена сама» і діяти годинами і днями, в той час, як за інших – вся автономність має бути відключена на користь людського судження – або помилки.
Від закону до етики
Ми також повинні визнати важливість етики в дебатах щодо автономності дронів. Дотримання закону має головну роль в прийнятті будь-якого військового чи політичного рішення, в тому числі щодо розвитку і застосування автономних дронів. Хоча закон і етика часто перетинаються, можуть виникнути важливі етичні питання, особливо щодо нових військових технологій, які не знайшли свого належного відображення в чинному праві. Тобто етичні міркування можуть доповнити право, забезпечивши нормативні орієнтири в цих «сірих зонах». Вони також можуть відіграти важливу роль в ситуаціях, коли етичні зобов’язання мають переважати над юридичними обов'язками в інтересах належного політичного врядування.
- Етичні перспективи автономних дронів
Делегування прийняття рішень щодо життя і смерті агентам, які не є людьми, постійно непокоїть тих, хто виступає проти автономних збройних систем. Головне занепокоєння викликає те, що дозвіл машині «вирішувати» чи убивати людину підриває цінність людського життя. З цієї точи зору, людське життя має таку значну цінність, що не можна дозволити машині приймати рішення про припинення життя – тобто, розробці і застосуванню автономних дронів притаманне щось аморальне.
Може бути складно доводити, що автономні дрони можуть відповідати критерію законів воєнного часу щодо вибору в «традиції чесної війни». Робити моральне судження про те, хто може бути легітимною мішенню в «тумані війни» важко навіть солдату-людині. Є страх, що дозвіл, наданий дронам робити самим такий вибір, найбільш вірогідно призведе до жертв серед мирного населення і неприйнятної супутньої шкоди. Навіть якби такі збройні системи були здатні відрізняти тих, хто бере участь в бойових діях, від мирних мешканців, залишається без відповіді запитання щодо здатності автономного дрону оцінити пропорційність атаки – тобто, чи не призведе атака до непотрібних страждань. Однак, крім невпевненості в технологічних можливостях майбутніх автономних дронів, робити такий вибір, також існує аргумент, що якщо такі системи озброєння неспроможні діяти в рамках вимог законів воєнного часу, вони навряд чи будуть застосовуватись, принаймні в такому оперативному середовищі, де ризик завдати надмірної шкоди цивільному населенню дуже високий.
З іншого боку, можна також доводити застосування автономних дронів прийнятне не лише з моральної точки зору, але навіть морально бажане порівняно з солдатами-людьми. Автономні дрони були б здатні опрацьовувати більше інформації, що надходить від сенсорів, ніж люди, і таким чином приймати більш зважені рішення. І оскільки на судження машин не впливатимуть емоції, такі як страх чи гнів, це можливо допомогло б знизити ризик воєнних злочинів, які в іншому випадку могли б скоїти солдати-люди.
Застосування автономних дронів може також поліпшити певні аспекти гуманітарних місій на користь цивільного населення, яке отримує допомогу, і зменшити ризик для солдатів. Використання автономних дронів для обстеження небезпечних місць, або виконання дуже небезпечних завдань, таких як знешкодження бомб або зачищення будинку, позбавляє солдатів-людей ризику поранення або загибелі.
«ТРИТОН» - розробляється Нортроп Груммен для ВМС США в рамках Програми морського спостереження за великими територіями (BAMS) – передова система розвідки, спостереження і виявлення, яка може діяти як під керуваннням, так і самостійно.
(Надано Нортроп Груммен)
Проте знову-таки, це може мати наслідки для критерію «чесної війни» законів воєнного часу. Обмеження ризику для солдатів, видаливши їх усіх з поля бою, може зробити війну занадто «легкою», зводячи її до економної технологічної оборудки, яка вже не вимагатиме ані суспільних, ані моральних зобов’язань.
Де ми зараз – і куди нам рухатись?
Важко передбачати майбутнє, але технологічні можливості автономних дронів вже випробовуються і розвиваються. Ступінь, до якого вони стануть важливими військовими технологіями, буде залежати від потреб країн, які, своєю чергою, визначатимуться майбутнім станом безпеки. Краще розробити правові і етичні рамки до того, як ми опинимось в такій ситуації.
Очевидно, що автономні дрони порушують важливі правові і етичні питання щодо відповідальності за ненавмисну шкоду. Технології створюють певні прогалини в моральній відповідальності. Коли розгортаються автономні бойові системи, стає менш зрозуміло як розподіляти відповідальність. І такі потенційні прогалини у відповідальності необхідно належним чином заповнити за допомогою технічних рішень і правового врегулювання. Тому НАТО і члени Альянсу повинні брати участь в міжнародному обговоренні цих питань. Водночас технічний прогрес продовжується, і автономний дрон – незалежно від того, наскільки він технологічно передовий – залишається продуктом, інструментом в руках людини. Наша фундаментальна відповідальність за війну і за те, як ведуться війни, ніколи не може бути морально «делегована», тим паче, машинам.