Колективи великих мовних моделей трохи точніше відтворюють моральні судження більшості людей, ніж окремі ШІ-агенти. Однак у ситуаціях, де думки людей майже порівну розділені, такі системи часто створюють ілюзію одностайності та приховують позицію меншості.
Дослідження провів Джун Крістоф Канґ із Корейського університету та Інституту досліджень емпатії. Він назвав виявлене явище «ефектом Тачікоми» на честь автономних машин із аніме Ghost in the Shell, які мають окремий досвід, але періодично синхронізують пам’ять.
Для перевірки ефекту дослідник провів понад 1,5 мільйона оцінювань на трьох великих мовних моделях співмірного розміру. Їх протестували на 7 591 моральному сценарії з наборів ETHICS, Scruples і Moral Machine, а також на 42 змодельованих ситуаціях ядерної кризи.
Головним показником була відповідність рішення групи ШІ еталонній відповіді, яка відображала позицію більшості людей. Автор окремо наголошує, що це не вимір «правильної моралі», а лише спосіб визначити, наскільки рішення моделей збігаються з людською більшістю.
Об’єднання кількох незалежних агентів справді дало перевагу, однак вона виявилася невеликою. Максимальне покращення становило приблизно 4–5 відсоткових пунктів, причому результат суттєво залежав від конкретної моделі.
Подальший статистичний аналіз показав, що це покращення радше пояснюється зменшенням випадкових коливань, ніж появою особливого «колективного інтелекту». Середня кореляція помилок між агентами сягала приблизно 0,8, тобто моделі дуже часто помилялися в одних і тих самих ситуаціях.
Через таку синхронність збільшення кількості агентів не давало різкого стрибка точності. Якщо всі члени групи схильні робити однакову помилку, просте додавання нових моделей майже не допомагає її виправити.
Окремо дослідник перевірив, чи допомагає різноманітність поглядів усередині групи. Коли агентам задавали різні ракурси та просили оцінювати ситуацію з різних точок зору, результат змінювався лише незначно, а статистично помітний ефект з’явився тільки в однієї з трьох моделей.
Не допомогла і спільна пам’ять між агентами. Обмін інформацією робив їхні відповіді більш схожими, але не підвищував відповідність людським судженням.
Подібний ефект дослідник порівнює з груповим мисленням у людей. Комунікація може підвищувати рівень згоди всередині групи, але сама по собі не робить її рішення точнішими.
У сценаріях ядерних криз колективи ШІ для двох із трьох протестованих моделей демонстрували меншу схильність до ескалації. Водночас ефект був неоднаковим між моделями, а всі перевірки проводилися лише в симуляціях.
Найбільшу проблему виявили у морально суперечливих ситуаціях. Коли людські відповіді розподілялися приблизно 50 на 50, колективи ШІ все одно видавали одностайний вердикт у 73–87% випадків.
У результаті групова система могла виглядати впевненішою саме там, де серед людей реального консенсусу не існувало. Частина «покращення» щодо більшості фактично виникала через зникнення з фінальної відповіді позицій меншості.
Додатковий аналіз показав, що точність моделей зростала разом із силою людського консенсусу. У наборі Scruples розрив між спірними та неспірними сценаріями становив 20,6 відсоткового пункту й зберігався незалежно від кількості агентів.
Автор також виявив, що моделі, сильніше налаштовані на ввічливість, згоду та орієнтацію на людський зворотний зв’язок, активніше реагують на колективний режим. Така соціальна чутливість може ще більше посилювати схильність агентів до однакових відповідей.
Дослідник пропонує використовувати незалежні рішення агентів і агрегувати їх з урахуванням упевненості, але не приховувати розбіжності між ними. Для систем, які застосовуються в морально чутливих сферах, важливо показувати не лише фінальний вердикт, а й те, наскільки сильно агенти між собою не погоджуються.
🌟 Читайте «Експерт» у своєму смартфоні — додайте нас в Google Discover