천문학적 고통의 위험

천문학적 고통의 위험은 고통 위험 혹은 s-위험이라고도 불리며 지금까지 지구상에서 발생한 모든 고통보다 훨씬 더 많은 고통을 수반하는 위험이다. 이러한 위험은 때때로 실존적 위험의 하위 분류로 분류된다.

일부 학자들에 따르면, s-위험은 극히 발생 가능성이 낮지 않고 예측하지 못한 상황에서 발생할 수 있기 때문에 심각하게 고려할 필요가 있다. 비록 추측적인 것처럼 보일 수 있지만, 기술 발전, 권력 역학, 그리고 역사적 선례와 같은 요소들은 첨단기술이 의도치 않게 상당한 고통을 초래할 수 있음을 시사한다. 따라서 기술적 이점의 가능성에도 불구하고 s-위험은 도덕적으로 시급한 문제로 간주된다.

가능한 s-위험의 근원에는 구현된 인공지능과 초지능은 물론 우주 이민이 포함되며, 이는 잠재적으로 "끊임없고 파멸적인 전쟁"으로 이어질 수 있으며 의도적이든 부주의이든 "때로는 가장 잔인한 고통으로 가득 찬 짧고 비참한 삶을 사는" 야생동물을 다른 행성으로 옮겨 야생동물의 고통이 엄청나게 증가할 수 있다.

인공지능은 강력한 행위자들이 방대한 기술 시스템을 통제할 수 있도록 할 수 있기 때문에 s-위험 논의의 핵심이다. 최악의 경우, AI는 우주 전역으로 확장되는 전체주의 정권과 같은 영구적인 고통의 시스템을 만드는 데 사용될 수 있다. 또한, s-위험은 의식이 있는 존재가 고통을 겪는 AI 기반 시뮬레이션이나 비인간 또는 디지털 정신의 안녕을 무시하는 경제활동과 같이 우연히 발생할 수 있다. AI 윤리 연구원인 스티븐 엄브렐로는 생물학적 컴퓨팅이 시스템 설계를 s-위험에 더 취약하게 만들 수 있다고 경고했다. 브라이언 토마식은 AI 정렬 문제를 불완전하게 해결함으로써 천문학적인 고통이 발생할 수 있다고 주장했다. 그는 약간 어긋난 초지능 Ai가 완전히 어긋난 AI에 비해 천문학적인 고통을 초래할 가능성이 가장 높은 "아차사고(near miss)" 시나리오의 가능성을 주장한다.

우주 이민은 야생동물을 새로운 환경에 도입함으로써 고통을 가중시킬 수 있으며, 생태적 불균형으로 이어질 수 있다. 낯선 서식지에서 동물들은 굶주림, 질병, 포식에 시달리며 생존에 어려움을 겪을 수 있다. 이러한 어려움은 불안정한 생태게와 맞물려 개체 수 급감이나 폭발적인 증가를 초래하여 광범위한 고통을 초래할 수 있다. 또한, 식민지 행성에 천척이나 적절한 생물 다양성이 부족하면 상황이 악화되어 지구의 생태적 문제를 더 큰 규모로 재현할 수 있다. 이는 우주 이민이 새롭고 불안정한 생태계에서 엄청난 동물의 고통을 확산시킬 수 있기에 의도치 않은 결과에 대한 윤리적 우려를 불러일으킨다. 필토레스는 우주 이민이 심각한 "고통의 위험"을 안겨준다고 주장한다. 우주로의 확장은 이해관계가 상충되는 다양한 종과 문명의 출현으로 이어질 수 있기 때문이다. 이러한 차이, 그리고 첨단 무기와 문명 간의 광대한 거리가 결합되면 파국적이고 해결부가능한 갈등을 초래할 수 있다. "우주의 리바이어던"과 같은 전략으로 질서를 구축하거나 억제 정책을 수립하는 것은 우주의 물리적 한계와 미래 기술의 파괴력으로 인해 성공하기 어려울 것으로 보인다. 따라서 토레스는 우주 이민이 엄청난 고통을 초래할 수 있으므로 지연되거나 완전히 회피돼야 한다고 결론짓는다.

매그너스 빈딩의 "천문학적인 잔혹함의 문제"는 엄청난 행복이 우주 이민으로 인한 극심한 고통을 정당화할 수 있는지에 대한 의문을 제기한다. 그는 긍정적 재화에 대한 수익의 감소, 극심한 고통의 잠재적으로 비교할 수 없는 무게, 그리고 비참함 예방의 우선순위와 같은 도덕적 우려를 강조한다. 그는 식민지화가 불가피하다면, 피해를 최소화하기 위해 깊이 헌신하는 행위자들이 주도해야한다고 주장한다.

• AI 정렬
• 야생동물의 고통