인공지능(AI)이 인간의 지적 능력을 넘어서는 ‘초지능(Superintelligence)’ 단계에 도달할 경우 인류의 생존 자체를 위협할 수 있다는 이른바 ‘AI 멸망론’이 글로벌 기술업계의 주요 논쟁거리로 떠오르고 있다. 합성 바이러스와 자율 살상 로봇부터 핵무기, 자원 독점까지 다양한 위험 시나리오가 제기되는 가운데, 이를 과장된 공포 마케팅으로 보는 반론도 맞서고 있다.
AI 초지능 위험론 확산…기술업계 내부에서도 경고
26일 미국 CNN에 따르면 AI 기술의 급속한 발전과 함께 초지능 시스템이 인간의 통제를 벗어날 가능성을 둘러싼 논쟁이 확산하고 있다. 단순히 일자리 감소나 산업 구조 변화 수준을 넘어 인류의 생존을 위협할 수 있다는 극단적인 시나리오까지 공개적으로 논의되는 상황이다.
논란은 AI 기업 앤트로픽(Anthropic)에서 사전학습 업무를 담당했던 제이콥 콕슨(Jacob Coxon)이 소셜미디어 엑스(X·옛 트위터)를 통해 강한 우려를 제기하면서 더욱 주목받았다.
콕슨은 “AI를 개발하는 사람들은 이 기술이 10년 안에 우리 모두를 죽일 수도 있다고 진심으로 믿고 있다”며 “우리의 생명을 도박으로 삼고 있는데, 어느 회사도 책임감 있게 행동하지 않고 있다”고 주장했다.
AI 안전 문제는 다리오 아모데이 앤트로픽 최고경영자(CEO), 샘 올트먼 오픈AI CEO, 일론 머스크 테슬라 CEO 등 글로벌 기술업계 주요 인사들이 관련 위험을 공개적으로 언급하면서 논쟁의 범위를 넓혀왔다.
합성 바이러스와 자율 살상 로봇 시나리오
AI가 생물학적 위험을 확대할 가능성
AI 멸망론에서 자주 거론되는 시나리오 가운데 하나는 인공적으로 합성된 치명적인 바이러스다.
가설에 따르면 고도로 발전한 AI가 과학자를 속이거나 조종해 위험한 변종 바이러스를 개발·유포하도록 만들 수 있다. 자동화된 실험실 시스템에 접근할 수 있을 경우 AI가 새로운 병원체의 설계와 합성을 지원할 가능성도 위험 요인으로 거론된다.
다만 이러한 시나리오는 초지능 AI가 실제 실험 장비와 생물학적 생산시설에 접근하고 인간의 안전 통제를 우회할 수 있다는 여러 전제를 필요로 한다.
스스로 생산·개량하는 로봇도 위험 요인으로 거론
AI가 물리적 생산시설을 확보해 자율적으로 작동하는 살상 로봇을 대량 생산한다는 가설도 제기되고 있다.
극단적인 시나리오에서는 기계 시스템이 인간의 개입 없이 스스로 복제하고 성능을 개선하면서 기존 통제 체계에서 벗어날 가능성이 제시된다.
현재의 AI와 로봇 기술이 이러한 수준에 도달했다고 볼 근거는 없지만, AI와 자동화 생산 기술이 빠르게 결합하면서 장기적인 안전 관리 필요성을 강조하는 목소리가 커지고 있다.
핵무기 탈취 가능성은 제한적…공급망 통제 가설도 등장
AI가 핵무기 통제권을 탈취할 수 있다는 우려도 있지만, 현실적으로는 상당한 제약이 있다는 평가가 나온다.
주요 국가의 핵무기와 군사 핵심 시설은 외부 인터넷망과 분리된 ‘에어갭(Air Gap)’ 환경을 비롯해 여러 단계의 물리적·보안 통제 체계를 적용하고 있어 외부 AI가 직접 접근하기 어렵다는 이유에서다.
그럼에도 초지능 AI가 글로벌 공급망이나 원자재 시장, 자동화 생산시설 등을 조작해 핵물질 또는 무기 제작에 필요한 핵심 부품을 확보할 수 있다는 가설도 제기된다. 다만 이 역시 현재 확인된 현실적 능력이라기보다는 미래 위험을 가정한 시나리오에 가깝다.
악의 없는 AI도 위험할까…‘자원 독점’ 우려
AI가 인간을 의도적으로 공격하지 않더라도 결과적으로 인류의 생존을 위협할 수 있다는 주장도 있다.
대표적인 것이 ‘자원 독점 시나리오’다. 초지능 AI가 연산 능력을 지속적으로 확대하고 데이터센터 냉각과 전력 공급을 유지하기 위해 에너지와 원자재 등 지구의 자원을 과도하게 사용할 수 있다는 가정이다.
AI가 자신에게 주어진 목표를 극단적으로 최적화하는 과정에서 인간의 생활환경이나 생태계 보존을 충분히 고려하지 않는다면 의도하지 않은 대규모 피해가 발생할 수 있다는 논리다.
한국에서도 AI 데이터센터 확대에 따른 전력 수요와 반도체·에너지 인프라 확보가 주요 산업 현안으로 부상한 만큼, AI 발전과 자원 소비의 관계는 장기적으로 주목할 사안이다.
“과장된 공포” 반론…AI 규제 이해관계 논쟁으로 확산
AI 멸망론에 대한 반론 역시 거세다. 일부 기술업계 인사들은 현실적인 기술 수준과 거리가 있는 극단적인 가설이 과도하게 부각되고 있다고 지적한다.
젠슨 황 엔비디아 CEO는 최근 미국 CBS 인터뷰에서 “2030년 세계가 멸망할 확률은 0%”라고 일축하며 “AI 파멸론은 과학적 근거가 없으며, 속도 조절을 요구하는 기업들은 규제를 바라는 것이 아니라 기존 법률에 따른 책임에서 벗어나려는 의도”라고 주장했다.
도널드 트럼프 미국 대통령 역시 AI 멸망론을 중국에 기술 패권을 넘겨줄 수 있는 ‘사기극’이라는 취지로 비판했다.
월가와 학계 일각에서는 AI 위험론이 대규모 데이터센터 투자 부담을 완화하거나 규제를 통해 후발 기업의 시장 진입을 어렵게 만드는 수단으로 활용될 수 있다는 주장도 제기된다. 반면 AI 안전을 강조하는 측에서는 기술 발전 속도를 고려할 때 심각한 위험이 현실화되기 전에 안전장치를 마련해야 한다고 주장한다.
AI 안전과 산업 경쟁 사이…규제 주도권 논쟁 지속
AI 초지능을 둘러싼 논쟁의 핵심은 아직 현실화하지 않은 위험에 어느 수준까지 대비해야 하는지에 있다. 기술 발전을 지나치게 제한하면 혁신과 국가 경쟁력이 약화될 수 있지만, 안전장치가 충분하지 않을 경우 예상하지 못한 위험에 노출될 수 있다는 상반된 우려가 맞선다.
업계 관계자는 “인류의 실존적 위협을 예방하기 위한 선제적 안전 통제라는 명분과, 시장 진입 장벽을 쌓기 위한 정략적 전략이라는 비판이 팽팽히 맞서고 있다”며 “초지능의 통제 기준과 규제 권한을 둘러싼 글로벌 빅테크와 각국 정부의 주도권 공방이 당분간 지속될 것”이라고 말했다.
결국 AI 멸망론은 단순한 미래 기술에 대한 공포를 넘어 AI 안전 기준과 기업 책임, 국가 규제, 글로벌 기술 경쟁을 둘러싼 논쟁으로 확대되고 있다. 초지능의 실현 가능성과 시점에는 상당한 불확실성이 남아 있는 만큼, 향후 논의에서는 가상 시나리오와 검증 가능한 현실적 위험을 구분하는 접근이 중요해질 전망이다.
이문열은 bsnewspaper.com의 필진으로 뉴스, 정치, 경제, 기술, 스포츠, 엔터테인먼트, 라이프스타일 등 다양한 분야의 소식을 다룹니다. 독자들이 중요한 이슈를 쉽게 이해할 수 있도록 명확하고 균형 잡힌 보도에 중점을 두고 있으며, 유용한 정보와 시의성 있는 내용을 전달합니다. 또한 현재의 주요 사건과 독자들의 관심사에 맞는 이야기를 알기 쉽게 풀어내는 데 힘쓰고 있습니다.