대재앙 발생시 회사 책임 논란
IPO에 '통제 불능' 위험 변수
기업가치 마이너스 가능성도

[블록미디어 James Jung 기자] “인공지능(AI) 재앙을 불러올 수도 있는 기업에 가격표를 붙일 수 있나?”

기업공개(IPO)를 앞두고 있는 앤트로픽이 딜레마에 빠졌다. 당대 최고의 AI 기업으로서 앤트로픽의 몸값은 2조달러가 넘을 것으로 기대되고 있다. 그러나 앤트로픽 AI가 통제 불능 사고를 치고, 이것이 엄청난 피해를 유발한다면? 회사의 배상 책임을 IPO 가격에 포함시켜야 할까?

블룸버그는 8일(현지시각) 앤트로픽 IPO에 참여할 투자자들이 AI의 잠재적 위험을 평가하는데 어려움을 겪고 있다고 보도했다. 일각에서는 AI 재앙 피해액이 4조달러에 달할 수 있으며, 이 경우 앤트로픽의 기업가치는 마이너스가 될 수 있다는 우려도 나온다.

사실 다리오 아모데이 앤트로픽 최고경영자(CEO)는 AI 시스템에 대한 인간의 통제력 상실을 주요 위험으로 지목해 왔다. AI가 사이버 공격이나 생물학적 테러에 악용될 가능성도 경고했다. AI 개발 속도를 조절하지 않으면 심각한 경제적 혼란이 발생할 수 있다는 우려도 제기했다. 자신의 회사가 위험한 물건을 만들고 있다고 실토한 셈이다.

AI 사고 책임 최대 4조달러… 기업가치보다 클 수도

벤처캐피털 슬로벤처스의 샘 레신 파트너는 AI 기업들이 미래 사고에 대비해 막대한 자금을 확보해야 한다고 주장했다. 그는 미국 정부가 AI 개발 기업에 1조달러를 별도 예치하도록 의무화하는 방안을 제안했다.

2008년 금융위기 이후 은행에 더 많은 자본을 보유하도록 요구했던 규제를 AI 산업에도 적용하자는 취지다.

레신은 블룸버그와의 인터뷰에서 AI 기업이 사회에 초래할 수 있는 잠재적 손실이 2조~4조달러에 이를 수 있다고 주장했다. 이는 실제 발생한 손실이나 검증된 피해 예측치가 아니라 극단적인 위험을 설명하기 위한 추정이다.

그는 인류 멸종과 같은 최악의 시나리오까지 고려하면 기업의 실질적인 가치가 마이너스가 될 수도 있다고 지적했다.

그러나 투자자들이 이 같은 위험을 실제 주가에 반영할지는 불확실하다. 손실 규모와 책임 소재를 파악하기 어렵고, 사고 비용을 다른 주체가 부담할 것이라는 기대도 존재하기 때문이다.

AI 안전 규제, 비용이자 경쟁력

AI 위험을 둘러싼 논쟁이 앤트로픽의 IPO 자체를 무산시키지는 않을 것으로 보인다. 케빈 모스 프라이빗셰어스펀드 매니징디렉터는 AI 산업에 규제 체계가 필요하다고 평가하면서도 안전성 논쟁이 앤트로픽의 상장 계획을 흔들 가능성은 크지 않다고 봤다.

도널드 트럼프 미국 대통령이 주요 기술기업 경영진과 체결한 자발적 AI 안전 협약도 일부 투자자의 불안을 완화한 요인으로 거론됐다.

안전장치 강화가 오히려 경쟁력으로 이어질 수 있다는 분석도 있다. 해리슨 롤프스 피치북 선임 연구원은 새로운 안전장치가 앤트로픽의 비용을 높이지만 고객 신뢰를 강화할 수 있다고 분석했다. 중국 기업이나 오픈소스 경쟁사가 동일한 안전 기준을 충족하지 못한다면 진입장벽으로 작용할 수도 있다는 설명이다.

보험업계는 AI 기업을 위한 새로운 상품을 개발하고 있지만 사고 이력과 손해배상 판례가 부족해 위험을 산정하기 어렵다. 조 지올코프스키 렐름보험 CEO는 AI가 단순한 정보 제공을 넘어 자율적인 의사결정과 다른 AI 시스템과의 상호작용으로 발전하면서 사고 책임 문제가 더욱 중요해지고 있다고 설명했다.

그는 투자자들이 수치화할 수 없는 위험을 IPO 기업가치에서 충분히 반영하지 않을 가능성이 크다고 봤다. 위험이 객관적으로 측정되기 전에 자금을 조달하는 것이 기업에 유리할 수 있다는 분석이다.

AI 기업들, 대형 사고 이후 정치적 반발까지 대비

AI 기업들은 잠재적인 사고 위험을 기업가치에 반영하는 문제를 넘어 실제 대형 사고가 발생한 이후의 대응 방안까지 준비하고 있다. 미국 정치 전문매체 악시오스는 주요 AI 기업 고위 관계자들이 대규모 사고 이후 발생할 사회적 반발과 정치적 규제에 대비해 비공개 시나리오를 검토하고 있다고 보도했다.

오픈AI와 앤트로픽 등 주요 AI 기업들이 우려하는 대표적인 상황은 AI를 악용한 대규모 사이버 공격이다. 금융 서비스와 인터넷 연결이 중단되고 전력과 수도 공급까지 차질을 빚는 상황을 가정하고 있다.

악시오스에 따르면 일부 AI 업계 관계자들은 향후 6~12개월 안에 중대한 사고가 발생할 것으로 예상하고 있다. 다만 이는 업계 관계자들의 전망으로, 실제 사고 발생이 확정됐다는 의미는 아니다.

AI 기업들은 사고 발생 이후 미국 의회가 강력한 규제에 나설 가능성도 주시하고 있다. 규제 방안으로는 초지능 개발 금지와 첨단 AI 개발 일시 중단, 고성능 AI 시스템에 긴급 종료 장치인 ‘킬 스위치’를 의무화하는 방안 등이 거론된다.