AI 사고사례 알아보기

법원 사례

https://www.lawtimes.co.kr/news/197090

- AI로 만들어낸 가짜 판례를 인용했는데, 법원에서 이를 지적해 정직 처분을 당한 변호사의 케이스

- 사용한 서비스는 웨스트로(Westlaw)와 패스트케이스(FastCase)

- 사실 여부를 면밀히 검토하지 못했다는 책임을 고려하여 1년 간의 활동 정지 처분을 받았다.

 

종합 사례

https://spri.kr/posts/view/23783?code=issue_reports&study_type=&board_type=&flg=1

AI 위험 유형 및 사례 분석 - SPRi

- WormGPT로 피싱 이메일을 생성하여 사이버 범죄에 활용

- 미 대선, 바이든의 목소리를 AI로 사칭하여 유권자들에게 전화

- 딥페이크 포르노

- 이스라엘-하마스 갈등 허위정보 확산

- AI로 생성된 코드가 자율적으로 웹사이트를 해킹

- AI가 만든 이미지에 사회적 고정관념이 반영

- 국방 분야 시뮬레이션에 AI를 적용했을 때 핵무기 배치를 반영

- 엔비디아의 생성 AI 플랫폼 '네모'에 대한 소설 저작권 침해 기소

 

AI 사고 모니터링 DB

https://incidentdatabase.ai/entities/

Entities

- AI사고에 대해 자발적으로 구축된 데이터베이스

- 뉴스를 크롤링해서 정리하는 듯 하다

- 기관별로 빅테크 사례가 많기도 하다

기관별 AI 사고 사례, AIID, `25.3

 

AI 사고 모니터링 DB2

https://oecd.ai/en/incidents

OECD AI Policy Observatory Portal

- 이후 OECD가 구축한 AI 모니터링 툴

- 비슷한 원리로 기사의 텍스트 분석을 통해 사고사례를 DB화하고 있다.

- 특별히 통계 분석은 없으나, 이슈마다 관련된 AI원칙/산업/이해관계자/위험 종류/위험 정도를 명시하고 있다.

AIM, OECD, `25.3

 

과거 종합 사례

https://www.aitimes.com/news/articleView.html?idxno=133086

- 마이크로소프트의 챗봇이 인종차별, 여성혐오, 반유대주의 발언을 한 사례

- 아마존이 AI 채용 SW를 개발했으나 성차별적 이슈로 4년만에 폐기 (`14~`18년)

- 미국 유통사 타겟의 고객 임신예상 등 개인정보 남용 사례

- 미 의료 AI 인종 차별 사례

 

 

개인 의견

생각보다 다양한 분야에서 AI와 관련한 사고 사례들이 있었으며, 일부 꽤 기간이 지난 사례들도 있었다.

아직 기사로 사고사례를 수집하는 수준인 것으로 보아 사고유형이 명확이 정의되지는 않았다고 생각된다.

 

한 편으로는 AI가 발전하는 방향의 엑셀만 생각하고 있는 상황에서 이를 저지하는 브레이크를 생각하는 것도 필요하다고 본다.

단순히 사고 뿐만 아니라 이 사고로 드러나는 AI의 구조적인 한계가 있다.

가비지 인-가비지 아웃, 과최적화가 그 예이다.

 

안 좋은 데이터들을 AI가 많이 학습할수록 결과물은 좋지 않을 것이며(인종차별, 성차별, 고정관념 등)

이를 검수하는 작업이 필요한데 AI에 투입되는 데이터가 많으면 많을수록 검수작업은 비용이 많이 들거나 소홀해질 수 밖에 없다.

일례로 챗GPT는 이런 윤리, 검열 작업에 인건비가 낮은 케냐 노동자를 대거 투입하여 분류작업을 시키고

이 노동자들은 폭력, 비윤리적인 내용들에 계속해서 노출되는 사례가 있었다고 한다.

 

또한, 우리가 흔히 보는 AI 모델들의 성능은, 와닿는 사례들을 일부러 구성한지는 모르겠지만, 대부분 어느 시험을 합격했다,

변호사, 수학, 수능 등등 시험 성적 등을 토대로 모델 성능을 표현해낸다.

그런데 우리는 그런 시험을 대신 보는 무언가가 필요해서 AI를 개발하는 것은 아니다.

특히 시험은 기본적인 지식, 소양으로 시간이 지나면 지날수록 현업과 멀어짐을 체감하기도 한다.

이렇게 괴리되는 것을 벤치마크로 내놓고 있는 현황으로 봐서

앞으로의 AI 성장의 황금빛 미래가 있을지 싶다.

 

몇 조, 몇 경 개의 파라미터로 구성을 해서 프리미엄 가격에 서비스를 제공한다고 해서

값싸고 전문적인 중국, 인도인들을 당장 대신할 수 있을까?

오히려 그들이 AI를 더 잘 활용하면 활용했을 것이다.

 

뭐 굳이 AI의 발전을 반대하거나 노동 대체 가능성을 논하고 싶다기보다

AI 성장에 있어 규모의 경제라는 것에 의구심이 든다.

의레 그간의 산업 혁명은 혁신적인 기술에 이어 규모의 경제로 시장을 키워갔으나,

AI의 모델 차원에서 그게 가능할지는?

 

특히 수집되지 못한 데이터들을 바라보는 데에 있어서 AI 한계는 두드러진다.

마치 역사가 기록될 때 역사학자의 능력이나 성향에 의해 다르게 남겨지듯이~