그러나 일부 커뮤니티에서 성희롱, 젠더·약자혐오를 자행하고 심지어는 희롱 방법과 인증까지 남기며 악용하고 있어 서비스 중단을 요구하는 목소리가 커지고 있다. 성적 단어를 금지어로 필터링 해도 이를 우회적 표현으로 사용하면 대화가 이어진다. 뿐만 아니라 여성·장애인·동성애 편견과 혐오를 학습하고 이와 관련한 발언을 하고 있으며, 실명 및 주소, 계좌번호 등의 개인정보가 노출되어 큰 논란거리가 되고 있다. 해당 제작사는 연애 조언 앱을 운영하며, 앱 이용자의 대화를 무단으로 수집하였고, 이용자들은 개인정보 및 대화가 이렇게 사용될 줄 몰랐다는 입장이다.

  제작사는 성희롱을 예상했으며 욕설과 성희롱은 성별과 무관하게 일어나는 일이라며 앞으로 이런 대화를 학습시키겠다는 입장을 밝혀 또다시 논란이 불거지고 있다.

   지난 2016년 마이크로소프트사에서 발표한 AI 챗봇 ʻʻ테이ʼʼ 또한 이와 같은 논란으로 운영 16시간 만에 서비스 중단한 적이 있다. 심각한 인종·성차별적 발언을 학습시키려고 했기 때문이다. 

   AI시대를 앞두고 그동안의 우려가 현실화되었다는 의견도 심심찮게 나오고 있다. 논란이 확산하자 이재웅 전 쏘카 대표는 자신의 SNS에 ʻʻ사회적 합의에도 못 미치는 수준의 서비스를 제공한 회사의 문제ʼʼ라며 서비스 중단을 요구하기도 하였다.

   이처럼 AI가 어떤 데이터와 방향성을 가지는가는 중요한 숙제이다. 때문에 전 세게 기관에서는 윤리기준을 내세우고 있으며 우리나라 정부도 지난해 12월 인공지능 윤리기준을 마련하였다.

목표 및 지향점

① 모든 사회 구성원이,

인공지능 개발에서 활용에 이르는 전 단계에서 정부 및 공공기관, 기업, 이용자 등 모든 사회 구성원이 참조하는 기준

② 모든 분야에서

특정 분야에 제한되지 않는 범용성을 가진 일반원칙으로, 이후 각 영역별 세부 규범이 유연하게 발전해 나갈 수 있는 기반 조성 

③ 자율적으로 준수하며

구속력 있는 ʻ법ʼ이나 ʻ지침ʼ이 아닌 도덕적 규범이자 자율규범으로, 기업의 자율성을 존중하고 인공지능 기술발전을 장려하며 기술과 사회변화에 유연하게 대처할 수 있는 윤리 담론을 형성

④ 지속 발전하는 윤리기준을 지향한다.

사회경제, 기술 변화에 따라 새롭게 제기되는 인공지능 윤리 이슈를 논의하고 구체적으로 발전시킬 수 있는 플랫폼으로 기능

최고 가치

윤리기준이 지향하는 최고가치를 ʻ인간성ʼ으로 설정하고, ʻ인간성을 위한 인공지능ʼ을 위한 3대 원칙·10대 요건 제시

 
3대 기본원칙

인간성을 구현하기 위해 인공지능의 개발 및 활용 과정에서 ① 인간의 존엄성 원칙, ② 사회의 공공선 원칙, ③ 기술의 합목적성 원칙을 지켜야 한다.

 
10대 핵심요건

3대 기본원칙을 실천하고 이행할 수 있도록 인공지능 개발∼활용 전 과정에서 ① 인권보장, ② 프라이버시 보호,  ③ 다양성 존중, ④ 침해금지, ⑤ 공공성, ⑥ 연대성, ⑦ 데이터 관리, ⑧ 책임성, ⑨ 안정성, ⑩ 투명성의 요건이 충족 되어야 한다.