지식이 아닌 '사람을 고려한 지혜'

AI는 똑똑한 기술이 아니라, 사람의 삶에 '영향'을 주는 시스템이다.

"윤리 없는 AI는 '서비스'가 아니라 '사고'를 만듭니다.
우리가 만드는 건 코드가 아니라 '결정'이고, 그 결정은 누군가에게 결과로 돌아갑니다."

데이터
AI 모델
결정(판단)
사람/사회 (영향)

AI 사고는 보통 이 6가지에서 터집니다

프라이버시

얼굴, 대화, 위치 등 "나를 설명하는 정보"가 동의 없이 수집/유출

편향과 차별

데이터가 치우쳐 특정 사람/그룹에게만 오류나 불이익이 집중됨

안전 (물리적)

AI의 실수가 교통사고, 작물 폐사 등 현실의 '물리적 충돌'로 이어짐

보안 취약성

원격 제어가 해킹되어 기기가 조종당하거나 시스템 전체가 마비됨

과신과 허위(환각)

AI도 틀릴 수 있는데, 사람이 AI의 거짓/오류를 '정답'으로 맹신함

책임 회피

사고 발생 시 "AI가 한 일이라 모른다"며 책임을 미루어 신뢰 붕괴

실제 산출물에 적용해보기

모빌리티: 안면인식 졸음운전 방지

현실 예시: 현대모비스 DSW

Robo AI

윤리 없이 개발하면 생길 문제

  • 1. 감시 사회화: 안전 목적의 카메라 영상이 근태 감시나 보험료 할증 등 동의 없는 프라이버시 침해로 악용됨
  • 2. 인구집단 편향: 안경 낀 사람, 특정 피부톤 등에게만 오탐률이 높아 "특정 사람만 자꾸 졸음으로 찍히는" 불공정 발생
  • 3. 치명적 안전사고: 졸음인데 정상으로 판단(False Negative)하여 사고가 나거나, 정상인데 과도하게 경고해(False Positive) 놀라서 사고 유발

책임감 있는 개발 포인트

  • 데이터 최소화 (영상 비저장)
  • 다양한 조건(안경/조명) 오탐 테스트
  • 목적 외 사용 엄격 제한
  • 위험하지 않은 사람 중심 UX 경고 설계

에듀테크: 맞춤형 학습 튜터 웹앱

현실 예시: 듀오링고 Max (GPT-4 연동)

Code AI

윤리 없이 개발하면 생길 문제

  • 1. 과신(틀린 설명): AI가 그럴듯하게 꾸며낸 거짓말(환각)을 사실로 믿어 오개념이 굳어짐 (검증 불가)
  • 2. 민감 데이터 노출: 미성년자의 성적표보다 예민한 '학습 습관, 사적 대화' 등이 제3자에게 유출/타겟팅 광고에 악용
  • 3. 중독 설계(다크패턴): 학습 성취가 아닌 "앱 체류 시간 늘리기"를 목표로 삼아 학생들의 과도한 몰입/중독을 유도

책임감 있는 개발 포인트 (검증·기록·설명)

  • 근거 제시 기능 (출처/예시/반례)
  • 오류 신고 및 개선 피드백 루프
  • AI와 대화 중임을 명확히 고지(투명성)
  • 체류시간이 아닌 '학습 성취'를 KPI로 설정

기후테크: 기후 위기 글로벌 예측

현실 예시: 구글 Flood Hub

Data AI

윤리 없이 개발하면 생길 문제

  • 1. 예측의 맹신이 낳는 재난: 오차를 숨기고 정답처럼 발표하면, 과잉 대응(패닉/경제 손실)이나 과소 대응(대피 실패)을 초래함
  • 2. 지역 불평등: 데이터 인프라가 없는 개발도상국은 예측 정확도가 낮아져, '기술의 빈익빈 부익부' 현상 발생
  • 3. 결과 악용: 대시보드에서 '위험'으로 표시된 지역 거주민에게 보험료 폭등, 대출 제한 등 사회경제적 차별 가해짐

책임감 있는 개발 포인트

  • 불확실성(확률/오차) 필수 표기
  • 기상청/재난 전문가와 데이터 협업
  • 보험/대출 등 고위험 결정을 위한 직접 악용 금지
  • 큰 사건 후 사후 성능 모니터링 체계

애그테크: 원격 제어 스마트팜

현실 예시: 그린랩스 팜모닝

Robo AI

윤리 없이 개발하면 생길 문제

  • 1. 보안 사고(물리적 피해): 해킹으로 온도/환기/물 제어 권한이 넘어가면 한겨울에 온실 천장이 열려 작물이 전멸할 수 있음
  • 2. 데이터 소유권 착취: 농가 경쟁력의 핵심인 '재배 노하우 데이터'를 플랫폼이 동의 없이 독점해 상업적으로 판매/이용
  • 3. 알고리즘 오판과 생계 위협: "AI가 시키는 대로 물을 줬다가" 농사를 망쳐도 책임은 고스란히 농민이 짐

책임감 있는 개발 포인트

  • 서버 마비 대비 수동 조작(비상 스위치) 필수
  • 원격 접속 권한 및 로그 추적 (보안 기본)
  • 설명 가능한 추천 ("왜 물을 주라고 했는가")
  • 농민 중심 데이터 소유권 가이드라인 마련

개발 전 스스로 던져야 할 7가지 질문

안전하고 신뢰받는 프로젝트를 위해 코드 작성 전 반드시 확인하세요.

1

이 기능이 직·간접적으로 영향을 주는 사람(이해관계자)은 누구인가?

2

목적 달성을 위해 꼭 필요한 데이터만 최소한으로 수집하고 있는가?

3

수집된 데이터는 유출되지 않도록 안전하게 보호되고 있는가?

4

AI가 특정 사람이나 그룹에게 더 자주 틀리지 않는지(편향) 테스트했는가?

5

시스템이 오류를 일으키거나 멈췄을 때를 대비한 안전장치(비상 스위치)가 있는가?

6

AI가 왜 그런 결정을 내렸는지 사용자에게 투명하게 설명(기록/로그)할 수 있는가?

7

출시(배포) 후에도 사람들의 피드백을 받아 계속 모니터링하고 개선할 계획이 있는가?