경기도의회 이채명 의원(더불어민주당, 안양6)이 공공 인공지능(AI) 정책을 평가할 때, 전체 평균 정확도보다 특정 집단에서 오류가 집중하여 발생하는지를 살펴야 한다고 밝혔다.

이 의원은 지난 3일, 경기도여성비전센터에서 열린 「2026년 양성평등주간 기념 제8차 경기GPS(Gender Policy Seminar)」에서 “AI가 누구의 데이터를 학습하고 누구를 판단하는지를 묻는 것이 성인지 AI 정책의 출발점”이라고 말했다.

이 의원은 “AI는 현실에서 생산된 데이터를 학습하는 만큼 기존 사회의 성별 격차와 불평등, 편향이 데이터와 알고리즘에 반영될 수 있다”라고 지적했다.

도의회의 AI 사업ㆍ예산 심사 기준도 달라져야 한다고 했다. 사업비와 구축 기간, 이용자 수뿐 아니라 학습 데이터의 대표성과 성별ㆍ연령ㆍ장애ㆍ지역ㆍ소득 등 교차집단별 오류 발생 비율도 확인해야 한다는 것이다.

이 의원은 “전체 평균 정확도만 봐서는 부족하다”라며, “중요한 것은 AI가 누구에게 더 많이 틀리는지를 확인하는 것”이라고 말했다.

성별ㆍ교차집단별 데이터를 구축할 행정 기반도 필요하다고 했다. 이 의원은 “자료가 없다는 답변에 그칠 것이 아니라 관련 데이터를 구축하고 관리할 수 있도록 예산과 행정 체계를 마련해야 한다”라고 밝혔다.

이 의원은 공공조달 단계부터 성인지 기준을 반영해야 한다는 주장도 내놨다. AI 사업 제안요청서와 사업자 평가, 계약조건 등에 성별분리 데이터 구축 여부와 집단별 오류 발생 비율, 알고리즘 편향 점검 결과, 편향 발생 시 수정 절차와 책임 주체 지정 등을 포함해야 한다는 설명이다.

또한, 복지ㆍ돌봄ㆍ채용ㆍ교육ㆍ의료ㆍ안전처럼 도민의 권리에 직접 영향을 미치는 AI는 도입 이후에도 정기적으로 점검해야 한다고 강조했다.

아동돌봄 분야의 AI 활용에 대해서는 “아동의 이동과 안전, 위기상황 파악을 지원할 수 있지만 위치정보와 개인정보, 감시 문제도 함께 검토해야 한다”라고 말했다.

이어 “아동ㆍ복지ㆍ안전 분야에서 AI가 최종 판단자가 돼서는 안 된다”라며 “AI 분석을 활용하더라도 최종 판단과 책임은 사람이 맡아야 한다”라고 전했다.

이 의원은 AI 정책 설계와 평가 과정에 성평등ㆍ인권ㆍ장애ㆍ아동ㆍ돌봄 분야 전문가와 정책 이용자가 참여해야 한다고도 제안했다.

그리고 경기도 AI 정책을 점검할 핵심 기준으로 ‘누구의 데이터를 학습했는가’, ‘누구에게 더 많이 틀리는가’, ‘잘못된 판단으로 피해가 발생했을 때 누가 책임지고 바로잡는가’ 등 세 가지를 제시했다.

이 의원은 “이 질문에 제대로 답하지 못하는 AI는 기술적으로 뛰어나더라도 공공영역에서 신뢰를 얻기 어렵다”라며, “도의회도 알고리즘이 도민에게 미치는 영향과 데이터의 공정성을 지속해서 점검해야 한다”라고 전하며 토론을 마무리했다.

한편, 이날 세미나는 경기도여성가족재단이 주최하고 ‘성인지 관점에서 본 경기도 AI 정책: 이슈와 방향’을 주제로 열렸다. 참석자들은 AI 정책의 성인지적 분석 필요성과 정책 과제, 아동돌봄 분야의 AI 활용 가능성과 한계 등을 논의했다.