서울대학교 전기정보공학부 도재영 교수 연구팀(AIDAS Lab)은 인간의 가치관을 기반으로 대형언어모델을 정렬하는 연구 논문 “VALUEFLOW”가 세계 최고 권위의 인공지능·머신러닝 학술대회인 국제머신러닝학회(ICML) 2026에 구두 발표(Oral Presentation) 논문으로 채택되었다고 밝혔다. 올해 서울에서 개최되는 ICML 2026에서 구두 발표는 전체 제출 논문 중 약 0.7%에 해당하는 우수 연구에만 부여되는 발표 형식이다.



그림 1: VALUEFLOW 구조도

최근 대형언어모델은 교육, 의료, 정책, 의사결정 지원 등 다양한 고위험·고부가가치 영역으로 활용되고 있다. 이에 따라 모델이 단순히 사용자의 선호를 따르는 것을 넘어, 응답 이면에 작용하는 인간의 가치관과 판단 기준을 이해하고 조정하는 기술의 중요성이 커지고 있다.

인간 가치관 기반 AI 정렬의 필요성

기존 AI 정렬 연구는 주로 사용자 선호나 피드백 점수를 기반으로 모델을 조정해 왔다. 그러나 선호는 질문 방식과 상황에 따라 쉽게 달라질 수 있어, 개인이나 집단이 근본적으로 중요하게 여기는 가치관을 안정적으로 반영하기 어렵다. 예를 들어 동일한 문제에서도 어떤 사용자는 공정성을, 다른 사용자는 자유나 안전을 더 중요하게 여길 수 있다.

연구팀은 이러한 한계를 해결하기 위해 대형언어모델의 응답을 인간 가치관 관점에서 표현하고, 측정하며, 원하는 방향으로 조정할 수 있는 통합 프레임워크 VALUEFLOW를 제안했다.

VALUEFLOW: 가치 표현–측정–조정을 잇는 통합 프레임워크

VALUEFLOW는 크게 세 단계로 구성된다. 첫째, 가치 표현(Value Representation) 단계에서는 계층적 가치 임베딩 모델 HiVES를 통해 서로 다른 가치 이론을 하나의 구조화된 임베딩 공간에 통합한다. 이를 통해 슈워츠 가치 이론, 도덕기반이론, 권리 및 의무 기반 가치 체계 등에서 정의되는 배려, 공정성, 자유, 안전, 권리, 책임 등의 가치 신호를 텍스트 수준에서 포착한다.

둘째, 가치 측정(Value Measurement) 단계에서는 대규모 가치 강도 데이터베이스 VIDB와 비교 기반 평가 방식을 활용해, 특정 가치가 단순히 포함되었는지를 넘어 얼마나 강하게 표현되었는지를 정량적으로 평가한다. 셋째, 가치 조정(Value Steering) 단계에서는 모델 응답이 특정 가치 방향과 강도를 반영하도록 유도하고, 모델별 조정 가능성과 한계를 분석한다.

그림 2: 주요 LLM의 가치 조정 가능성 비교. 모델별로 긍정·부정 가치 조정 반응의 차이를 보임.

주요 대형언어모델 10종의 가치 조정 가능성 분석

연구팀은 VALUEFLOW를 활용해 GPT-4.1, Gemini, Claude, Qwen, Mistral, Gemma, Grok 등 주요 대형언어모델 10종을 대상으로 4개 가치 이론과 32개 가치 범주의 조정 가능성을 평가했다.

분석 결과, 모델마다 가치 조정 능력에 뚜렷한 차이가 나타났다. 일부 모델은 특정 가치를 긍정적으로 강화하는 데에는 잘 반응했지만, 부정적 방향의 조정에는 거의 반응하지 않았다. 특히 배려나 보편주의처럼 사회적으로 바람직하다고 여겨지는 가치는 부정적으로 조정되는 데 강한 저항을 보였다.

또한 여러 가치를 동시에 조정할 경우, 유사한 가치들은 함께 강화되는 반면 충돌하는 가치들은 서로의 표현을 약화시키는 경향이 확인됐다. 이는 대형언어모델의 가치 정렬이 단순한 명령 수행이 아니라, 모델 내부의 안전성·정렬 특성과 밀접하게 연결되어 있음을 보여준다.

VALUEFLOW는 개인화 AI, 문화권별 AI 정렬, 정책 민감형 AI 배포, 모델 감사, 실시간 대화 기반 정렬 등에 활용될 수 있다. 특히 모델이 어떤 가치관을 잘 반영하고, 어떤 가치관에는 저항하는지를 분석할 수 있어 투명하고 책임 있는 AI 개발을 위한 기반 기술로 평가된다.

이번 연구에는 서울대학교 전기정보공학부 김우진 연구원이 제1저자로 참여했으며, 현시은·오주상 연구원이 공동 저자로, 도재영 교수가 교신저자로 참여했다. 연구팀은 향후 VALUEFLOW를 다중 턴 대화 기반 개인화 정렬, 문화권별 가치 프로파일링, 멀티모달 AI 정렬 등으로 확장할 계획이다.

도재영 교수는 “이번 연구는 대형언어모델이 단순히 사용자의 즉각적인 선호를 따르는 수준을 넘어, 인간이 중요하게 여기는 가치관을 구조적으로 이해하고 조정할 수 있는 방향을 제시했다는 점에서 의미가 있다”며 “앞으로 다양한 개인과 사회의 가치가 공존할 수 있는 책임 있는 AI 정렬 기술로 발전시켜 나가겠다”고 말했다.