2025 — 2027Expected Feb. 2027
한양대학교
인공지능학과 석사과정
M.S. in Artificial Intelligence
Speech & Generative AI
박지현
한양대학교 인공지능학과 석사과정
Controllable speech synthesis / Prosody modeling / Conditional generation
01
Education
Academic background
Graduate
2017 — 2022Feb. 2022
이화여자대학교
컴퓨터공학과 학사
B.S. in Computer Science
02
Research interests
Questions I exploreControllable
Speech Synthesis
문장 전체의 자연스러움을 유지하면서, 원하는 단어의 감정과 표현을 세밀하게 조절하는 방법을 연구합니다.
Prosody &
Speaker Modeling
음성의 운율에 어떤 정보가 필요한지 살펴보고, 화자와 사용 조건이 달라져도 그 정보가 유용한지 검증합니다.
Conditional
Generative Models
Diffusion Language Model 기반 음성합성에서 자연어 지시와 참조 음성의 역할을 살펴보고, 각 입력 조건이 생성에 미치는 영향을 분석합니다.
03
Publications
Selected research음성의 표현을 제어하고, 필요한 정보를 검증하며, 모델을 직접 구현한 연구입니다.
Word-level Emotional Intensity Control in TTS
via Emotion Residual Vectors
단어별 감정 강도를 조절하는 음성합성
문장의 감정을 바꾸는 데서 더 나아가, 원하는 단어의 감정 강도만 조절할 수 있을까? 단어별 강도 정답이 없는 데이터에서 출발해, 중립 음성과 감정 음성의 차이를 새로운 학습 신호로 활용했습니다.
Research problem
기존의 문장 단위 감정 조건만으로는 특정 단어의 표현을 세밀하게 바꾸기 어렵습니다. 단어별 감정 강도 라벨이 없다는 점도 학습의 제약이었습니다.
Approach
같은 화자가 동일한 문장을 중립과 감정으로 발화한 음성을 정렬하고, WavLM 특징의 차이로 단어별 Emotion Residual Vector를 구성했습니다. 압축한 벡터를 합성 모델의 제어 정보로 사용했습니다.
My contribution
학습 신호 구성부터 제어 구조와 텍스트 기반 벡터 예측 모델 구현, 비교 실험과 청취평가까지 수행했습니다. 추론할 때 발화쌍이 없어도 텍스트와 목표 감정으로 제어할 수 있도록 설계했습니다.
Outcome
객관 지표와 청취평가로 감정 제어 성능과 자연스러움을 검증했습니다. Interspeech 2026에 제1저자 논문으로 채택되어 포스터를 발표했습니다.
실험과 평가 자세히 보기
감정 벡터의 구성과 압축 설정을 바꾸는 실험으로 설계의 효과를 살폈습니다. 기존 음성합성 모델과 비교하면서 감정 표현뿐 아니라 발음 정확도와 사람이 듣는 자연스러움도 함께 평가했습니다.
감정 제어를 위한 정보를 학습 단계에서 추출하는 것에 그치지 않고, 실제 생성 시점에 그 정보를 얻는 방법까지 연결한 연구입니다.
Auditing Speaker-Level Metadata Utility
in Text-Residual Prosody Prediction
운율 예측에서 화자 정보의 효용을 검증한 연구
화자의 지역 억양과 모국어 정보를 더하면 운율을 더 잘 예측할 수 있을까? 정보를 추가하는 것 자체보다, 어떤 예측 대상과 사용 조건에서 도움이 되는지를 확인하는 데 초점을 맞췄습니다.
Research problem
지역 억양과 모국어는 화자마다 붙어 있는 정보입니다. 이 정보를 추가해 성능이 좋아지더라도, 해당 범주의 효과인지 개별 화자의 특성 때문인지 구분할 필요가 있었습니다.
Approach
VCTK와 L2-ARCTIC에서 텍스트, 메타데이터, 화자 정보를 조합해 같은 구조의 모델을 비교했습니다. 화자 정보의 영향을 통제하고, 학습에서 접한 화자와 새로운 화자에서 효용을 따로 평가했습니다.
My contribution
단어의 강조도와 경계 강도, 음절의 음높이 변화와 상대적 길이를 예측 대상으로 구성했습니다. 운율 특징을 조사하고 RoBERTa 기반 계층적 예측 모델을 설계해 구현했습니다.
Outcome
화자 정보를 이미 제공한 경우 메타데이터의 추가 효용은 작았으며, 새로운 화자로의 일반화는 예측 대상에 따라 달랐습니다. Findings of EMNLP 2026에 제2저자 논문으로 채택되었습니다.
연구 관점 자세히 보기
학습에서 접한 화자에게 유용했던 정보가 새로운 화자에게도 같은 효과를 내는지 구분해 확인했습니다. 모델의 전체 성능과 별개로, 입력 정보의 효용을 평가 조건에 따라 해석하는 데 중점을 뒀습니다.
화자 정보를 일괄적으로 유효하다고 가정하기보다, 그 정보가 설명하는 예측 대상과 일반화 조건을 먼저 정의한 연구입니다.
Deep Learning based
Singing Voice Synthesis Modeling
딥러닝 기반 가창 음성합성 모델링
가사와 멜로디를 노래 목소리로 바꾸는 모델에서, 손실함수의 균형이 생성 결과에 어떤 영향을 줄까? BEGAN-Sing을 분석하고, 손실항의 영향력을 조절하는 방법을 제안해 조건별로 비교했습니다.
Research problem
기존 BEGAN-Sing의 L1 손실항이 품질과 다양성을 조절하는 파라미터의 효과를 약화시키는 현상에 주목했습니다. 손실항 사이의 균형을 조절할 필요가 있었습니다.
Approach
L1 손실의 가중치를 조절하는 파라미터를 추가하고, 두 파라미터의 9개 조합으로 학습했습니다. 생성 음성의 스펙트로그램을 비교하고 37명 청취평가로 발음과 품질, 자연스러움을 평가했습니다.
My contribution
선행 논문과 코드를 분석하고 손실함수 개선을 제안했습니다. 조건별 튜닝 실험과 생성 음성 비교, 정성평가 설계에 참여했습니다. 공동연구 논문의 제3저자입니다.
Outcome
제52회 한국정보통신학회 추계종합학술대회에서 구두 발표한 공동연구 논문입니다. 학술대회 논문집 127–130쪽에 수록되었습니다.
04
Beyond research
Engineering & collaboration2023.01 — 07840 hours
AI Engineering
KT AIVLE School 3기
AI 개발자 트랙 / Big Project Excellence상
AI 자기소개서 서비스 ‘오린’에서 백엔드와 모델 서빙을 맡았습니다. 웹 요청 처리와 모델 추론을 분리하고 FastAPI로 연결했으며, 병렬 처리와 팀 단위 부하 분산으로 서비스의 응답 성능을 개선했습니다.
3문단 3,000자 기준 소제목 생성 18초 → 5초. 동시 요청 20건 이상 처리.
2023.05Grand Prize
Data Analysis
공공데이터 기반 청소년상담복지사업
국민 아이디어 공모전
대상 / 여성가족부 장관상
청소년 사이버폭력 데이터를 분석하고 예방을 위한 활용 방안을 제안했습니다. 팀원마다 달랐던 전처리와 모델 비교 기준을 맞추고, 통계 분석과 SHAP으로 결과를 해석해 제안의 근거를 정리했습니다.