Human–computer interaction인간–컴퓨터 상호작용
SeoulTech × Northumbria University
I study human–AI interaction, focusing on LLM-based assistance that adapts to a user’s context and preferred level of involvement. My current research explores context-aware assistance and player-controlled information disclosure in games. I aim to extend this work toward modeling and evaluating AI agents that adapt to individual users, with broader interests in mixed reality interaction.사용자의 맥락과 선호하는 개입 수준에 맞추는 LLM 기반 지원을 중심으로 인간–AI 상호작용을 연구합니다. 현재는 게임에서의 맥락 기반 지원과 플레이어가 통제하는 정보 공개를 탐구하고 있습니다. 이를 개인에게 적응하는 AI 에이전트의 모델링과 평가로 확장하고자 하며, 혼합현실 상호작용에도 관심을 두고 있습니다.
Research, with curiosity.호기심에서 시작하는 연구.
01 / Writing & research논문
Published work & manuscripts게재 논문과 심사 중 원고
Full paper · Under review at CHI 2027Full Paper · CHI 2027 심사 중
An extension of Knight Path examining context-aware assistance and player-controlled information disclosure in nonlinear games.비선형 게임에서 맥락 기반 지원과 플레이어의 정보 공개 통제를 탐구한 Knight Path 후속 연구.
CHI 2026 Extended Abstracts · Poster
Progress-synchronized visual scaffolding and spoiler-aware AI support for making sense of game narratives.게임 진행 상황에 연동되는 시각적 구조화와 스포일러를 고려한 AI 지원을 통해 게임 서사 이해를 돕는 시스템.
Paper / ACM DL ↗논문 / ACM DL ↗CHI 2026 Extended Abstracts · Poster
Examining how lying postures affect interaction performance in mixed reality.누운 자세가 혼합현실 환경의 상호작용 수행에 미치는 영향을 분석한 연구.
* Equal contribution* 공동 제1저자
Paper / ACM DL ↗논문 / ACM DL ↗Korea Software Congress, pp. 1073–1075 (in Korean)한국소프트웨어종합학술대회, pp. 1073–1075 (국문)
* Equal contribution* 공동 제1저자
02 / Building & exploring연구 경험
Interaction Lab (IXLAB), SeoulTech
Feb 2025 – Feb 2026 · Prof. Jin-Woo Jeong
Led research ideation, system design and implementation, user studies, analysis, and manuscript writing.연구 기획, 시스템 설계·구현, 사용자 연구, 분석 및 논문 작성을 주도했습니다.
Built a Hollow Knight support system combining a progress-synchronized narrative mind map, an LLM assistant using game context and screenshots, hybrid wiki retrieval (bge-m3 + BM25) and Gemini, and player-controlled disclosure settings.Hollow Knight의 진행 상황에 연동되는 서사 마인드맵, 게임 맥락과 스크린샷을 활용하는 LLM 도우미, 하이브리드 위키 검색(bge-m3 + BM25)과 Gemini, 플레이어가 통제하는 정보 공개 설정을 결합했습니다.
Ran a between-subjects study with 52 novice players and evaluations with 6 experienced players and 4 industry professionals. Continued after February 2026 through the CHI 2027 submission.초보 플레이어 52명을 대상으로 집단 간 연구를 진행하고 숙련 플레이어 6명 및 업계 전문가 4명의 평가를 수행했습니다. 2026년 2월 이후에도 CHI 2027 제출까지 연구를 이어갔습니다.
Proposed the study idea and built a Unity/C# 3D translation task on Meta Quest 3 with automated logging.연구 아이디어를 제안하고 Meta Quest 3에서 자동 로깅을 지원하는 Unity/C# 3D 이동 과제를 구현했습니다.
Logged task time, hand and head movement, and task success. Ran a within-subjects study with 24 participants comparing supine, left, and right lying postures across rotation, translation, and pointing tasks.과제 시간, 손과 머리의 움직임, 과제 성공 여부를 기록했습니다. 참가자 24명을 대상으로 바로 눕기·왼쪽·오른쪽 눕기 자세에서 회전·이동·포인팅 과제를 비교하는 집단 내 연구를 수행했습니다.
Analyzed the data and identified posture-specific compensatory movements as cues for posture-aware MR interfaces.데이터를 분석하고 자세별 보상 움직임을 자세 인식형 MR 인터페이스를 위한 단서로 도출했습니다.
Contributed from ideation, conducted a formative study, facilitated design workshops, and built the LLM-based adaptive system.아이디어 구상부터 참여해 formative study와 디자인 워크숍을 진행하고 LLM 기반 적응형 시스템을 구현했습니다.
Conducted a formative study with 18 participants adjusting brightness, contrast, and dark mode in an MR browser under bright and dark lighting, followed by interviews.참가자 18명이 밝고 어두운 조명에서 MR 브라우저의 밝기·대비·다크모드를 조정하는 formative study와 후속 인터뷰를 진행했습니다.
Facilitated a two-round Figma workshop with 6 participants, using passthrough MR tutorials built from Meta XR SDK samples.Meta XR SDK 샘플 기반 패스스루 MR 튜토리얼을 활용해 참가자 6명과 두 차례 Figma 디자인 워크숍을 진행했습니다.
Built a JavaScript web extension for color-theme adjustment, a FastAPI backend, and a Unity MR app on Meta Quest 3 with speech and hand input.색상 테마 조정을 위한 JavaScript 웹 확장, FastAPI 백엔드, 음성·손 입력을 지원하는 Meta Quest 3용 Unity MR 앱을 구현했습니다.
Led Raspberry Pi camera setup and capture automation; collaborated with another laboratory on on-site hardware installation.Raspberry Pi 카메라 설치와 촬영 자동화를 주도하고 다른 연구실과 현장 하드웨어 설치에 협업했습니다.
Implemented a Python/OpenCV pipeline for motion detection, event-clip extraction, CSV reports, and diagnostic charts.움직임 감지, 이벤트 클립 추출, CSV 보고서 및 진단 차트를 위한 Python/OpenCV 파이프라인을 구현했습니다.
03 / Background학력과 교육 경험
B.Sc. · Information Technology Management
GPA 4.18/4.5 · Rank 2/25 among registered major students석차 2/25 (전공 등록 학생 기준)
B.Sc. (Hons) · Information Technology Management
Dual degree복수학위
Exchange student · Computer Science교환학생 · Computer Science
SeoulTech · Prof. Jin-Woo Jeong
Languages · Python, C#, JavaScript
ML & LLM · PyTorch, Hugging Face, LangChain, RAG
Systems & XR · React, Node.js, FastAPI, Unity
AI & Data · Data Science Practice (in progress)Data Science Practice (수강 중), Deep Learning, Data Mining, Big Data Practice, Applied Statistics, Stochastic Processes
HCI & XR · UX Analytics, Virtual Reality for Industrial Application (HKA)
Computing · Data Structure, Algorithm, Operating Systems Design, Computer Networks, Software Engineering, Web Programming, Mobile Programming
SeoulTech IT Service Planning and Development Contest서울과학기술대학교 IT 서비스 기획 및 개발 경진대회
2025 · Gold Prize — Moyeoyo금상 — 모여요
2023 · Gold Prize — Brick Factory; Silver Prize — Down to Earth금상 — Brick Factory; 은상 — Down to Earth
2022 · Silver Prize — OPOMO은상 — OPOMO
GDGoC SeoulTech · Web Front-End Team · Sep 2025 – Jun 2026웹 프론트엔드 팀 · 2025.09 – 2026.06