손으로 말하면 휴대폰에 문장이 써진다—구글 수어 AI는 어디까지 알아볼까
휴대폰 메시지 창에서 마이크를 누르고 말하면 글자가 써집니다. 너무 익숙해져서 기술이라고 느끼지도 않는 기능입니다. 그런데 손으로 말하는 사람에게는 그 자리에 여전히 키보드만 놓여 있었습니다.
2026년 8월 12일, Google DeepMind가 이 빈자리를 채우는 SL2T(Sign Language to Text)를 공개했습니다. Pixel 11의 카메라 앞에서 미국수어로 말하면 Gboard가 영어 문장으로 받아쓰고, Live Transcribe에서는 대화 상대에게 보여 줄 답을 수어로 입력할 수 있습니다. 검색어를 넣거나 메시지를 쓰고, Gemini에 질문하는 자리에도 같은 입력 방식을 쓸 수 있습니다.
핵심부터 말하면, 이 기술은 수어 통역사 아바타가 아닙니다. 현재 공개된 기능은 미국수어를 읽어 영어 글자로 바꾸는 한 방향 입력 도구입니다. 한국수어는 아직 지원하지 않고, 모든 대화를 맡길 만큼 오류가 사라진 것도 아닙니다. 그럼에도 의미가 큰 이유는 휴대폰이 처음으로 수어를 키보드와 마이크 옆의 일상적인 입력 방식으로 받아들이기 시작했기 때문입니다.
마이크 받아쓰기에 수어가 들어왔다
음성 받아쓰기는 소리를 같은 언어의 글자로 옮기는 일에 가깝습니다. 영어로 말하면 영어 문장이 나옵니다. 수어는 다릅니다. 미국수어는 영어 단어를 손으로 차례차례 보여 주는 방식이 아니라 고유한 어휘와 문법을 가진 독립 언어입니다. 그래서 SL2T가 하는 일은 손동작 인식보다 번역에 더 가깝습니다.
여기서 용어부터 바로잡을 필요가 있습니다. 일상에서는 ‘수화’라는 말도 많이 쓰지만, 국립국어원과 법률이 쓰는 공식 명칭은 ‘수어’입니다. 한국수어는 한국어를 몸짓으로 바꾼 표현이 아니라 대한민국 농인 공동체가 사용하는 고유한 언어입니다. 미국수어와 한국수어도 서로 다른 언어라서 한쪽을 안다고 다른 쪽을 바로 이해할 수 없습니다.
이 차이를 놓치면 “AI가 손 모양 몇 개만 외우면 되지 않을까?”라는 오해가 생깁니다. 실제로는 손가락 모양만 잡는 카메라로는 문장을 온전히 읽을 수 없습니다.
손만 보면, 질문이 평서문으로 바뀔 수 있다
국립국어원의 한국수어 설명에는 이 원리가 아주 직관적으로 드러납니다. ‘오전’과 ‘오후’는 손 모양이 같아도 움직이는 방향에 따라 뜻이 달라집니다. ‘맛있다’와 ‘맛있니?’는 비슷한 손동작에 눈썹 움직임이 더해지면서 평서문과 질문이 갈립니다. 손만 잘라서 보는 AI라면 이 차이를 놓칠 수 있습니다.
SL2T도 손, 팔, 상체, 머리와 얼굴의 움직임을 함께 봅니다. 한 순간의 자세를 사진처럼 맞히는 것이 아니라, 여러 지점이 시간에 따라 어떻게 이동했는지를 읽습니다. 수어 AI가 단순한 손동작 분류기가 아니라 영상 이해와 언어 번역을 한꺼번에 해야 하는 이유입니다.
과거의 수어 인식 장갑이 널리 쓰이지 못한 까닭도 여기에 있습니다. 손가락 관절은 자세히 재더라도 얼굴 표정과 몸이 만든 공간, 문맥을 함께 담기 어렵습니다. 수어를 ‘손 위의 영어’로 보면 기술의 출발점부터 어긋납니다.
휴대폰은 영상을 좌표로 바꿔 보낸다
카메라 영상이 그대로 구글 서버로 올라간다고 생각하면 기능을 켜기 망설여질 수 있습니다. 구글이 공개한 구조는 조금 다릅니다. 휴대폰 안의 MediaPipe Holistic 모델이 화면 속 손과 몸, 얼굴의 주요 지점을 찾아 기하학적 좌표로 바꿉니다. 번역 서버로 보내는 것은 원본 영상이 아니라 시간에 따라 이어진 좌표입니다.
구글 설명에 따르면 원본 영상은 좌표를 뽑은 뒤 즉시 폐기할 수 있습니다. 다만 좌표 번역에는 서버를 사용하므로 ‘모든 처리가 휴대폰 안에서 끝난다’는 뜻은 아닙니다.
좌표만 전송하는 방식은 얼굴이 담긴 원본 영상을 서버로 보내는 것보다 노출 범위를 줄입니다. 그러나 좌표 역시 사람의 움직임에서 나온 정보입니다. 보관 기간, 계정과의 연결 여부, 장애 발생 시 기록 방식 같은 운영 세부는 제품의 개인정보 안내에서 계속 확인해야 합니다. “영상은 안 보낸다”와 “어떤 데이터도 안 보낸다”는 같은 말이 아닙니다.
10만 시간 학습은 ‘50개 언어 지원’이 아니다
구글은 SL2T가 50개가 넘는 수어의 데이터 10만 시간 이상으로 학습됐고, 그중 약 4분의 1이 미국수어라고 밝혔습니다. 여러 수어와 다양한 사용자 자료를 함께 학습하면 한 언어에서 배운 시각적 구조가 자료가 적은 다른 언어 학습에도 도움이 된다는 설명입니다. 왼손잡이와 한 손으로 휴대폰을 든 채 수어를 하는 상황도 제품화 과정에서 따로 다뤘습니다.
여기서 가장 쉽게 생기는 오해가 있습니다. 50개가 넘는 수어로 학습했다는 사실은 지금 50개 언어를 번역한다는 뜻이 아닙니다. 2026년 8월 현재 소비자가 쓸 수 있다고 발표된 범위는 Pixel 11에서 미국수어를 영어로 바꾸는 기능입니다. 구글은 다른 기기와 언어를 추가하겠다고 했지만 구체적인 언어 목록과 일정은 공개하지 않았습니다.
연구 단계의 데이터 규모도 빠르게 커졌습니다. 2025년 ICLR에 발표된 YouTube-SL-25는 25개가 넘는 수어, 3,000시간이 넘는 영상을 모은 당시 최대 규모의 공개 병렬 말뭉치였습니다. 논문은 여러 언어를 함께 학습할 때 자료가 많은 언어와 적은 언어 모두에 도움이 된다고 보고했습니다. 다만 이 공개 말뭉치와 구글이 이번 제품에 사용했다고 밝힌 10만 시간 학습 자료는 같은 데이터라고 볼 수 없습니다. 숫자는 서로 다른 연구 범위를 가리킵니다.
‘70점’은 정확도 70%가 아니다
구글은 FLEURS-ASL 시험에서 SL2T가 별도 맞춤 학습 없이 BLEURT 70을 기록했다고 밝혔습니다. 이 숫자를 “수어 열 번 중 일곱 번을 맞힌다”라고 읽으면 틀립니다. BLEURT는 번역문이 기준 문장과 의미상 얼마나 가까운지 모델로 평가하는 번역 품질 점수입니다. 단어 정답률이나 실제 대화 성공률과는 다릅니다.
회사 벤치마크가 말해 주는 것과 말해 주지 않는 것
이전 연구와 비교할 때 진전이 있었다는 신호입니다. 그러나 모든 사용자가 일상 환경에서 70% 정확도로 쓸 수 있다는 뜻도, 의료·법률 대화에 충분하다는 보증도 아닙니다.
오히려 구글이 함께 공개한 오역 사례가 현재 수준을 이해하는 데 더 유용합니다. 빠르게 손가락 철자를 쓴 ‘prey’를 ‘grey’로 읽었고, 동물의 발톱을 묘사하는 표현에서는 ‘claws’를 빠뜨렸습니다. 과거 시제인 ‘kicked off’를 현재형 ‘start’로 옮기기도 했습니다. 드문 표현, 빠른 손가락 철자, 몸으로 모양을 그리는 표현, 앞뒤 문맥이 필요한 시제에서 아직 흔들릴 수 있다는 뜻입니다.
문장 하나만 떼면 사람도 뜻을 놓친다
이 문제는 AI 성능만 높인다고 완전히 사라지지 않습니다. 2024년 EMNLP 논문은 연속된 미국수어 이야기에서 문장 하나씩만 잘라 농인 수어 사용자에게 보여 주는 실험을 했습니다. 표본 문장의 33%에서는 유창한 평가자도 주변 담화가 있어야 핵심 내용을 이해할 수 있었습니다.
이 수치는 “모든 수어 문장의 3분의 1이 이해 불가능하다”는 뜻이 아닙니다. 특정 데이터에서 잘라 낸 표본을 조사한 결과입니다. 중요한 메시지는 따로 있습니다. 앞 문장에서 누구를 가리켰는지, 공간의 어느 위치에 어떤 대상을 놓았는지, 이야기가 언제 일어났는지를 알아야 다음 문장이 풀리는 경우가 많다는 사실입니다.
그래서 수어 번역 AI의 품질은 한 문장 점수만으로 판단하기 어렵습니다. 대화를 얼마나 길게 기억하는지, 카메라 밖으로 손이 잠깐 나갔을 때 어떻게 복구하는지, 자신 없는 번역을 확신한 문장처럼 내보내지 않는지가 실제 사용성을 가릅니다. 구글도 학술 점수만으로 제품 사용성을 보장할 수 없어 지연 시간과 수어가 아닌 움직임을 문장으로 지어내는 문제를 따로 개선했다고 설명했습니다.
이 앱을 켜면 통역사가 필요 없어질까
현재 기능을 종합하면 답은 ‘아직 아니다’입니다. SL2T는 미국수어를 영어 글자로 바꾸지만 영어 말소리를 미국수어 영상으로 만들어 주지는 않습니다. Live Transcribe가 상대의 말을 글자로 보여 주고 SL2T가 수어 답변을 글자로 바꿔 줄 수는 있어도, 양방향 수어 통역사가 대화 전체를 맡는 것과는 다릅니다.
수어로 휴대폰에 글 입력하기
Pixel 11에서 미국수어를 영어로 바꿔 검색, 메시지, 문서, Gemini 질문과 Live Transcribe 답변에 입력합니다.
모든 언어의 자동 통역사
한국수어 지원, 영어에서 수어로의 생성, 완전한 기기 내 처리, 전문 통역 대체는 이번 발표 범위가 아닙니다.
편의점에서 짧은 질문을 건네거나 검색어를 입력하는 것처럼 틀려도 바로 고칠 수 있는 상황에서는 유용한 보조 수단이 될 수 있습니다. 반대로 진료 내용, 약 복용법, 계약 조건, 경찰·법정 진술처럼 한 단어의 오류가 큰 결과를 만드는 대화라면 번역문을 재확인하고 필요한 경우 전문 수어 통역을 이용해야 합니다. 이는 기술을 낮게 평가해서가 아니라, 현재 공개된 오류와 한 방향 지원 범위에서 나오는 현실적인 경계입니다.
구글은 농인 직원의 제안에서 시작해 농인 사용자 연구를 진행했고, 여러 농인 단체와 전문가가 참여하는 AI 수어 자문위원회를 운영했다고 밝혔습니다. 수어 기술은 정확도뿐 아니라 어떤 지역과 세대의 수어가 데이터에 들어갔는지, 사용자가 AI에 맞춰 자신의 수어를 바꾸게 되지는 않는지도 중요합니다. 당사자와 함께 설계했다는 과정은 의미 있지만, 출시 뒤 다양한 환경에서 축적될 독립적인 평가까지 대신하지는 않습니다.
그럼 한국수어는 언제 가능할까
미국수어 모델의 출력 언어만 영어에서 한국어로 바꾼다고 해결되지 않습니다. 미국수어와 한국수어는 어휘와 문법, 공간을 쓰는 방식이 서로 다릅니다. 한국수어 영상과 한국어 문장을 제대로 연결한 자료, 지역·연령·표현 차이를 반영한 사용자 평가, 농인 공동체와의 설계가 새로 필요합니다.
출발점은 이미 있습니다. 국립국어원 ‘모두의 말뭉치’에는 한국어 문장과 이에 대응하는 한국수어 영상, 수어 의미 정보를 연결한 병렬 말뭉치가 공개돼 있습니다. 손뿐 아니라 문법적 역할을 하는 입 모양과 눈썹 움직임 같은 비수지 정보도 담습니다. 2026년 6월에는 2025년 한국어-한국수어 병렬 말뭉치가 신규 공개됐습니다.
이 자료가 곧 Pixel의 한국수어 지원을 예고하는 것은 아닙니다. 구글은 추가 언어를 예고했지만 한국수어 포함 여부와 일정은 밝히지 않았습니다. 다만 수어 AI에서 가장 큰 병목인 양질의 언어 자료가 국내에도 꾸준히 쌓이고 있다는 점은 분명합니다. 한국 서비스가 등장한다면 “한국어가 나오느냐”보다 “한국수어를 얼마나 제대로 배웠느냐”를 먼저 물어야 합니다.
앞으로 볼 것은 화려한 시연보다 네 가지다
짧은 시연에서는 카메라 앞의 수어가 매끈한 문장으로 바뀝니다. 실제 생활에서는 빛이 어둡고, 손이 화면 밖으로 나가며, 지역별 표현과 빠른 대화가 이어집니다. 다음 발표에서 확인해야 할 기준은 기능 개수보다 이런 조건에 대한 답입니다.
진짜 변화는 입력창의 문이 하나 더 열린 것이다
SL2T를 “AI가 수어를 완벽하게 통역한다”라고 소개하면 가장 흥미로운 변화도, 가장 중요한 한계도 모두 놓칩니다. 지금 일어난 변화는 더 작고 구체적입니다. 말하는 사람에게 마이크가 있었듯, 수어를 쓰는 사람에게 카메라가 일상적인 입력 버튼이 되기 시작했습니다.
검색창, 메시지, 문서, AI 비서에 들어가기 위해 자신의 첫 언어를 내려놓고 다른 언어의 키보드를 두드려야 했던 사람에게는 작은 변화가 아닙니다. 동시에 미국수어에서 영어로 가는 첫 제품일 뿐이며, 문맥과 드문 표현에서 오역이 남아 있고 한국수어의 일정도 없습니다.
좋은 접근성 기술은 사람을 기술에 맞추게 하지 않고 기술이 사람의 언어를 배우게 합니다. 이번 발표의 가치는 “수어 번역이 끝났다”는 데 있지 않습니다. 휴대폰이 이제야 그 방향으로 움직이기 시작했다는 데 있습니다.
2026-08-19 기준 공개 자료를 확인해 작성했습니다. Pixel 11 실사용 후기가 아니며, 구글의 제품 설명과 회사 벤치마크는 독립적인 대규모 실사용 평가와 구분했습니다. 자료 정리와 초안 작성에 AI를 보조적으로 사용했고 METATOUR가 사실관계와 표현을 최종 검토했습니다. 히어로 이미지는 생성형 AI로 제작했습니다.