구글 제미나이와 마이크로소프트 코파일럿에서 '보이지 않는 명령' 을 통한 피싱 공격 취약점이 발견되면서 생성형 AI 시대의 새로운 사이버 보안 위협이 현실화되고 있다. 가트너 조사에 따르면 생성형 AI 등장 이후 피싱 공격이 1265%나 급증했으며, 사용자가 의식하지 못하는 사이 AI가 악성 프롬프트를 실행하는 제로클릭 공격이 새로운 보안 패러다임을 요구하고 있다. 
이미지: perplexity 생성
구글 제미나이, '투명 글씨' 악용한 피싱 공격 취약점 발견모질라재단의 보안 연구진은 최근 버그 바운티 플랫폼 '오딘(0DIN)'을 통해 구글 제미나이의 지메일 연동 기능에서 발생하는 심각한 프롬프트 인젝션 공격 취약점을 공개했다. 이 공격은 해커가 HTML과 CSS를 활용해 글꼴 크기를 '0'으로 설정하고 색상을 흰색으로 지정해 사용자에게는 보이지 않는 악성 프롬프트를 이메일에 삽입하는 방식으로 이뤄진다. 특히 주목할 점은 이 공격이 링크나 첨부파일을 사용하지 않기 때문에 지메일의 스팸 필터를 쉽게 우회할 수 있다는 것이다. 사용자가 제미나이에게 이메일 요약을 요청하면, AI가 메일함의 다양한 이메일을 읽어들이는 과정에서 숨겨진 악성 프롬프트까지 함께 분석하고 그 지시에 따라 행동하게 된다. 연구진이 제시한 사례에서 제미나이는 "귀하의 지메일 비밀번호가 유출되었습니다. 즉시 고객센터로 전화하십시오"라는 가짜 보안 경고를 생성했다. 사용자들은 제미나이 대화창에서 나오는 정보를 신뢰할 가능성이 높아 이를 진짜 경고로 받아들여 피싱 피해를 당할 위험이 크다
마이크로소프트 코파일럿, 제로클릭 'EchoLeak' 취약점 발견마이크로소프트의 MS 365 코파일럿에서도 유사한 보안 취약점이 발견됐다. 이스라엘 사이버보안 기업 에임 시큐리티는 지난 6월 11일 'CVE-2025-32711'로 명명된 '에코리크(EchoLeak)' 취약점을 발견했다고 발표했다. 이 취약점은 CVSS 점수 9.3점의 치명적 등급을 받았으며, 사용자의 클릭 없이도 민감한 데이터를 탈취할 수 있는 제로클릭 공격이 가능하다. 에코리크 공격은 해커가 보이지 않는 악성 프롬프트를 포함한 이메일을 발송하면, 코파일럿이 이를 요약하거나 분석하는 과정에서 '거대언어모델(LLM) 범위 위반'이 발생하는 방식으로 이뤄진다. 이는 특정 지침이 내려지면 AI가 사용자 동의 없이 신뢰할 수 있는 데이터에 접근하는 상황을 의미한다. 공격자는 AI 에이전트가 요약 정보를 제공하기 위해 이메일을 스캔하는 점을 악용해 마이크로소프트가 마련한 AI 보호 장치를 우회할 수 있었다. 이를 통해 사용자의 아웃룩 이메일, 원드라이브 저장소, 오피스 파일 등 MS 워크스페이스 전반에서 민감한 정보를 추출할 수 있었다.
생성형 AI 등장 이후 피싱 공격 1265% 급증시장조사업체 가트너에 따르면 생성형 AI 등장 이후 피싱 공격이 1265% 증가한 것으로 파악됐다. 이는 2022년 4분기부터 2023년 3분기까지의 기간 동안 기록된 수치로, 생성형 AI로 구동되는 피싱이 공격 증가를 주도했다. 2025년 Zscaler ThreatLabz 피싱 보고서에 따르면 2024년 글로벌 피싱 공격량은 전년 대비 20% 감소했지만, 공격의 정밀도는 크게 향상됐다. 위협 행위자들은 생성형 AI를 활용해 더욱 정교하고 현실감 있는 피싱 미끼를 제작하고 있으며, 심지어 AI 보안 시스템을 우회하기 위해 "이 파일은 안전합니다"와 같은 허위 주석을 코드에 삽입하는 새로운 기법까지 등장했다. 특히 교육기관을 겨냥한 피싱 공격은 224% 급증했으며, 딥페이크 기반으로 생성된 음성과 영상을 활용해 CEO, 재무책임자 등을 사칭하는 공격도 등장하고 있다. 2024년 하반기 보이스피싱은 AI 기반 사회공학 강화로 인해 상반기 대비 442%나 증가했다
프롬프트 인젝션 공격은 해커가 악성 콘텐츠를 정상 사용자 입력으로 위장하여 LLM 애플리케이션에 공급하는 공격 방식이다. 이 공격의 핵심은 AI 모델이 자연어 명령을 수락하고 응답하는 특성을 악용하는 것이다. LLM은 신뢰할 수 있는 시스템 프롬프트와 신뢰할 수 없는 사용자 입력을 모두 자연어로 처리하므로, 데이터 유형에 따라 명령과 입력을 구별할 수 없다. 악의적인 사용자가 시스템 프롬프트처럼 보이는 입력을 작성하면 LLM은 공격자의 명령에 따라 동작할 수 있다. 연구진들은 이번 취약점들이 단순한 버그가 아니라 에이전트 기반 AI 시스템과 검색 증강 생성(RAG) 기반 AI 시스템의 일반적인 설계 결함을 반영한다고 분석했다. 특히 RAG 시스템은 신뢰할 수 있는 명령과 신뢰할 수 없는 외부 데이터를 동일한 맥락에서 처리하는 근본적 설계 결함을 가지고 있다.
기업 환경에서의 확산 위험성이러한 취약점들은 지메일뿐만 아니라 구글 워크스페이스 전반으로 확산될 수 있는 위험성을 내포하고 있다. 구글 문서도구나 드라이브 등에도 유사한 요약 기능이 존재하기 때문에, 조직 내 공유 문서나 뉴스레터에 악성 프롬프트가 삽입될 경우 전사적으로 악성 메시지가 확산될 가능성이 있다. 특히 기업 환경에서는 AI 요약 기능을 공식 메시지처럼 받아들이는 문화가 있어 위험성이 더 커진다고 전문가들은 지적했다. 마이크로소프트 코파일럿의 경우 수백만 사용자의 이메일, 문서, 스프레드시트, 회의 일정을 보관하는 Microsoft 365 앱 제품군의 일부이기 때문에 데이터 유출 가능성이 특히 심각하다.
보안 업계의 대응 현황구글은 이번 취약점에 대해 "실제 악용 사례는 발견되지 않았으며 완화 조치를 진행 중"이라고 밝혔다. 구글은 AI 서비스를 표적으로 삼는 프롬프트 인젝션 공격에 대응하기 위해 이메일, 파일 등에서 악성 프롬프트를 감지할 수 있는 머신러닝 모델을 구축해 배포하고 있다. 마이크로소프트 역시 "해당 취약점으로 실제 악용된 사례는 없다"며 "에임 시큐리티로부터 정보를 공유받은 즉시 취약점에 대한 보안 패치를 제공했다"고 설명했다. 마이크로소프트는 5월 서버 측에서 이 취약점을 수정했다고 발표했다. 모질라재단은 2024년 10월 생성형 AI 시스템의 보안을 강화하기 위한 '오딘(0DIN)' 버그 바운티 프로그램을 출시했다. 이 프로그램은 프롬프트 인젝션, 서비스 거부, 훈련 데이터 오염 등 다양한 보안 문제를 제보받고 있으며, 중요한 발견에 대해서는 최대 15,000달러의 보상을 제공하고 있다.
전문가들의 대응 방안 제언에임 시큐리티는 생성형 AI의 보안 위협을 최소화하기 위해 다음과 같은 대응책을 제시했다. 첫째, 생성형 AI가 민감 정보나 외부 링크를 자동으로 처리하지 않도록 검색 증강 생성(RAG) 데이터 소스 접근 범위를 최소화하고 사전 필터링 구조를 도입해야 한다. 둘째, 데이터 유출 방지(DLP) 정책을 활용해 급여, 고객 정보 등 특정 키워드가 포함된 요청 시 자동 차단 또는 검토하도록 설정할 것을 권고했다. IBM의 보안 전문가들은 프롬프트 인젝션을 완전히 방지하는 유일한 방법은 LLM을 완전히 피하는 것이라고 지적하면서도, 조직들이 입력 검증 강화, LLM 활동 면밀 모니터링, 인간 사용자 정보 제공 등을 통해 위험을 크게 완화할 수 있다고 조언했다. 보안 전문가들은 특히 HTML이나 CSS로 숨겨진 콘텐츠를 제거하거나 무력화한 뒤 AI가 요약하도록 설정하고, 요약 결과에 '긴급', '보안 경고', '전화번호', 'URL' 등이 포함될 경우 자동으로 검토 대상으로 표시되도록 필터링 체계를 도입할 것을 권고했다.
정부 차원의 대응 강화과학기술정보통신부와 한국인터넷진흥원(KISA)은 지난 12월 '2024년 사이버위협 사례 분석과 2025년 사이버위협 전망'을 발표하며 "사이버 범죄에 특화된 악성 인공지능 모형이 다크웹 등을 통해 유통되고 있어 이를 기반으로 한 사이버위협도 증가할 것으로 전망된다"고 경고했다. 국가정보원 국가사이버안보센터는 6월 3일 대선을 앞두고 사이버위기경보를 '관심'에서 '주의'로 상향 조정했으며, AI 기반 보안 위협에 대한 모니터링을 강화하고 있다. KISA 조사에 따르면 지난해 침해사고 건수는 1887건으로 전년 대비 약 48% 증가했다.
미래 전망과 시사점전문가들은 이번 취약점 발견이 구글 제미나이와 마이크로소프트 코파일럿에만 국한된 문제가 아니라 다른 AI 에이전트들에서도 유사한 공격이 가능할 수 있음을 시사한다고 강조했다. 특히 세일즈포스 에이전트포스 등 다른 AI 에이전트들도 유사한 공격에 취약할 가능성이 있다고 경고했다. S2W의 2024년 사이버 위협 결산 보고서에 따르면 북한, 중국, 러시아 등 특정 국가를 배후에 둔 APT 그룹이 정보 수집과 코드 디버깅, 피싱 콘텐츠 작성 등에 LLM을 활용하려는 시도가 포착됐다. 이는 국가 차원에서도 AI 기술을 사이버 공격에 활용하려는 움직임이 본격화되고 있음을 보여준다. OWASP는 2024년 LLM 애플리케이션을 위한 Top 10 보안 가이드를 발표하며 프롬프트 인젝션을 1위 위협으로 지목했다. 이는 프롬프트 인젝션이 LLM 보안에서 가장 심각한 위협임을 공식적으로 인정한 것이다. 생성형 AI 기술의 발전과 함께 사이버 공격도 지능화되고 있는 현재 상황에서, 기업과 개인 사용자들은 AI 서비스 이용 시 더욱 신중한 접근이 필요하다. 특히 AI가 생성한 보안 경고나 중요한 정보에 대해서는 반드시 별도의 검증 절차를 거쳐야 하며, 조직 차원에서는 AI 보안 정책과 모니터링 체계를 강화해야 할 시점이다.
| 
구글 제미나이와 마이크로소프트 코파일럿에서 '보이지 않는 명령' 을 통한 피싱 공격 취약점이 발견되면서 생성형 AI 시대의 새로운 사이버 보안 위협이 현실화되고 있다. 가트너 조사에 따르면 생성형 AI 등장 이후 피싱 공격이 1265%나 급증했으며, 사용자가 의식하지 못하는 사이 AI가 악성 프롬프트를 실행하는 제로클릭 공격이 새로운 보안 패러다임을 요구하고 있다.
이미지: perplexity 생성
구글 제미나이, '투명 글씨' 악용한 피싱 공격 취약점 발견
모질라재단의 보안 연구진은 최근 버그 바운티 플랫폼 '오딘(0DIN)'을 통해 구글 제미나이의 지메일 연동 기능에서 발생하는 심각한 프롬프트 인젝션 공격 취약점을 공개했다. 이 공격은 해커가 HTML과 CSS를 활용해 글꼴 크기를 '0'으로 설정하고 색상을 흰색으로 지정해 사용자에게는 보이지 않는 악성 프롬프트를 이메일에 삽입하는 방식으로 이뤄진다.
특히 주목할 점은 이 공격이 링크나 첨부파일을 사용하지 않기 때문에 지메일의 스팸 필터를 쉽게 우회할 수 있다는 것이다. 사용자가 제미나이에게 이메일 요약을 요청하면, AI가 메일함의 다양한 이메일을 읽어들이는 과정에서 숨겨진 악성 프롬프트까지 함께 분석하고 그 지시에 따라 행동하게 된다.
연구진이 제시한 사례에서 제미나이는 "귀하의 지메일 비밀번호가 유출되었습니다. 즉시 고객센터로 전화하십시오"라는 가짜 보안 경고를 생성했다. 사용자들은 제미나이 대화창에서 나오는 정보를 신뢰할 가능성이 높아 이를 진짜 경고로 받아들여 피싱 피해를 당할 위험이 크다
마이크로소프트 코파일럿, 제로클릭 'EchoLeak' 취약점 발견
마이크로소프트의 MS 365 코파일럿에서도 유사한 보안 취약점이 발견됐다. 이스라엘 사이버보안 기업 에임 시큐리티는 지난 6월 11일 'CVE-2025-32711'로 명명된 '에코리크(EchoLeak)' 취약점을 발견했다고 발표했다. 이 취약점은 CVSS 점수 9.3점의 치명적 등급을 받았으며, 사용자의 클릭 없이도 민감한 데이터를 탈취할 수 있는 제로클릭 공격이 가능하다.
에코리크 공격은 해커가 보이지 않는 악성 프롬프트를 포함한 이메일을 발송하면, 코파일럿이 이를 요약하거나 분석하는 과정에서 '거대언어모델(LLM) 범위 위반'이 발생하는 방식으로 이뤄진다. 이는 특정 지침이 내려지면 AI가 사용자 동의 없이 신뢰할 수 있는 데이터에 접근하는 상황을 의미한다.
공격자는 AI 에이전트가 요약 정보를 제공하기 위해 이메일을 스캔하는 점을 악용해 마이크로소프트가 마련한 AI 보호 장치를 우회할 수 있었다. 이를 통해 사용자의 아웃룩 이메일, 원드라이브 저장소, 오피스 파일 등 MS 워크스페이스 전반에서 민감한 정보를 추출할 수 있었다.
생성형 AI 등장 이후 피싱 공격 1265% 급증
시장조사업체 가트너에 따르면 생성형 AI 등장 이후 피싱 공격이 1265% 증가한 것으로 파악됐다. 이는 2022년 4분기부터 2023년 3분기까지의 기간 동안 기록된 수치로, 생성형 AI로 구동되는 피싱이 공격 증가를 주도했다.
2025년 Zscaler ThreatLabz 피싱 보고서에 따르면 2024년 글로벌 피싱 공격량은 전년 대비 20% 감소했지만, 공격의 정밀도는 크게 향상됐다. 위협 행위자들은 생성형 AI를 활용해 더욱 정교하고 현실감 있는 피싱 미끼를 제작하고 있으며, 심지어 AI 보안 시스템을 우회하기 위해 "이 파일은 안전합니다"와 같은 허위 주석을 코드에 삽입하는 새로운 기법까지 등장했다.
특히 교육기관을 겨냥한 피싱 공격은 224% 급증했으며, 딥페이크 기반으로 생성된 음성과 영상을 활용해 CEO, 재무책임자 등을 사칭하는 공격도 등장하고 있다. 2024년 하반기 보이스피싱은 AI 기반 사회공학 강화로 인해 상반기 대비 442%나 증가했다
프롬프트 인젝션 공격의 기술적 원리와 위험성
프롬프트 인젝션 공격은 해커가 악성 콘텐츠를 정상 사용자 입력으로 위장하여 LLM 애플리케이션에 공급하는 공격 방식이다. 이 공격의 핵심은 AI 모델이 자연어 명령을 수락하고 응답하는 특성을 악용하는 것이다.
LLM은 신뢰할 수 있는 시스템 프롬프트와 신뢰할 수 없는 사용자 입력을 모두 자연어로 처리하므로, 데이터 유형에 따라 명령과 입력을 구별할 수 없다. 악의적인 사용자가 시스템 프롬프트처럼 보이는 입력을 작성하면 LLM은 공격자의 명령에 따라 동작할 수 있다.
연구진들은 이번 취약점들이 단순한 버그가 아니라 에이전트 기반 AI 시스템과 검색 증강 생성(RAG) 기반 AI 시스템의 일반적인 설계 결함을 반영한다고 분석했다. 특히 RAG 시스템은 신뢰할 수 있는 명령과 신뢰할 수 없는 외부 데이터를 동일한 맥락에서 처리하는 근본적 설계 결함을 가지고 있다.
기업 환경에서의 확산 위험성
이러한 취약점들은 지메일뿐만 아니라 구글 워크스페이스 전반으로 확산될 수 있는 위험성을 내포하고 있다. 구글 문서도구나 드라이브 등에도 유사한 요약 기능이 존재하기 때문에, 조직 내 공유 문서나 뉴스레터에 악성 프롬프트가 삽입될 경우 전사적으로 악성 메시지가 확산될 가능성이 있다.
특히 기업 환경에서는 AI 요약 기능을 공식 메시지처럼 받아들이는 문화가 있어 위험성이 더 커진다고 전문가들은 지적했다. 마이크로소프트 코파일럿의 경우 수백만 사용자의 이메일, 문서, 스프레드시트, 회의 일정을 보관하는 Microsoft 365 앱 제품군의 일부이기 때문에 데이터 유출 가능성이 특히 심각하다.
보안 업계의 대응 현황
구글은 이번 취약점에 대해 "실제 악용 사례는 발견되지 않았으며 완화 조치를 진행 중"이라고 밝혔다. 구글은 AI 서비스를 표적으로 삼는 프롬프트 인젝션 공격에 대응하기 위해 이메일, 파일 등에서 악성 프롬프트를 감지할 수 있는 머신러닝 모델을 구축해 배포하고 있다.
마이크로소프트 역시 "해당 취약점으로 실제 악용된 사례는 없다"며 "에임 시큐리티로부터 정보를 공유받은 즉시 취약점에 대한 보안 패치를 제공했다"고 설명했다. 마이크로소프트는 5월 서버 측에서 이 취약점을 수정했다고 발표했다.
모질라재단은 2024년 10월 생성형 AI 시스템의 보안을 강화하기 위한 '오딘(0DIN)' 버그 바운티 프로그램을 출시했다. 이 프로그램은 프롬프트 인젝션, 서비스 거부, 훈련 데이터 오염 등 다양한 보안 문제를 제보받고 있으며, 중요한 발견에 대해서는 최대 15,000달러의 보상을 제공하고 있다.
전문가들의 대응 방안 제언
에임 시큐리티는 생성형 AI의 보안 위협을 최소화하기 위해 다음과 같은 대응책을 제시했다. 첫째, 생성형 AI가 민감 정보나 외부 링크를 자동으로 처리하지 않도록 검색 증강 생성(RAG) 데이터 소스 접근 범위를 최소화하고 사전 필터링 구조를 도입해야 한다. 둘째, 데이터 유출 방지(DLP) 정책을 활용해 급여, 고객 정보 등 특정 키워드가 포함된 요청 시 자동 차단 또는 검토하도록 설정할 것을 권고했다.
IBM의 보안 전문가들은 프롬프트 인젝션을 완전히 방지하는 유일한 방법은 LLM을 완전히 피하는 것이라고 지적하면서도, 조직들이 입력 검증 강화, LLM 활동 면밀 모니터링, 인간 사용자 정보 제공 등을 통해 위험을 크게 완화할 수 있다고 조언했다.
보안 전문가들은 특히 HTML이나 CSS로 숨겨진 콘텐츠를 제거하거나 무력화한 뒤 AI가 요약하도록 설정하고, 요약 결과에 '긴급', '보안 경고', '전화번호', 'URL' 등이 포함될 경우 자동으로 검토 대상으로 표시되도록 필터링 체계를 도입할 것을 권고했다.
정부 차원의 대응 강화
과학기술정보통신부와 한국인터넷진흥원(KISA)은 지난 12월 '2024년 사이버위협 사례 분석과 2025년 사이버위협 전망'을 발표하며 "사이버 범죄에 특화된 악성 인공지능 모형이 다크웹 등을 통해 유통되고 있어 이를 기반으로 한 사이버위협도 증가할 것으로 전망된다"고 경고했다.
국가정보원 국가사이버안보센터는 6월 3일 대선을 앞두고 사이버위기경보를 '관심'에서 '주의'로 상향 조정했으며, AI 기반 보안 위협에 대한 모니터링을 강화하고 있다. KISA 조사에 따르면 지난해 침해사고 건수는 1887건으로 전년 대비 약 48% 증가했다.
미래 전망과 시사점
전문가들은 이번 취약점 발견이 구글 제미나이와 마이크로소프트 코파일럿에만 국한된 문제가 아니라 다른 AI 에이전트들에서도 유사한 공격이 가능할 수 있음을 시사한다고 강조했다. 특히 세일즈포스 에이전트포스 등 다른 AI 에이전트들도 유사한 공격에 취약할 가능성이 있다고 경고했다.
S2W의 2024년 사이버 위협 결산 보고서에 따르면 북한, 중국, 러시아 등 특정 국가를 배후에 둔 APT 그룹이 정보 수집과 코드 디버깅, 피싱 콘텐츠 작성 등에 LLM을 활용하려는 시도가 포착됐다. 이는 국가 차원에서도 AI 기술을 사이버 공격에 활용하려는 움직임이 본격화되고 있음을 보여준다.
OWASP는 2024년 LLM 애플리케이션을 위한 Top 10 보안 가이드를 발표하며 프롬프트 인젝션을 1위 위협으로 지목했다. 이는 프롬프트 인젝션이 LLM 보안에서 가장 심각한 위협임을 공식적으로 인정한 것이다.
생성형 AI 기술의 발전과 함께 사이버 공격도 지능화되고 있는 현재 상황에서, 기업과 개인 사용자들은 AI 서비스 이용 시 더욱 신중한 접근이 필요하다. 특히 AI가 생성한 보안 경고나 중요한 정보에 대해서는 반드시 별도의 검증 절차를 거쳐야 하며, 조직 차원에서는 AI 보안 정책과 모니터링 체계를 강화해야 할 시점이다.