AI가 화면을 보고(스크린샷 인식) 마우스를 움직이고 키보드를 입력하며 실제 소프트웨어를 조작하는 기능이다. 기존의 API 기반 자동화와 달리, 사람이 사용하는 것과 동일한 인터페이스로 컴퓨터를 다룰 수 있다. Anthropic이 먼저 선보였고, OpenAI의 GPT-5.4가 OSWorld 벤치마크에서 인간 전문가를 처음으로 넘어섰다.
컴퓨터 사용
aka Computer Use
AI 모델이 마우스 클릭, 키보드 입력 등으로 실제 컴퓨터를 조작하는 능력