컨텍스트 윈도우

aka Context Window

AI 모델이 한 번에 처리할 수 있는 최대 입력 길이(토큰 수)

LLM이 프롬프트와 생성 결과를 합쳐 처리할 수 있는 토큰 수의 상한. GPT-4는 128K, Claude는 200K, Gemini는 1M 토큰 등으로 확장되는 추세다. 컨텍스트 윈도우가 길수록 더 많은 문서를 한 번에 처리할 수 있지만, KV 캐시 메모리 사용량이 비례하여 증가한다.

관련 용어

2

언급된 포스트

7