실제 사용자 앞에 있는 컴퓨터에서 꼭 돌아가야 하는 건 결국 디스플레이 서버다. 다분히 애플리케이션의 관점에서 이루어 용어 선택이라, 처음엔 헷갈릴 수 있다. 애플리케이션이 로컬에서 돌아가든, 네트워크 어딘가에서 돌아가든, 애플리케이션은 디스플레이 서버의 클라이언트이다. 위에서 말했듯, 입출력 자원을 커널을 통해 관리하는 서비스를 디스플레이 서버가 담당하며 클라이언트를 대신 해 사용자의 마우스 클릭을 받고, 커널에 그래픽 렌더링을 요청한다.