Para instalar o modo grafico no Ubuntu Server, e so instalar os seguintes pacotes:

apt-get install xorg xserver-xorg-core xfce4