Conecta vía SSH a tu máquina y ejecuta el siguiente comando

sudo dpkg-reconfigure locales

Tras esto, veras un listado de idiomas y países. Tienes que seleccionar con la barra espaciadora el idioma y el país que necesites. En mi caso, como vivo en España, he seleccionado es_ES.UTF-8. Es recomendable seleccionar la versión UTF-8.

Finalmente, Ubuntu te preguntará el idioma por defecto del sistema operativo.

Tras esto, debes de configurar el idioma en el teclado con este comando:

sudo dpkg-reconfigure keyboard-configuration

Ahora, configuraremos la zona horaria

sudo dpkg-reconfigure tzdata

Yo he seleccionado el país (Europa) y la ciudad (Madrid) donde vivo, así que la zona horaria ha sido actualizada.

Finalmente es recomendable reiniciar el sistema para aplicar los cambios.

sudo reboot

Una vez reiniciado, puedes comprobar que el lenguaje ha sido actualizado.

# locale                                                                 
LANG=es_ES.UTF-8                                                         
LANGUAGE=                                                                
LC_CTYPE="es_ES.UTF-8"                                                   
LC_NUMERIC="es_ES.UTF-8"                                                 
LC_TIME="es_ES.UTF-8"                                                    
LC_COLLATE="es_ES.UTF-8"                                                 
LC_MONETARY="es_ES.UTF-8"                                                
LC_MESSAGES="es_ES.UTF-8"                                                
LC_PAPER="es_ES.UTF-8"                                                   
LC_NAME="es_ES.UTF-8"                                                    
LC_ADDRESS="es_ES.UTF-8"                                                 
LC_TELEPHONE="es_ES.UTF-8"                                               
LC_MEASUREMENT="es_ES.UTF-8"                                             
LC_IDENTIFICATION="es_ES.UTF-8"                                          
LC_ALL=                                                                  

Y como estaba previsto, el idioma es_ES.UTF-8 está definido como por defecto.