Conecta vía SSH a tu máquina y ejecuta el siguiente comando

sudo dpkg-reconfigure locales

Tras esto, veras un listado de idiomas y países. Tienes que seleccionar con la barra espaciadora el idioma y el país que necesites. En mi caso, como vivo en España, he seleccionado es_ES.UTF-8. Es recomendable seleccionar la versión UTF-8.

Finalmente, Ubuntu te preguntará el idioma por defecto del sistema operativo.

Tras esto, debes de configurar el idioma en el teclado con este comando:

sudo dpkg-reconfigure keyboard-configuration

Ahora, configuraremos la zona horaria

sudo dpkg-reconfigure tzdata

Yo he seleccionado el país (Europa) y la ciudad (Madrid) donde vivo, así que la zona horaria ha sido actualizada.

Finalmente es recomendable reiniciar el sistema para aplicar los cambios.

sudo reboot