Conecta vía SSH a tu máquina y ejecuta el siguiente comando
sudo dpkg-reconfigure locales
Tras esto, veras un listado de idiomas y países. Tienes que seleccionar con la barra espaciadora el idioma y el país que necesites. En mi caso, como vivo en España, he seleccionado es_ES.UTF-8. Es recomendable seleccionar la versión UTF-8.
Finalmente, Ubuntu te preguntará el idioma por defecto del sistema operativo.
Tras esto, debes de configurar el idioma en el teclado con este comando:
sudo dpkg-reconfigure keyboard-configuration
Ahora, configuraremos la zona horaria
sudo dpkg-reconfigure tzdata
Yo he seleccionado el país (Europa) y la ciudad (Madrid) donde vivo, así que la zona horaria ha sido actualizada.
Finalmente es recomendable reiniciar el sistema para aplicar los cambios.
sudo reboot