Emmanuel, a mi me pasaba algo parecido cuando levantaba el debian sin teclado ni mouse, la solucion que encontré fue agregar en la seccion Server Layout las siguientes opciones:
Option "AllowMouseOpenFail" "yes" Option "XkbDisable" "yes" Estas opciones estan mensionadas en el man. Espero que esto te resulte, suerte.
