El fichero de configuración es el XF86Config que suele estar en /etc/X11. Este fichero lo crea el programa XF86Setup en la distribución de Debian. Para ver si tu servidor de X funciona bien prueba con el comando X -probeonly. X no es más que un enlace simbólico con el servidor que se arranca realmente en XWindow.
Tambien puedes probar con diferentes servidores con el comando "nombre_de_servidor -probeonly". El programa Superprobe tambien intenta detectar qué tipo de tarjeta tienes. Mucha más información viene en el Howto de Xfree en castellano en la distribución Debian. Saludos