Xorg es estrictamente necesario, no importa el tamaño en disco, 150 megas es poco, pero en memoria no te llevará mas de 15 o 20 megas, instala xorg y luego pones el icewm.
-- "Al principio, el Hombre creó a Dios; y lo creó a su imagen y semejanza. Y el Hombre dio a Dios multitud de nombres, y el poder de que fuera el Señor de toda la tierra cuando al Hombre le conviniere."