Ein kleineres Gehäuse in ein größeres geht eigentlich immer. Nur umgekehrt logischerweise nicht.
Der Unterschied ist ästhetisch. Ein mATX Mainboard füllt den Raum in einem ATX Gehäuse nicht aus, man hat also ca. unterhalb der Grafikkarte eine Lücke, in der man die Gehäuserückwand sieht. Das sieht nicht schön aus.
Ansonsten haben kleinere Mainboards (mATX, ITX) meist den Nachteil weniger Anschlüsse zu haben, z.B. SATA.
mATX Gehäuse gibt es halt, weil sie kompakter sind und manche Leute das lieber haben.