Sparta ist 2001, in El Paso, Texas, aus der zuvor zerfallenen Band At the Drive-in entstanden. Zwei der anderen früheren Mitglieder von At the Drive-in (Cedric Bixler-Zavala und Omar Rodriguez) gründeten The Mars Volta. Laut Bandleader Ward versucht die Presse immer wieder einen Keil zwischen The Mars Volta und Sparta zu treiben.
Jim Ward beanspruchte den Gesang. Neben Gitarrist Paul Hinojos und Schlagzeuger Tony Hajjar stieß Matt Miller (Ex-Belknap) dazu, der den Bass übernahm. Nach EP- und Single-Releases erblickte im August 2002 ihr Debütalbum Wiretap Scars das Licht der Welt, welches von den Kritikern eher unterkühlt angenommen wurde. Mit dem zweiten Album Porcelain nahm Sparta ein Album auf, das auch die Kritiker zufriedenstellte und sie endgültig aus dem Schatten von At the Drive-in heraustreten ließ.
Im Mai 2005 verließ Paul Hinojos, bis dahin Gitarrist, die Band, um The Mars Volta beizutreten. Dort übernahm er den Part des verstorbenen Jeremy Ward (gleichzeitig auch der Cousin des Sparta-Sängers Jim Ward). Dementsprechend sind jetzt drei von fünf Mitgliedern von At The Drive-In bei The Mars Volta.
Im Januar 2006 gab die Band bekannt, dass der Gitarrist Keeley Davis, vormals bei Denali und Engine Down, zur Gruppe gestoßen ist. Spartas drittes Studioalbum heißt Threes und erschien am 24. Oktober 2006. Es ist bis dato Spartas erfolgreichste Veröffentlichung und wurde u.a. von dem Fachmagazin Visions zum besten Album des Jahres 2006 gekürt.