Östlich der Akropolis wurde im 6. Jahrhundert v. Chr. unter der Tyrannei von Peisistratos` Söhnen mit dem Bau des riesigen Tempels des Olympischen Zeus begonnen. Mit einer Grundfläche von 108 x 41 war er sogar deutlich größer als das Parthenon auf der Akropolis.
Die Ursache dieser Gigantomanie war vermutlich die Konkurrenz zu dem Tyrannen Polykrates auf Samos, der bereits mit dem Bau eines Heratempels dieser Größe begonnen hatte. Nach dem Sturz der Tyrannen wurde der Bau eingestellt und Material für andere Bauwerke wie die Mauer des Themistokles und Tempel auf der Akropolis entnommen.
Entstehung Olympieion
Etwa 200 Jahre später startete ein halbherziger Versuch, zumindest den inneren ummauerten Teil des Tempels, den Naos, fertigzustellen. Aber der Bau wurde wohl von den Athenern immer noch als Symbol der Tyrannei empfunden statt als Tempel ihres Hauptgottes. Daher blieb es beim Versuch.
174 v. Chr. wurde dann unter Antiochos IV. auf den Fundamenten des alten Baus ein Tempel errichtet, dessen Ausmaße der ursprünglichen Planung entsprachen. Nur die Anzahl der äußeren Säulen wurde reduziert und diese statt im dorischen im korinthischen Stil errichtet. Nach zehn Jahren Bauzeit starb der König und der fast fertige Bau wurde wieder nicht vollendet.
Knapp achtzig Jahre später ließ der römische Eroberer Sulla wieder Material entnehmen, um es in Rom für den Bau eines Jupitertempels zu verwenden. Erst unter Kaiser Hadrian wurde der Tempel nach den Plänen von Antiochos IV: 132 n. Chr. fertiggestellt. Eine Zeusstatue aus Gold und Elfenbein wurde von ihm für die Weihe des Tempels gestiftet.
Vermutlich durch ein Erdbeben im Mittelalter wurde das Olympieion zerstört und danach als Steinbruch verwendet. Heute stehen nur noch 15 Säulen auf den Resten des Stylobats, der obersten Stufe des Unterbaus griechischer Tempel. Mit ihren 17 Metern Höhe sind sie aber noch sehr beeindruckend und vermitteln eine Ahnung von der einstigen Größe des Heiligtums.