Tarun mukaan Ateenan nimi on peräisin kreikkalaisten jumalten Athenen ja Poseidonin kilpailusta. Poseidon ja Athene kilpailivat siitä, kumpi saisi toimia kaupungin suojelusjumalana. He päättivät, että se kumpi antaisi kaupungille parhaimman lahjan voittaisi. Poseidon puhkaisi lähteen Akropoliille ja Athene loi oliivipuun, jonka öljyä voitiin käyttää moniin eri tarkoituksiin, kuten valaistukseen. Öljy oli kansalaisille arvokas lahja, joten Athene voitti ja kaupunki nimettiin hänen kunniakseen Ateenaksi.

Kaupungin muinaiskreikkalainen nimi Ἀθῆναι on monikossa ("Ateenat"), kuten monet muutkin antiikin kreikkalaisten ja roomalaisten kaupunkien nimet. Tämä näkyy edelleen monien kielien nimissä Ateenalle, esimerkiksi latinaksi Athenae, espanjaksi Atenas ja englanniksi Athens. Monikollisuus saattaa johtua esimerkiksi siitä, että Ateena on syntynyt useiden kylien yhdistyessä.