Được thành lập ở Nea Filadelfeia vào năm 1924 bởi những người tị nạn Hy Lạp từ Istanbul sau Chiến tranh Hy Lạp-Thổ Nhĩ Kỳ (1919–1922), AEK là một trong ba đội bóng thành công nhất ở bóng đá Hy Lạp (bao gồm Olympiacos và Panathinaikos), giành được 30 danh hiệu quốc gia và là đội duy nhất đã vô địch tất cả các giải đấu do Liên đoàn bóng đá Hy Lạp tổ chức (12 chức vô địch quốc gia, 15 Cúp bóng đá Hy Lạp, 1 Cúp Liên đoàn và 2 Siêu cúp)
Câu lạc bộ đã xuất hiện nhiều lần ở các giải đấu châu Âu (UEFA Champions League, UEFA Europa League và giải UEFA Cup Winners' Cup không còn tồn tại). Đây là đội Hy Lạp duy nhất lọt đến bán kết của Cúp UEFA (1976–77) và tứ kết của UEFA Cup Winners' Cup hai lần (1996–97 và 1997–98). AEK cũng là đội Hy Lạp đầu tiên lọt đến tứ kết của Cúp C1 châu Âu (1968–69) và cả vòng bảng của UEFA Champions League (1994–95).