Il museo fu fondato nel 1905 col nome Atlanta Art Association. Nel 1926 la famiglia High, dal quale il museo prende il nome, donò la casa di famiglia su Peachtree Street per ospitare la collezione, a seguito di una serie di mostre organizzate da J. J. Haverty che coinvolsero anche la Grand Central Art Galleries. Molti pezzi della collezione Haverty sono ora in esposizione permanente all'High Museum of Art. Nel 1955 un edificio separato per il Museo fu costruito adiacente alla casa.
Il 3 giugno 1962 i maggiori mecenati di Atlanta morirono nello schianto di un Boeing 707 in Francia, mentre erano in viaggio per sponsorizzare il museo. Durante la loro visita a Parigi, i mecenati avevano ammirato il dipinto La madre, di James Abbott McNeill Whistler, esposto al Louvre. Nell'autunno del 1962, come gesto di buona volontà ai cittadini di Atlanta, il Louvre inviò il dipinto ad Atlanta per farlo esporre all'Atlanta Art Association[2].
In memoria delle vittime dell'incidente, il governo francese donò al museo la scultura di Auguste Rodin dal titolo Rodin The Shade.
L'edificio
La costruzione dell'edificio che ospita oggi il museo è iniziata nel 1980 e finita nel 1983. Il progetto, premiato nel 1984 col Premio Pritzker[3], è stato realizzato dall'architetto Richard Meier. Come quasi tutte le costruzioni di Meier, anch'essa è bianca, ricoperta in questo caso da pannelli d'acciaio smaltati, con una scala esterna a pianta quadrata. Oltre alla sala espositiva troviamo un bar, un auditorium e altri tipi di ambienti. Una rampa di scala posta in diagonale collega la strada con l'ingresso e questo fa sì che l'illusione ottica renda lo spazio antistante dell'edificio più grande.