Son répertoire était surtout constitué des classiques viennois – Haydn, Mozart et Schubert – et des œuvres de Brahms, compositeur dont il était l'un des interprètes majeurs. Il a par ailleurs enregistré L'Anneau du Nibelung de Wagner avec un ensemble tchèque en 1968.
Alfred Scholz, qui avait suivi son enseignement, a réalisé plusieurs enregistrements avec la Süddeutsche Philharmonie en usurpant l'identité de plusieurs chefs, dont celle de Swarowsky[1].
Les essais et conférences de Swarowsky sont publiés en 1979 par son ancien élève Manfred Huss dans Wahrung der Gestalt (« Garder la forme »), qui reste un ouvrage de référence concernant l'interprétation de la musique et la pratique de la direction d'orchestre.