Karl Holey war Bauhistoriker, Denkmalpfleger, Dombaumeister und als Architekt überwiegend Kirchenbauer. Er studierte an der Technischen Hochschule Wien Architektur und schloss 1904 ab. Danach blieb er zwei Jahre als Assistent an der TH Wien und unternahm als Stipendiat der Ghega-Stiftung Studienreisen in europäische Länder. 1908 trat er als Beamter bei der k.k. Zentralkommission für Kunst- und historische Denkmale, dem heutigen Bundesdenkmalamt, ein.
1915 folgte er der Berufung zum außerordentlichen Professor und wurde Generalkonservator in der Denkmalpflege. 1925 wurde er zum Ordentlichen Professor an die TH Wien berufen. 1925 bis 1929 nahm er an Ausgrabungen der Akademie der Wissenschaften teil.
Zwischen 1934 und 1938 gehörte Holey dem Bundeskulturrat des Ständestaats an, 1937 bis 1938 war er Rektor der Technischen Hochschule Wien. Im März 1938 trat er ebenso wie zwei der fünf Dekane sowie 13 Professoren von seinem Amt zurück. Ab 1937 bis zu seinem Tod 1955 war Holey Dombaumeister von St. Stephan in Wien.