Aus einer wohlhabenden jüdischen Familie stammend, war Henry (ursprünglich Heinrich) das dritte von sieben Kindern des Wertpapierhändlers Moritz Budge. 1866 wanderte Heinrich in die USA aus, gründete zunächst mit Leo Lehmann und Jacob Schiff die Firma „Budge, Schiff und Co.“ und trat dann 1876 in das Bankhaus L. Hallgarten & Co ein, dessen Teilhaber er 1883 wurde. Budge war Fachmann für die Sanierung von Eisenbahnen und brachte es zu einem Millionenvermögen. 1879 lernte er Emma Lazarus kennen, die einer alteingesessenen jüdischen Kaufmannsfamilie aus Hamburg entstammte. Beide heirateten und nahmen 1882 die amerikanische Staatsbürgerschaft an.1903 siedelte das kinderlose Ehepaar nach Hamburg über und bezog eine Villa am Harvestehuder Weg 12, in der sich nach dem Umbau zu einem „kleinen Schloss im Stil der französischen Renaissance“ mehr als 50 Räume sowie ein Musikzimmer und ein dem Haus angefügter Theatersaal (Spiegelsaal) befanden. Auch die Inneneinrichtung war kostbar: Budges sammelten Porzellan, Gemälde, Silber, Möbel, Teppiche, Tapisserien und anderes mehr. Die Villa wurde zu einem gesellschaftlichen und kulturellen Zentrum. Gleich in drei Städten, Hamburg, Frankfurt am Main und Wetzlar, engagierten sich die Budges als Stifter und Mäzene. So gründeten sie u. a. die heute noch bestehende Henry und Emma Budge Stiftung, die ältere Menschen unterstützt, und setzten sich mit größeren Summen für die Universitätsgründungen in Frankfurt am Main und Hamburg ein. Seit 1945 gibt es in Winterhude eine Henry-Budge-Straße.