黒田は1866年、鹿児島城下(現・鹿児島県鹿児島市)で薩摩藩士・黒田清兼の長男として生まれました。
5歳の頃、伯父の子爵・清綱に養子として迎えられて上京。その後、漢学塾二松学舎(現・二松学舎大学)で絵の腕を磨きました。 しかし、このときはまだ画家を目指しておらず、上級学校進学を志していた黒田。築地英学校、東京外国語大学で勉学に励んだのち、法律家を目指してフランスに留学します。

ここで画家・山本芳翠、美術商・林忠正など、パリで活躍する美術家たちと出会い、その影響で20歳から画家を志すことを決意。フランス画家のラファエル・コランに師事します。 それから約5年、画家としての才能を開花させた黒田はフランスの展覧会で初入賞を遂げ、見事に画壇デビューを果たします。

帰国後は、新たに設置された東京美術学校西洋画科で教授を務め、後進の育成に当たりました。 また、コランから受け継いだ外光派の作風を広めつつ、日本における洋画の意識の変革にも力を注ぎます。 これらの功績により、黒田は洋画家として初の帝室技芸員に選出されたのち、帝国美術院院長などの名誉ある役職を歴任。 また、養父の死後は後を継ぎ、子爵として貴族院議員に就任。政治家としても活躍しました。