出身は丹波国篠山(現・兵庫県丹波篠山市)。
本人が「父は山城国(京都府の一部)の淀藩に仕えた上杉彦右衛門だ」と語っている資料が見つかっていることから、官職についた者の子であることがわかっていますが、長沢芦雪に関する資料は少なく、幼少期のことや絵を描き始めた時期のことはわかっていません。また、江戸時代中期～後期に活躍した円山応挙の弟子だったことがわかっていますが、入門時期などの詳細は不明です。 しかし、作品に押される「落款」から応挙に入門する前の作品とされるものも見つかっており、弟子入り前から高い画力があったことがわかっています。

そんな芦雪の性格は、自由奔放。かの応挙には破門になったという説もあります。また傲慢な一面もあったといわれており、その最期は自殺という説や毒殺ともいわれています。

1786年から1年間は南紀に滞在していたという長沢芦雪。ここでは障壁画を残しており、この頃から黒と白のコントラストをはっきりとさせる作風、また大小を極端に描き対比させる構図などを確立させたといわれています。 1798年には『大仏殿炎上図』を制作。これは京都市東山区にある方広寺の火災を描いたもので、実際に大仏殿が燃え、焼失してゆくさまを抽象的に描いたものだといわれています。 晩年は山中に住んでいるという老婆の妖怪をテーマにした『山姥図』などを作成。この頃には「惨たらしい」「恐ろしい」と思わせるような作品を残しています。 同じ時代に「奇想の絵師」と称された曾我蕭白、伊藤若冲といった有名画家がおり、芦雪自身の作品も風変りであったことから「奇想派」のひとりともいわれています。