1723年、京都府京都市で町人の子どもとして生まれた池大雅。
幼少の頃は又次郎と名乗りました。 池大雅は幼い頃に父親を亡くし、経済的に苦しい経験をしますが、7歳で習い始めた書道で才能が開花。現在の宇治市にある萬福寺で習いたての書を披露した際、あまりにも素晴らしい出来栄えだと評価され、僧たちから「神童」と称えられたエピソードを持ちます。

1737年、亡き父親の通称「菱屋嘉左衛門」を襲名して扇屋を開きます。 そんな中、禅僧と親交を深めていた池大雅は、中国の書物や絵画に触れる機会が多かったこともあり、自身の扇に文人画風の絵を描くようになります。 また、日本文人画の先駆者とされる柳里恭の影響も受けていたといわれています。 のちに出会う妻・玉瀾を紹介したのもまた柳里恭であることから、公私ともに親交が深かったとされています。

1771年には中国の劇作家・李漁が完成させた『十便十宜』を絵画化した作品を発表します。 これは俳人であり、画家としても活躍した与謝蕪村と共作したものであり、池大雅の持ち味であるやわらかな筆使いを最大限に発揮した作品だと高く評価されています。