Es ist nicht zuverlässig überliefert, seit wann Sake in Japan hergestellt wird. Es wird angenommen, dass die Herstellung mit der Einführung des Nassreisanbaus im 3. Jahrhundert v. Chr. am Ende der Jōmon-Zeit begann. Überliefert sind Riten des Shintō, bei denen Reis zerkaut und anschließend in Gefäße gespuckt wurde. Der in den Gefäßen vergorene Reis hatte nur geringen Alkoholgehalt und wurde wie Brei verzehrt. Beim Kauen wandelt eine Amylase, ein im Speichel enthaltenes Enzym, die im Reis enthaltene Stärke in Zucker um, was dann eine Fermentierung und somit die Entstehung von Alkohol ermöglicht. Das Ankauen wurde ab dem 5. Jahrhundert mit der Verwendung von Pilzkulturen, die vermutlich über Korea aus China importiert wurden, überflüssig.
Im Geschichtswerk Nihonshoki, das 720 abgeschlossen wurde, wird von einem Bankett im Jahr 485 berichtet, bei dem Hofadelige an einem im Garten angelegten Bach saßen und Verse dichteten. Der Schöpfer eines gelungenen Gedichts durfte sich eine Schale Sake nehmen, die auf dem Bach vorbeischwamm. Die Verbindung von Trinkspielen und Sake wurde in der Nara- und der Heian-Zeit weitergeführt. Bei Festen wurde er dem Rang nach ausgeschenkt und durfte erst nach der Darbietung eines Liedes getrunken werden. Auch nach Beförderungen und als Geste des Verlierers bei einem verlorenen Spiel wurde der Verzehr von Sake üblich. Sake wurde schon früh zu einem Thema in Versen und Gedichten, er wird im Man’yōshū erwähnt und ist auch Teil einiger Kettengedichte, die von Dichtern wie Matsuo Bashō und Kobayashi Issa geschaffen wurden.
Die Herstellung des Sake war zunächst auf den Kaiserhof beschränkt und wurde nach und nach auf die Klöster übertragen. Die Sake-Brauereien wurden 1369 von Ashikaga Yoshimitsu der Shogunatsregierung unterstellt. Die Verbreitung von Sake in der Bevölkerung sicherte dem Shogunat ein beständiges Einkommen. Noch im späten 18. Jahrhundert waren die Steuern auf Sake eine der größten Einnahmequellen für die Regierung.
Kenbishi (剣菱) als eines der ältesten Unternehmen der Welt stellt seit 1505 Sake her.