Kampo betekent "methode van de Han" en verwijst naar de Chinese oorsprong. Chinese geneeskunde bereikte Japan vanaf de vijfde en zesde eeuw, via Korea en direct uit China, samen met het boeddhisme en het Chinese schrift.
Het oudste bewaarde Japanse medische werk is de Ishinpō, in 984 samengesteld door de hofarts Tanba no Yasuyori. In de Edo-periode (1603–1868) ontwikkelden Japanse artsen een eigen, praktische vorm. De school van de "oude formules", met artsen als Yoshimasu Tōdō, ging terug naar het Shanghan Lun en legde nadruk op wat de arts zelf waarneemt.
In 1874 bepaalde de Meiji-regering dat nieuwe artsen westerse geneeskunde moesten studeren. Kampo raakte daardoor in de verdrukking. Een kleine groep artsen hield de kennis levend, en in de twintigste eeuw volgde een herleving.