Præcist hvilke hunde, der har dannet grundstammen til Japansk Spids, vides ikke med sikkerhed. Men det står fast, at renavlen af racen påbegyndtes i Japan i 1920'erne, og at der allerede før anden verdenskrig fandtes mange ensartede hunde af typen i hjemlandet. I 1964 kom anerkendelsen af Japansk Spids som selvstændig race i FCI, den internationale organisation for opdræt af racehunde.
I de følgende år bredte kendskabet til Japansk Spids sig efterhånden udenfor Japans grænser, og i begyndelsen af 1970'erne nåede den nye race også frem til de nordiske lande. Således blev de første Japanske Spidser i Danmark importeret hertil fra Sverige i 1979.