Vorläufer der heutigen chromatischen Nyckelharpa gab es seit dem Mittelalter, früheste Abbildungen finden sich hauptsächlich in Schweden, aber auch in Dänemark, Deutschland, Österreich und Italien. Während der Renaissancezeit haben Agricola und Praetorius (Syntagma Musicum 1619) die "Schlüsselfidel" erwähnt und abgebildet.
Seit der Barockzeit gab es Hinweise auf die Existenz der Nyckelharpa einschließlich erhaltener Instrumente nur noch in Schweden. In der Volksmusik der Region Uppland gibt es auch eine fortlaufende Spiel-Tradition.
Die alten in Schweden üblichen Nyckelharpa-Typen (gammelharpor) waren Instrumente mit einer oder zwei Melodiesaiten und Bordunen. Wann die Resonanzsaiten dazukamen, konnte bisher nicht geklärt werden
1929 entwickelte August Bohlin (1886 – 1949) die chromatische dreireihige Nyckelharpa mit bis zu 12 Resonanzsaiten. Eric Sahlström (1912–1986) ist es zu verdanken, dass die fast ausgestorbene Nyckelharpa seit den 1970er Jahren wieder eine weitere Verbreitung erfahren hat.
Während die chromatische Nyckelharpa sowie einige Gammelharpa-Typen (Kontrabasharpa, Silverbasharpa) in Schweden lange Zeit vor allem in der heimischen Volksmusik eingesetzt wurden, kommt die Nyckelharpa seit den 1990er Jahren inzwischen auch außerhalb Schwedens und in nicht-folkloristischem Repertoire (von Mittelalter, Renaissance- über Barock- bis moderner Musik) zum Einsatz.
Mit der Erweiterung des Repertoires wurde auch die vierte Spielsaite (die bei der 3-reihigen Harpa lediglich als Bass- oder Bordunsaite fungiert) durch eine 4. Tastenreihe erweitert, insbesondere durch Instrumentenbauer in Deutschland und Frankreich.
In seiner heutigen Form ist die 3- oder 4-reihige chromatische Nyckelharpa ein vielseitig einsetzbares Instrument für die unterschiedlichsten Musikstile.