国立音楽大学における楽器の収集は昭和41年に遡り、その発端はルネッサンス・バロック音楽の演奏研究に必要な楽器の購入であった。まず始めに文部省科学研究費の補助を得て基本的な弦・管楽器２７点が整った。
　次いで42年には日本音楽研究の資料充実のために、雅楽、能、箏曲などの楽器約30点とその他に歴史的鍵盤楽器4点などが加わった。こうして昭和51年に音楽研究所が設立され、楽器研究部門の課題の一つとして楽器の収集が積極的に行われるようになるまでには既に124点の楽器が収集され、非公開ではあったが展示室も完備していたのであった。
　昭和52年から楽器展示室は学内にむけて毎週一日公開されるようになり、53年には新しく増築された現在の音楽研究所内に、290平米の床面積を持った展示場と、収蔵庫及び研究室が設けられて、楽器の収集・展示はより充実したものに向かって歩み始めることができた。
　昭和55年度から従来の楽器研究部門は楽器資料館と改められ、文字通り音楽研究のための資料収集の場となり、次いで昭和63年には音楽研究所から分かれて楽器学資料館となり、楽器の学術研究を行ない、その成果を芸術・学術・教育の発展に寄与することを目的とする、独立した部門となった。