全日本最大的圖書館是「國會圖書館」(正式名稱叫咋「國立國會圖書館」)，這間圖書館也是日本唯一的一間國立圖書館。國立國會圖書館是成立於戰後，而它是繼承日本戰前帝國議會的「貴族院圖書館」、「眾議院圖書館」以及文部省管轄的「帝國圖書館」的藏書資料而來的。如果要在日本要找一個性質和台灣的「國家圖書館」類似的圖書館的話，那就是「國會圖書館」了。

儘管日本的「國會圖書館」和台灣的「國家圖書館」性質類似，但是事實上從組織架構及成立宗旨上來看，其實有很多不一樣的地方。例如台灣的台灣的「國家圖書館」是隸屬於行政院底下的教育部。而日本的「國會圖書館」則直屬日本最高政治機關：日本國會。

在成立宗旨上，台灣的「國家圖書館」主要是為了學術研究及文化保存而成立的。而日本的「國會圖書館」則是為了提供日本國會議員立一個強大的資料庫，以輔佐日本國會議員的立法工作而成立。而其同時還負責提供日本的內閣府、各省廳等行政機構，以及日本最高法院專業圖書，並協助成立專業圖書館。

而日本的「國會圖書館」是在「在不妨礙國會議員工作、行政及司法系統運作」的前提下，才對一般民眾服務的。