在日本，負責教育行政的中央機關是文部科學省。文部科學省以前叫作文部省，2001年日本的中央行政機關重編時，文部省和科學技術廳合併，就變成現在的文部科學省。簡稱文科省。

日本的中央行政機關主要集中在東京的「霞ヶ関」。當日本人聽到「霞ヶ関」時，就會聯想到中央行政機關及高級公務員。文部省雖然也在霞ヶ関，不過離文部省的最近的車站是「虎ノ門」。一般日本民眾對「虎ノ門」的印象是大企業的辦公大樓。不過日本的教育界的人士如果講到「虎ノ門」，會聯想到文部科學省。文部科學省制定的政策會影響日本的教育界。

文部科學省主要是管教育方面的大政策。至於日本的基層教育是由各個自治體的「教育委員會」來主導。日本的各個自治體的教育委員會，其實就相當於台灣的各個地方政府的教育局或是教育處。

日本的教育委員會制度是戰後佔領日本的美國人推行的教育制度。

在台灣，各個地方的教育局或是教育處的主管是由各個地方的首長指派。不過在美國，地方教育行政機關的主管主要是由民眾投票選出，而且是選出好幾個人。這些人就是教育委員。教育委員工作的機關就是教育委員會。各地的學校及教育政策就由當地教育委員會來主導。

這些民選的教育委員主要是一些關心當地教育的民眾。民選的教育委員不見得懂教育行政。不懂教育行政其實不是什麼大問題。因為教育委員會有編制專業的文官，教育委員的工作就是活用這些文官來成就自己的教育理念。

戰後美軍佔領日本時，美國人的想法是把美國的教育委員會制度應用在日本。用民選的教育委員來主導日本的地方教育，這樣可以瓦解日本傳統的中央集權式的教育。教育委員會制度也是民主主義的象徵制度之一。

當時的設計的制度是都道府縣教育委員會由七名委員構成，市町村教育委員會則由五名教育委員構成。這些委員當中的一人是由當地的議員兼任。其餘的教育委員則是由民眾投票選出。教育委員會有獨自的人事權，而且可以編列自己的預算。由於教育委員是由選舉產生，背後有民意支持，所以地方首長比較不敢刪教育預算。所以教育完全獨立於地方政治之外。

本來教育委員會制度是讓一般民眾參與教育行政，不過這個制度在日本實施後，狀況不如預期。當時日本的地方議會選舉的投票率大約在八成左右，不過教育委員的選舉投票率只有五成。

由於投票率不高，所以日教組或政黨動員的組織票就比較有利。結果當選教育委員的多半是一些退休教師，再不然就是一些理念和左派政黨或是日教組比較相近的人士。

這有什麼問題呢？

對教育熱心，但是背後沒有組織支持的人就選不上。至於教育界或是日教組人士當選教育委員的話，可能會設計出對教師或是日教組有利的教育政策。如果理念和左派政黨相近的人士當選教育委員的話，可能會把左派政治理念帶入教育。

當時的日本的執政黨認為教育委員會公選制度未必能確保政治中立，所以1956年，日本國會修法廢止教育委員公選制。教育委員改由地方首長任命，然後由議會承認後任職。教育委員公選制廢止之後，日教組對教育委員會的影響力變小，結果日本的教育又漸漸回到文部省主導的制度。另一方面，教育委員會也不再擁有預算編成權。地方的教育預算是由自治體編成。

1956年之後，日本的教育委員會的成員還是以民間人為主，然後再外加一名公務員。這名公務員主要是處理教育委員會的專業行政事務，職稱叫作「教育長」。要擔任市町村的教育長，必須要得到都道府縣教育委員會的承認。要擔任都道府縣教育長，必須要得到文部省的承認。也就是說，文部省實際上收編了教育委員會。

其餘民間人教育委員可能是找當地的醫師或律師，或是住在當地的大學教授，或是當地企業的老闆，或是學生家長。這些民間人委員之間會選出一名代表，對外代表教育委員會全體。這名代表的職稱叫作「教育委員長」。由於這些民間的委員有自己的職業，所以教育委員會的工作只能算是兼任工作，可能每個月只要開幾次定例會而已。只有公務員的「教育長」每天要到教育委員會上班。結果實質上教育委員會當中真正在做事的是公務員的教育長。

其實這是非常大的問題。本來教育委員會的理念是由民間人士來活用專業公務員發展教育。教育委員會中的主角應該是民間人的委員。民間人委員的代表就是教育委員長。不過實際上日本的民間人教育委員沒有那麼多時間參與教育委員會的事務，所以淪為名譽職位，大家覺得把事情交給教育長就可以了。不過教育長不能代表教育委員會全體。而且教育長是公務員，公務員的立場是一切要以公共、公平為前提，不能擅作主張。所以很多事情沒有立場擅自處理。

看到這裡，有些台灣人可能會以為日本的公務員做事消極、擺爛。會這麼想的人，基本上是不了解現代社會制度原理的人。現代公務員制度的本意是公平執行大家建立的公共規則。事實上，日本的公務員做事非常積極。儘管日本的公共規則非常多，非常複雜，但是日本的公務員還是非常努力去公平執行這些規則。因為公務員的工作是公平執行規則，所以不能擅作主張。因為擅作主張會破壞公共性及中立性。如果規則有問題的話該怎麼辦呢？這個問題不是在執行者，而是在訂定規則的人。在成熟的社會中，規則有問題時要做的是立即修正規則的問題，然後讓公務員公正執行，而不是讓公務員用權力做出規則外的行動。日本的公務員不做規則外的行動，是因為職業倫理觀正確。而且他們知道不可以破壞這個社會努力設計出來的制度。

教育長當然也知道民間人委員沒有那麼多時間處理地方教育事務，如果所有大小事全部要讓民間人委員來裁量事情的話，民間人委員也會受不了。所以教育長做事時會非常為難。日本的教育委員會制度最大的問題就是教育委員長和教育長之間的權責不明確，造成機能不彰。

由於教育委員會的機能不彰，所以日本一直有人在批判教育委員會制度。

當然，教育委員會制度並不是完全沒有修改過。2000年，教育長在任職時不用再受文部省的承認。2002年，教育委員會的制度再度修正，委員會的成員當中一定要包含學生家長。不過這些改革還是沒有解決機能不全的問題。

儘管有不少人批判教育委員會機能不全，但是由於日本的學校現場的教師相當努力，所以日本的教育品質整體而言一直在提升。只是機能不全的組織遇到特殊狀況時，會出大問題。

2011年，日本的滋賀縣大津市有一名中學生因為長期受到同學欺負，最後自殺。當時大津市的教育委員的職員並沒有認真看待這個問題，教育委員會在開定例會時也沒有特別強調這個問題，所以民間人的教育委員也不知道事情的嚴重性。結果這個事件在打官司時，媒體報導了教育委員會處理上的缺失，引起日本社會的回響。當初教育委員會沒有好好處理這個問題，是因為教育委員會的權責不夠明確。

其實日本的教育委員會機能不全的問題在幾十年前就已經存在。只是以前資訊不發達，教育行政出狀況，民眾不太容易看到。由於現在的資訊非常發達，所以大津的學生自殺事件的社會反應非常大，因此2014年6月日本重新修改了教育委員會制度。把教育長和教育委員長的職務統合，設定成專職工作，這樣教育委員會的權責才會明確。