日本的行政構造可以分為：國、大區域地方自治體、小區域地方自治體。
大區域地方自治體是都、道、府、縣，小區域地方自治體是市、町、村、特別區。
如果用台灣的行政來譬喻的話：
日本的都、道、府、縣的行政層級相當於台灣的直轄市、縣、市。
日本的市、町、村、特別區的行政層級相當於台灣的縣轄市、鎮、鄉、區。
2005年現在，日本一共有47個都道府縣。其中包括：
1都：東京都
1道：北海道
2府：大阪府、京都府
43縣：其他不屬於都、道、府的大區域的地方自治體。例如鳥取縣、島根縣、山口縣等。
在台灣，地方自治單位的最高主管全部都叫長。例如縣的最高主管叫縣長。
在日本，都道府縣的最高主管不叫長，而是叫知事。
東京的首長不是市長，因為東京不是市，而是都（東京都內有23個區、26個市、5個町、8個村）。東京的首長是東京都知事。北海道的首長是北海道知事。大阪府、京都府，以及其他43個縣的首長職銜都叫知事。
日本媒體在報導美國的新聞時，美國各州首長的職銜的日文翻譯名稱不叫「州長」，而是叫「州知事」。從這裡也可以看出，日本人觀念中，大區域的地方行政首長不叫長，而是叫知事。所以日本的都道府縣的行政地位相當於美國的「州」。
那麼日本的都、道、府、縣之間有什麼差異呢？
就2005年現在日本的地方行政制度來看，都、道、府、縣的地位一律平等，沒有差異。
既然都一樣，為什麼會有四種名稱呢？
因為這些地方以前的行政制度不一樣，後來地方行政制度重新整備後，行政區的名稱沒有改，如此而已。
都、道、府、縣是舊制度時代留下的名稱。
在明治時代之前，日本的地方分為【天領】和【藩】。【天領】是幕府的直轄地，【藩】是地方大名的領地。
有些人會把「幕府」和「藩」解釋成主從關係，其實江戶時代不是中央集權國家。幕府的力量雖然強，但是幕府管不到藩的內政。「幕府」和「藩」的關係有點像是共存的聯邦。幕府是聯邦的盟主。聯邦當中勢力比較強的藩並不怕幕府。例如薩摩藩的島津家在江戶的鎖國時代還是偷偷和外國貿易。幕府的力量雖然強，但是在交通不發達，物資也不豐富的時代，幕府派大軍攻打薩摩並沒有任何利益。薩摩也不想破壞和幕府的關係，因為這也沒有任何好處。所以大家選擇共存，姑且尊重幕府。
日本是到明治時代才走向中央集權體制。明治政府接收了幕府的領地（天領），把天領的比較重要都市改制成【府】，其他地方改制成【縣】。【藩】則是繼續讓舊藩主管理。於是形成了府、縣、藩三種地方行政體系。
當時一共設了九個【府】：京都、箱館、大阪、長崎、東京、越後、神奈川、奈良、甲斐。
之後，明治政府為了統合國家權力，實行廢藩置縣。回收藩的地方統治權，把藩全部改制成【縣】。東京、大阪、京都三府之外的【府】也改制成【縣】。變成三個【府】和很多【縣】的地方行政體系。
後來日本政府又把東京的主要市區從「東京府」獨立出來，變成東京市。結果東京就變成「東京府」和「東京市」兩個行政區。到了二次世界大戰，日本政府為了有效管理首都行政，就把「東京府」和「東京市」合併成為「東京都」。
至於北海道在明治時代是實驗性的開墾地區。由於這個地方人口非常少，而且少數民族（阿伊努人）的比率很高，而且很多基礎建設根本不完全，所以無法實施縣制。所以明治政府把這個地區編成【北海道】。
「北海道」本身是地名，而非「北海」加上行政區「道」這個字。現在的「道」的行政體系是之後才確立的。
現在的日本的地方自治行政的都、道、府、縣的功能其實一模一樣，只是名稱不同而已。
那麼為什麼日本不把都、道、府、縣這四種名稱統一呢？
因為統一名稱幾乎沒有實質利益。行政區改名稱時，自治體要花很多人力和費用來修改文書資料。這些對行政效率無關的改名工作會壓迫到公務員的一般業務，也會浪費稅金，甚至可能造成行政混亂。所以現在的日本的大區域地方自治體就維持傳統的都、道、府、縣的名稱。
☆