日本全国划分为都、道、府以及县，其下再设立市、町、村以及特别区，均为地方公共团体（地方自治团体），具备施行地方自治的公法人身分。都道府县与町村之间尚有“郡”，在1920年代开始虚级化，虽然目前仍具备地址表记、广域行政圈范围、都道府县议会选举划分等功能，但已不具备地方公共团体的功能。另外，部分偏远地区、离岛地区还会设立都道府县的行政派出机关“支厅”，但在平成大合并后多改制并更名为“县民局”、“振兴局”等。

在都道府县的数量上，目前都和道各有1个（东京都与北海道），府有2个（大阪府与京都府），县有43个。

在市制度的演变方面，为因应大都市的产生，1956年创设政令指定都市制度（简称“政令市”），将一些原属都道府县的事务移让给政令市。政令市之下划设“区”（非地方公共团体），地址表记可省略县名。截至2012年，日本全国总共有20个政令市。另外，也设置标准较低、不设“区”、但仍有较多自治权的中核市。在2000年至2015年，还设有自治权介于中核市与普通市之间的特例市；2015年后特例市法规废除，原有的特例市可申请升格中核市，尚未申请的则仍保有过去特例市的权限并被称为“施行时特例市”。

在更低层级，则有不属于地方公共团体的两个行政区划等级。三级为町和大字，此町跟二级区划市町村的町在法律上地位不同，并与大字合称町字，为日本三级区划的统称。四级则有丁目、小字；大字小字通常设在较乡村的地区。