日本の古代には、令制国が成立する前に、土着の豪族である国造（くにのみやつこ）が治める国と、県主（あがたぬし）が治める県（あがた）が並立した段階があった。それに対して、令制国は、中央から派遣された国司が治める国である。

令制の国が何時成立したについての定説はまだないが、『日本書紀』には、645年の大化の改新の際に、東国に国司を派遣したという記事があり、飛鳥京跡から出土した木簡削片に「伊勢国」「近淡□（海）」などと書かれていることが分かっているので、天武朝の初め670年代には成立していたと考えられている。令制国が確実に成立したと言えるのは、701年（大宝元年）に制定された大宝律令からである。故に、令制国の成立時期は早ければ645年、遅ければ701年となる。この間の段階的な制度変化の結果であった可能性も高い。