構成単位となるそれぞれの国や自治体は強い権限を持っており、連邦政府は主権を委譲される形になる。ただし、国によっては連邦制が形骸化している場合がある（アルゼンチンなど）。

2つの主権国家が統合して1つの国家となったアラブ連合共和国、英国の植民地だった13州が統合したアメリカ合衆国、領邦国家が統一されて連邦国家へと移行したドイツ帝国など、連邦国家には幾多もの成り立ちがある。

ソビエト連邦は連邦とされるが、ロシア語でのソ連邦の略称СССР（エス・エス・エス・エル）の最初のС（エス）はсоюз（ソユーズ）で「同盟」の意味とされる。一方、ロシア・ソビエト連邦社会主義共和国といった構成共和国のФедерация（フェデラチア）はソユーズでは無く、自治共和国を統合する連邦であり、現在のロシア連邦もこれである。つまり、連邦の中に連邦があるというよりもソユーズは連邦を超越した主体であるといえる。

中央政府から距離を取り連邦制を主張または擁護する立場を連邦主義という。