武士阶层逐渐发展为以地方豪强为核心的封建军事贵族，来源愈加复杂。作为武家起源一般有以下几种渠道：做中央贵族庄官的大小庄园主，常兼充贵族的护卫，称为“侍”。部分失势的中央贵族，特别是较小贵族的子孙，到地方后，形成武士化的地主。在皇室直辖领地上，当国司因常住京都而失去控制力量时，郡司等土豪就勾结领地内小地主建立武装。这几种人物都构成“武家”的起源。武家又与下层武士之间结成封建主仆关系。武士兴起之初，其主要活动在中央威力所不及的与虾夷接壤地区和产名马的东日本，尤其是今东北地区，其次是远离京师的九州、四国及中国（位于日本中部）等地区。当武士阶层强大起来以后，其势力甚至凌驾于朝廷之上。11世纪，日本最大的武士集团有两个：一个是在铃鹿不破关以西，控制着今天的京都、大阪、神户的关西平氏集团；另一个在箱根以东地区即以今东京及其周围各县为势力范围的关东源氏集团。他们都是皇室的远亲，平氏是桓武天皇的后裔。开始时源氏势力仅限于近畿地区，至11世纪，源氏势力达到关东。
这两个武士集团的首领依仗手中实力，管理地方行政，皇室和贵族依靠他们进行内部斗争。有时皇室也畏其强大，唆使互斗，胜者往往乘机当政，势力更大。最初关西平氏在保元、平治两次动乱后获胜，当权20余年。平氏执政后，以宗族为中心，任人唯亲，实行独裁政治，招致各异姓武士集团的不满和反对。1185年关东武士集团首领源赖朝于澶浦（今下关）彻底击败平氏，夺得政权，在军事上统一了日本。以后在关东的镰仓设立幕府，1192年，日本朝廷补封源赖朝为征夷大将军，正式承认他的镰仓幕府，并同意幕府派武士掌管各地军事、行政。从此，武士作为统治阶级一员活跃在政治舞台上，日本历史开始了武家政治时期。