世仆制起源于封建社会的蓄奴制。西晋末“五胡乱华”,相当多汉人逃离兵乱的北方到达现在的广东地区。汉人中的豪族征服一些势弱汉人及大部份少数民族,并将这些人收为奴隶,并规定奴隶的子孙世代都是主人家族的奴隶。蒙古人与满洲人也有此制度,蒙古人叫门户奴隶那可儿,满洲人叫包衣阿哈。
在日本,这种身份的奴隶称为谱代下人或谱代奉公人,各地区又有家抱(けほう)、门屋(もんや)、庭子(にわこ)、内百姓等称呼。