世僕制起源於封建社會的蓄奴制。西晉末「五胡亂華」,相當多漢人逃離兵亂的北方到達現在的廣東地區。漢人中的豪族征服一些勢弱漢人及大部份少數民族,並將這些人收為奴隸,並規定奴隸的子孫世代都是主人家族的奴隸。蒙古人與滿洲人也有此制度,蒙古人叫門戶奴隸那可兒,滿洲人叫包衣阿哈。
在日本,這種身份的奴隸稱為譜代下人或譜代奉公人,各地區又有家抱(けほう)、門屋(もんや)、庭子(にわこ)、內百姓等稱呼。