六姓王府分别是顺、钦、朱、黄、吴、苏。据传：明嘉靖三十七年（公元1559年），倭寇侵袭安平，有六位少林拳师挺身而出，率乡民与倭寇激战，击退数百名倭寇，活捉倭酋矮仔王。

倭寇是指十四至十六世纪侵扰劫掠中国和朝鲜沿海地区的海盗，除沿海劫掠以外主要从事中日走私贸易。抗日战争期间，中国人亦用倭寇指称日本侵略者。