世代居于苏州，祖上已三代单传。唐广德因家道中落在姑苏吴趋坊皋桥开酒店谋生，年轻时读过书，喜好书画，常与文人交往。他为童年时代的唐寅创造了很好的学习条件，不惜重金聘请塾师教唐寅读书。弘治六年（公元1494年）卒。 娶妻邱氏，育有二子一女。长，唐伯虎，生于明宪宗成化六年二月初四（1470年）；次，其妹，名字无留存；再次，唐申，当小唐伯虎6岁，肖猴，生于明宪宗成化十二年（1476年）。