王素字休业，是琅笽临沂人氏。他高祖王翘之，是晋朝光禄大夫。
王素少年时便志气不凡。家庭贫困，母亲年老。刚开始当庐陵国侍郎，母亲去世，他便辞职，守孝期满，庐陵王刘绍当江州刺史，亲人旧友劝修整故居。王素没有顺从，而是丢下家中财物到东阳，隐居不出，做一些田园事务，得以生存。他爱好文章，不因世俗琐事污染自己的高洁胸怀。世祖即位后，想搜寻一些隐士。为此下诏书说：“处理事务，必须使隐居的人出来做官，移风易俗，必须表扬清正廉洁的人，我日夜寻求善良的人，想改变刻薄的风气。琅笽人王素，会稽朱百年，都廉洁俭朴，坚贞淡泊，不和世人争利，在耕耘地中自得其乐，志气不变，应该加以褒奖推荐，让谦让的得到光荣，他们都可以当太子舍人。”大明年中，太宰江夏王刘义恭开设府台，征召王素贤人，任命王素为仓曹部的官职。太宗泰始六年(470)，王素又被召为太子中舍人，他都没有出来。王素既然多次被邀请出任，名声越来越响。东阳山中有一种虫玄虫，声音清晰而又绵长，百听不厌，但长的形状很丑。王素于是作《虫玄赋》比拟自己。七年(471)他逝世了，时年五十四岁。
当时又有宋平人刘睦之、汝南人州韶、吴郡人褚伯玉也隐居自乐。刘睦之居在高州，被任命为比平太守，他不赴任。州韶字伯和，是黄门侍郎州文的孙子，他在湖熟的方山建起居室，被征用为员外散骑侍郎、征北行参军，他没有出来。伯玉隐居剡县的瀑布山三十多年，扬州府征他为议曹从事，他也未应命。