家藏书甚富。自称：平生所购《周易》、《礼经》、《毛诗》、《左传》、《史记》、《三国志》、《唐书》之类，过3 000卷，均为宋本精椠。前后班、范二书，尤为诸本之冠。家有别墅 弇山园 ，自称 吾弇山园之中，为楼者五，为堂者三，为室者四 。于园后建 小酉馆 ，贮书达3万余卷。明学者胡应麟记其 小酉馆藏书凡三万卷，二典不与 。另将经学之书专藏于 藏经阁 中。对宋椠元刊之书，另作 尔雅楼 贮之，又于 九友斋 中，藏宋本两汉书，为斋中第一宝。此书后归于 天禄琳琅 。收藏名迹有《哀册》、《汝南志》、《季直表》等；收藏名画有《清明上河图》、《烟江叠嶂》等；与唐顺之为莫逆之交，两人皆以文学、藏书而知名。又与范钦、项元汴等藏书家有藏书互抄之约。家设有专人管理书楼，非常熟悉藏书布局，史称 能解公意，公欲取某书、某卷、某页，一脱声即检出待用 。藏书印有 贞元 、 抚治郧阳等处关防 、 天弢居士 、 伯雅 、 仲雅 、 季雅 、 五湖长 、 乾坤清赏 、 默然守吾口 、 太仆寺印 、 王氏元美 、 有明王氏图书之印 、 汉晋唐斋 、 元美氏 等。