Obec Vesec se dříve jmenovala Vestec. Zde stávala dříve tvrz, kde sídlili vladykové z Vesce. Zmínka o této tvrzi pochází z roku 1223, kdy zde sídlil Purchard z Vesce.

Roku 1260 patřil statek Ratiboři z Vesce. Počátkem 14. století zde sídlil Dominik z Vesce, jeho manželka se jmenovala Svata. V letech 1364–1389 zde hospodařil jejich syn Mareš z Vesce, zvaný také Martin, který roku 1364 prodal pole u Kovářova opatovi milevského kláštera. V roce 1383 měl v držení díl pole patřící ke kostelu v Kovářově a v té době také vychovával dceru Burkharda z Kovářova, Annu. V roce 1456 je zmínka o Janu Smetanovi z Vesce. V té době se ves dělila na dolní a horní, kde také byla tvrz se dvorem. Roku 1463 pak používal Mikuláš Barchanec z Vesce jako pečetidla znamení psa. Roku 1485 byla v majetku Vaňka a Oldřicha z Vesce ves Voltýřov. Koncem 15. století se pak Vesec dostal do majteku statku kovářovského. Tvrz nebyla obývána a postupně pustla a s ní i přilehlý dvůr, až tyto stavby beze zbytku zanikly. Roku 1616 pak vesnice přešla do majetku Orlíka. Ještě v roce 1940 se připomíná, že výstavné budovy hospodářství Smetany a Habarta ukazují na to, že jim jako stavivo posloužila rozpadlá tvrz, což nebylo nic neobvyklého. V roce 1848 měla vesnice 168 obyvatel, v roce 1930 pak 152. K roku 2001 zde žilo 79 obyvatel.

Na návsi stojí kaplička sv. Jana Nepomuckého se zvoničkou v její horní části. Byla postavena v letech 1857–1858, dodnes se uchovala žádost k povolení stavby na okresním úřadu. Stavba byla postavena v pseudorománském stylu, tak jak bylo tehdy běžné. Opravena byla v devadesátých letech 20. století. V současnosti se obnovuje starobylý kamenný kříž, který je umístěn před kapličkou.