Siedzibą Caritas jest budynek przy ul. Westerplatte 4-6, poddany gruntownemu przez Caritas Diecezji Świdnickiej remontowi w latach 2011 – 2012 w ramach projektu współfinansowanego prze Unię Europejska z Europejskiego Funduszu Rozwoju Regionalnego w ramach Regionalnego Programu Operacyjnego dla Województwa Dolnośląskiego na lata 2007-2013. . Historia siedziby Caritas Diecezji Świdnickiej jest o tyle znacząca, że doskonale wpisuje się w charakter posłannictwa Caritas, która podejmuje się w ten sposób kontynuacji misji rozpoczętej w obiekcie w roku 1267, kiedy to dzięki fundacji kasztelana Henryka powstaje szpital św. Michała. Wtedy także po raz pierwszy wspomina się w dokumentach Świdnicę jako miasto. W 1283 r. Henryk IV Probus sprowadził z Wrocławia do Świdnicy Zakon Krzyżowców z Czerwoną Gwiazdą, który swą siedzibę znalazł przy szpitalu św. Michała. Tutaj założona zostaje zakonna komandoria, która przez kolejne 528 lat, aż do sekularyzacji dóbr zakonnych przez króla Prus w 1811 r. wpisuje się w dzieło charytatywne w Świdnicy. Poza funkcją szpitalną w obiekcie organizowane są także inne dzieła pomocowe, m.in. od 1561 roku znajdowała się tutaj stołówka dla bezżennych i ubogich nauczycieli szkoły łacińskiej.
W 1865 r. cały kompleks związany z krzyżowcami odkupił z rąk świeckich, ks. Hugo Simon, proboszcz kościoła parafialnego pw. św. Stanisława i św. Wacława, który dziewięć lat później zakłada tu razem z siostrami jadwiżankami sierociniec, który zgodnie życzeniem fundatora, mimo trudności ze strony władz cywilnych, staje się „bastionem katolickiej wiary i źródłem błogosławieństwa dla najbiedniejszej młodzieży”. W latach 1967 – 1990 budynek pełni funkcję domu katechetycznego, mieszkań dla katechetów, biblioteki parafialnej, miejsca spotkań organizacji przykościelnych.
7 stycznia 2013 r. bp Ignacy Dec uroczyście w obecności wielu gości zasłużonych dla odnowienia obiektu, poświęcił go na nowo po kapitalnym remoncie zrealizowanym dzięki Funduszom Unii Europejskiej ustanawiając tu Centrum Charytatywne Caritas Diecezji Świdnickiej noszące imię ks. Hugo Simona. Obecnie budynek jest własnością Caritas Diecezji Świdnickiej, w którym znajdują się biura, świetlice dla dzieci i młodzieży, kuchnia i jadłodajnie dla ubogich. Caritas przygotowuje tu ok. 1300 posiłków dziennie. W Centrum Charytatywnym udzielana jest pomoc psychologiczno pedagogiczna dla dzieci i ich rodziców, bezpłatna pomoc prawna dla mieszkańców Świdnicy i okolic oraz wypożyczalnia sprzętu rehabilitacyjnego.