Kostel sv. Jiljí, dnes hřbitovní, je pozůstatkem prvotního zemanského sídla ve Švihově. Byl přímou součástí panského sídla. Je to tribunový kostel s mnohými zachovalými románskými prvky. Ubourávání, přístavby a přestavby, které postupně zasahovaly kostel až do 18. stol., značně setřely jeho původní výraz.
Prvotní farní kostel sv. Václava stál na tomto místě již v r. 1384, byl postupně přestavován a zvětšován. V r. 1744 zcela vyhořel, zůstaly jen pevné zdi, které pro svou sílu byly použity k nové, zaklenuté stavbě (původní měl dřevěné stropy). Kostel byl již v r. 1746 vysvěcen, na den svátku sv. Václava. Kolem kostela byl hřbitov, nazývaný městský. Ten byl zrušen patentem z r. 1784, který nařizoval z hygienických důvodů zrušení hřbitovů uvnitř měst. Při stavbě nové silnice, vedené přes bývalý hřbitov, byly nalezené kosti uloženy ke stěně kostela a místo označeno dřevěným křížem s klekátkem.
Ze špitálu, který zde stál už v r. 1342, zůstal zachován jen kostelík, zasvěcený sv. Janu Evangelistovi. Ke starší lodi byl presbytář přistavěn koncem 15.století. Kostelík se třemi oltáři a kůrem s varhanami byl Josefem II. zrušen r. 1788 a prodán měšťanu Maršálkovi, který z něj vytvořil obytný dům.
Radnice, přízemní budova s věžičkou a většinou dřevěných konstrukcí, byla pozoruhodná zvonkem zvaným "hlásníček". Ten o jarmarcích ohlašoval "frejunk", tedy čas, od kterého směli už nakupovat přespolní, když domácí předtím měli přednost. Zchátralá budova dělala obci ostudu, takže se r.1800 usnesli na stavbě nové radnice. Tato budova s četnými úpravami a přístavbami trvá dodnes. Nejvíce ji poznamenala úprava z r. 1911, kdy dostala "hradní" věž a fasádu, zjevně inspirovaná nedalekým hradem .
Jako v mnoha českých obcích, byl i ve Švihově po první světové válce, která způsobila Evropě šok a převrat všech hodnot, postaven pomník padlým mužům z města, kterých bylo vzhledem k počtu obyvatelstva velice mnoho. Pomník byl postaven ze sbírek a socha legionáře od Viléma Glose představuje "strážce republiky".
Židovský hřbitov založený v 1. polovině 17. století připomíná, že ve Švihově žila do druhé světové války po dlouhá staletí významná komunita Židů. Už od 2. poloviny 16. století byl Švihov střediskem Židů z širokého okolí. Ve Švihově byla honosná synagoga z roku 1783, byla zde matrika a židovská škola, do níž chodily děti z jedenatřiceti obcí. V průběhu let, zejména vlivem válečných událostí a povinnosti platit zvláštní židovské daně, Židé značně zchudli. Od r. 1811, kdy byl vydán dvorní patent o společném bydlení židů a křesťanů, přestali být vyčleňováni a zvlášť evidováni. V roce 1963 byla provedena demolice neudržované synagogy.