Ein Haufendorf, etwa 4 km nördlich vom Gemeindesitz Obergermaringen an der alten B 12, an dem das Wertachbecken östlich abschließenden Höhenrand liegend, ist ein noch heute überwiegend landwirtschaftlich betriebener Ort mit ca. 386 Einwohnern. Er bildete mit dem Weiler Schwäbishofen eine Gemeinde. Im Zuge der Gebietsreform wurde Ketterschwang mit Schwäbishofen am 1.5.1978 in die Gemeinde Germaringen eingemeindet.
Schon im 12. Jahrhundert waren die welfischen Dienstmannen von Mattsies in Ketterschwang reich begütert. Sie überließen 1235 ihren dortigen Grundbesitz dem Kloster Steingaden als Ersatz für den dem Kloster und dessen Besitz in Wiedergeltingen durch Raub und Brand angerichteten Schaden. Im Jahre 1708 war Steingaden an Grundbesitz in Ketterschwang mit 2 1/2 Höfen und 6 Sölden beteiligt. Noch bedeutendere Erwerbungen machte in Ketterschwang das Kloster Irsee schon im 13. Jahrhundert. Auch das Kloster Rottenbuch hatte Besitz, wie auch Augsburger und Kaufbeurer Bürger und das Frauenkloster Kaufbeuren. Durch Stiftungen kam das Spital Kaufbeuren zu Grundbesitz in Ketterschwang. Es besaß dort im Jahr 1708 einen Dreiviertelhof, einen Drittelhof und eine Sölde. Durch Teilung der Höfe bei Verkäufen und Verleihungen wurden diese vielfach zersplittert. Die hohe Gerichtsbarkeit über Ketterschwang gehörte 1484 der Herrschaft Kemnat, die die Vogtei über das Kloster Irsee ausübte. Die niedere Gerichtsbarkeit kaufte Irsee zu Anfang des 15. Jahrhunderts und übte sie durch einen von ihm in Ketterschwang bestellten Ammann aus.
Seit 1692 war die hohe und niedere Gerichtsbarkeit in der Hand des Irseer Abtes vereinigt. Das Patronatsrecht über die Pfarrkirche nebst dem Verfügungsrecht über die Einkünfte befand sich schon 1297 in den Händen des Augsburger Domscholasters Kraft von Neidlingen und ging erst später an den Scholaster des Domkapitels über. Das Präsentationsrecht übte noch 1806 der Bayerische Staat aus.
Die Pfarrkirche, Patron Jakobus der Ältere, wurde 1757/58 unter teilweiser Benützung der Mauern der alten Kirche [der Chor vom damaligen Pfarrer Johann Josef Greill auf eigene Kosten] erbaut (Chronik Hörmann, Kaufbeuren). Es handelte sich also nicht um einen völligen Neubau. Das Kirchlein ist durch den von Pfarrer Greill geleiteten Umbau, zu dem vermutlich ein Plan der Stiftskirche in Roggenburg als Vorlage diente, zu einem architektonisch reizvollen Landkirchlein geworden, das nach der im Jahre 1972/74 erfolgten Restauration mit Recht zur Besichtigung einlädt.