Līdz 1852. gadam Pārdaugavā baznīcu nebija. Pārdaugavas iedzīvotāji piederēja pie draudzēm Vecrīgā.
Kādā 1845. gada svētdienā vētrā apgāzās laiva ar dievlūdzējiem, kuri bija ceļā uz dievkalpojumu. Tādēļ gadu vēlāk, lielā reformātora Mārtiņa Lutera 300 nāves dienā, 1846.gada 18. februārī Lielā ģilde nolēma uzcelt Āgenskalnā (Hagensberg) koka baznīcu un nosaukt to Mārtiņa (Lutera) vārdā.
Dievnama celšanu un uzturēšanu atbalsīja Lielās ģildes vecākais Eberhards Mihaēls fon Blumerings (Eberhard Michael von Blumering) ar 20 tūkstošiem rubļu lielu dāvinājumu. Zemes gabalu baznīcas celšanai dāvināja Švarcmuižas īpašnieks Dr. Š. Švarcs.
Mūsdienās apskatāmā Švarcmuižas ēka ir celta ap 1850. gadu,
taču muižas vēsture ir senāka, no tās izveidojusies viena no interesantākajām Rīgas vēsturiskajām priekšpilsētām – Āgenskalns. Āgenskalns (Hagensberg) savu nosaukumu 17.gadsimtā ieguvis tieši no šīs muižiņas.
17. gadsimtā Sāmsalas zemes tiesas tiesnesis, vēlākais Rīgas virskonsistorijas prezidents Heinrihs Hāgens (Hagen) šeit uzcēla nelielu muižiņu. 18. gadsimta sākumā par muižiņas īpašniekiem kļuva Bērensi (Berens). 1768. gadā ar šīs ģimenes pārstāvi Johannu Sofiju Bērensu (Johanna Sophia Berens) (1750 – 1806) apprecējās Rīgas birģermeistars Ādams Heinrihs Švarcs (Adam Heinrich Schwartz) (1740 – 1800) un vēlāk (1792) viņš muižiņu mantoja savā īpašumā un tā turpmāk dēvēta viņa vārdā. Mantojuma nosacījumi gan paredzēja, ka muižiņai jāsaglabā nosaukums “Hagenshof” un to jāsaglabā Švarcu dzimtas īpašumā.
1786.gadā iekļauta Rīgas pilsētas teritorijā. 1812.gadā Āgenskalna koka apbūvi, tuvojoties Napoleona armijai, nodedzināja. Pašlaik redzamā muižas kungu dzīvojamā ēka celta agrākajā muižas centrā 19. gadsimta vidū.
19. gadsimta beigās muižas zemes sāka dalīt gruntsgabalos un pārdot apbūvei. 1853. gada dokuments liecina, ka uz Švarcmuižas zemēm (t.i. Āgenskalnā) jau ir 292 māju īpašnieki.
1851.gada 16.maijā tika likts baznīcas pamatakmens. Baznīcas būvprojektu izstrādāja arhitekts Johans Daniels Felsko (Johann Daniel Felsko).
1851.gada novembrī būvmeistars Krīgers (Krüger) sāka celt arī mācītāja māju, netālu no muižas Mārtiņa ielā. (Tagad draudzes nams Mārtiņa ielā 3).
