Het landelijk verband van de Gereformeerde Gemeenten is ontstaan in 1907 door een vereniging van de Kruisgemeenten, ontstaan uit de Afscheiding van 1834, met de "Ledeboerianen" of Ledeboeriaanse gemeenten. Enkele "kruisgezinde" gemeenten met een sterk bevindelijk karakter waren in 1869 niet meegegaan met de vereniging van de Kruisgemeenten met de Christelijke Afgescheiden Gemeenten tot de Christelijke Gereformeerde Kerk in 1869. De Ledeboerianen dankten hun naam aan ds. L.G.C. Ledeboer.

De vereniging vond plaats op initiatief van de toen slechts 20-jarige ds. G.H. Kersten, die later ook oprichter werd van de SGP. Kerstens centrale rol kwam door zijn positie als predikant van Meliskerke, de enige Kruisgemeente in het verder Ledeboeriaanse Zeeland.

Ds. Kersten bracht niet alleen de vereniging tot stand, maar zorgde ook voor het verdere functioneren van het kerkverband. Zo schreef hij in 1908 een brochure De Tucht in de Kerke Christi waarin hij de misvattingen over de kerkelijke tucht behandelde. Verder besteedde hij veel aandacht aan de dogmatische afbakening van het kerkverband. Zijn boek over de Heidelbergse Catechismus heeft een sterk dogmatisch karakter. Kersten gaf ook een toelichting op de Gereformeerde Dogmatiek uit waarvoor hij de werken van dogmatici als Bavinck, Honig en a Marck gebruikte. Reeds in 1906 knoopte hij contacten aan met de Armeense zendingspredikant David Jacob Benjamin omdat hij ervan overtuigd was dat zending behoorde tot de opdracht van het kerkverband. Belangrijk voor ds. Kersten was ook de oprichting van een eigen theologische school. Scherp wees hij de mening af dat predikanten vooral niet moesten studeren maar het van onmiddellijke ingevingen moesten verwachten. Het was zijn bedoeling de theologische school tot een hoog niveau uit te bouwen, "gezien het hoge niveau van onze Gereformeerde vaderen" en zocht daarvoor voortdurend bekwame mensen. Zo was hij verheugd met de overkomst van de Christelijke Gereformeerde predikant ds. J.D. Barth, die een betere opleiding genoten had, maar door gezondheidsredenen niet in staat was lang te doceren. Later kwam hij in contact met de gereformeerde predikant dr. C. Steenblok in wie Kersten zijn ideale opvolger zag.

Uit de kruisgezinde en ledeboeriaanse gemeenten die niet meegingen in de vereniging ontstonden later de Oud-Gereformeerde Gemeenten (OGG). De Oud Gereformeerden waren vooral bevreesd voor een te hoge mate van organisatie en vonden ook tal van praktische zaken doorslaggevend om niet met de vereniging mee te gaan zoals de psalmberijming en het ambtsgewaad. Ook binnen de GG zouden nog lange tijd tegenstellingen tussen de voormalige Ledeboerianen en kruisgezinden doorwerken. Niet allen konden zich bijvoorbeeld vinden in de stichting van een theologische school.

In 1909 richtten de Gereformeerde Kerken in Nederland een verzoek aan de Gereformeerde Gemeenten om te komen tot kerkelijke vereniging. Door verschillen in theologische opvattingen wees de GG dit verzoek af. Met de Christelijke Gereformeerde Kerk, die toenadering gezocht hadden ontstond in de jaren dertig een hevige pennenstrijd over het genadeverbond. Deze strijd liep uit op een verdere verwijdering.