Em Jerusalém, Hugo de Payns apresentou-se rei Balduino de Bourg (que havia sucedido ao seu primo Balduino I) e ao Patriarca Warmund de Picquigny.

Fazia-se acompanhar pelo cavaleiro Godofredo de Saint-Omer e, nesta ocasião, propuseram, ao rei e ao patriarca, a organização de uma comunidade de cavaleiros que seguiria a regra de uma ordem religiosa, mas que se devotaria à proteção dos peregrinos na rota de Jaffa à Jerusalém.
A regra que tinham em mente era a de Santo Agostinho de Hipona, até então, seguida pelos Cônegos da Igreja do Santo Sepulcro de Jerusalém.

A proposta foi aprovada, tanto pelo rei, quanto pelo patriarca, e assim, no Natal de 1119, Hughes de Payns e outros oito cavaleiros, entre eles, Godofredo de Saint-Omer, Archambaud de Saint-Aignan, Payen de Montdidier, André de Monbard, Geoffroy Bissot, e um cavaleiro chamado "Rossal" (ou talvez "Rolando").

Nesta ocasião, todos eles fizeram votos de pobreza, castidade e obediência, na Igreja do Santo Sepulcro, diante do Patriarca. Chamaram a si mesmos de "Os Pobres Soldados de Jesus Cristo", mas a princípio não usavam um hábito que os distinguisse, e sim as roupas de sua profissão secular.

Afim de proporcionar-lhes uma renda suficiente, o patriarca e o rei dotaram-nos com vários benefícios. O rei Balduino providenciou-lhes um lugar para viver, encontrando espaço no palácio em que ele transformara a mesquita de al-Aqsa, na borda sul do Monte do Templo, conhecido pelos cruzados como "Templus Salomoni".
Em conseqüência, eles vieram a ser conhecidos sucessivamente como "Os Pobres Soldados de Jesus Cristo e do Templo de Salomão", "Os Cavaleiros do Templo", "Os Templários", ou simplesmente "O Templo."

Talvez a intenção original de Hugo de Payns e seus companheiros fosse apenas retirar-se para um mosteiro, ou talvez fundar uma confraria leiga, ao estilo dos Hospitalários de São João, que havia sido uma iniciativa dos mercadores de Amalfi, antes da Primeira Cruzada.

Miguel, o Sírio, cronista medieval sugere que teria sido de Balduino a idéia de que eles continuassem como cavaleiros combatentes, mesmo tendo feito votos monásticos, pois havia falta de uma milícia organizada.

Mais tarde, uma reunião de líderes leigos e espirituais em Nablus, em Janeiro de 1120, saudou o projeto de Payns "tanto por seu potencial espiritual, quanto prático".

Neste mesmo ano (1120), Foulques D'Anjou, poderoso nobre da França Central, foi em peregrinação à Terra Santa e associou-se aos Pobres Soldados de Jesus Cristo. Parece que ele havia desenvolvido um elevado conceito sobre o Mestre deles, Hughes de Payns e, após seu regresso, dotou a Ordem com uma renda regular. Vários outros nobres francos fizeram o mesmo.

Em 1125, outro Hughes, o importantíssimo Conde de Champagne, dado a idas e vindas à Terra Santa, voltou a Jerusalém pela terceira e última vez. Neste meio tempo ele havia repudiado a esposa adúltera (pelo menos era o que ele achava), deserdado o filho, que acreditava não fosse seu, e transmitido o condado de Champagne ao seu sobrinho, Teobaldo.
Assim, o conde renunciou a todos os seus bens materiais, fez votos de obediência, castidade e pobreza para, em seguida, juntar-se ao Pobres Soldados de Cristo, justamente sob o comando do seu antigo vassalo (e possível parente), Hughes de Payns.