הרב יעקב משה חרל"פ נולד בשנת תרמ"ב (1882) בעיה"ק ירושלים לאביו הדיין, הרב זבולון, שהיה דיין בב"ד של המהרי"ל דיסקין. הרב חרל"פ עלה במעלות התורה, ולמד את תורת הנגלה וגם את תורת הנסתר, ובהיותו בגיל עשרים ושבע, כבר נתמנה הרב לרבה של שכונת שערי חסד ולאחר מכן גם לרבה של רחביה כשהוא משלב בתוכו חסידות ופרישות.