Urodził się w Nissibis (Mezopotamia). Znał język grecki, kulturę i filozofię grecką – świadczą o tym jego syryjskie pisma. Większość swojego życia spędził jako diakon u boku Jakuba i Wologeriusza – biskupów Nissibis. Jak wynika z jego pism, należał do najzagorzalszych przeciwników herezji ariańskiej. W 367 r., kiedy miasto Nissibis zdobyli Persowie, udał się do Edessy, gdzie rozwinął pełną działalność kaznodziejską i pisarską. Założył również szkołę teologiczną. W trosce o swoje życie duchowe Efrem co pewien czas udawał się na pustkowie, gdzie oddawał się modlitwie. Odwiedził w Kapadocji św. Bazylego Wielkiego. Udał się też do Egiptu, gdzie w Aleksandrii spotkał się ze św. Atanazym.