Dalam berbagai literatur disebutkan bahwa nama lengkap al- Jili adalah Abd al-Karim ibn Ibrahim ibn Abd al-Karim ibn Khalifah ibn Ahmad ibn Mahmud. Ia bergelar Quthb al-Din. Sedangkan sebutan al-Jili adalah dinisbahkan kepada tempat asal nenek moyangnya, yakni Jilan. Jailan, Jilan atau Jili adalah sebuah perkampungan yang dikelilingi oleh pegunungan. Sebelah selatannya dibatasi laut Kharaz, sebelah utara adalah gunung Birz, dan sebelah timurnya dibatasi Tobrustan. Nama perkampungan Jilan itu sendiri diambil dari nama bobot Nabi Nuh.
Tokoh Sufi lainnya yang sebutan namanya dinisbahkan pada tempat yang sama adalah Abd al-Qadir al-Jailani (w. 571 H) seorang pendiri tarekat Qadiriyyah, yang diduga oleh al-Jili adalah keturunan dari keluarganya. Maksud penyebutan al-Jili bagi Abd al-Karim bukan al-Jailani, adalah dimaksudkan untuk menghindari penyerupaan atau bahkan salah persepsi dengan penyebutan bagi Abd al-Qadir al-Jailani.
Al-Jili lahir pada awal bulan Muharram tahun 767 H. di sebuah desa di wilayah Baghdad dan ia meninggal dalam usia 59 tahun atau diperkirakan pada tahun 825 H. di Zabid (Yaman). Data tentang kelahirannya ini termuat dalam gubahan syairnya. Al-Jili muda adalah orang yang sangat senang melakukan pengembaraan spiritual dari satu tempat ke tempat lainnya.
Ketika usia 20 tahun ia mengawali pengembaraannya ke daerah Kusyi (India). Di Kusyi ia pertama kali mengenal ajaran selain Islam, yakni ajaran Hindu lengkap dengan acara ritualnya, namun di Kusyi ia tidak tinggal lama. Ia kemudian melanjutkan pengembaraannya menuju Persia. Di sinilah ia mempelajari bahasa Persia dan menulis buku yang diberi judul Jannat al-Ma’arif wa Ghayat al-Murid wa al-Ma’arif.
Pada tahun 796 H. saat menginjak usia 29 tahun, ia hijrah dari Persia menuju Zabid. Di Kota ini ia menemukan guru spiritual yang cocok bagi dirinya, yang di kemudian hari sangat memengaruhi jalan pemikirannya dalam bidang tasawuf. Ia adalah Syeikh Syarif al-Din ibn Ismail al-Jabarti yang dikenal dengan sebutan al-Jabarti, seorang sufi yang sangat terkenal pada zamannya.
Akhirnya, setelah tiga tahun tinggal bersama guru dan teman-temannya di Zabid, pada tahun 799 H, ia melanjutkan kembali pengembaraannya ke tanah suci Makkah. Di sini ia bergabung dengan kelompok sufi yang mengamalkan thariqah-nya di sekeliling Baitullah. Di kalangan sufi saat itu berkembang suatu pendapat bahwa Ism Allah al-A’zham adalah Huwa, dan al-Jili merasakan kejanggalan pendapat yang banyak berkembang tersebut.
Ia kemudian meluruskan pendapat tersebut dengan penjelasan yang bisa diterima oleh kalangan sufi. Menurutnya, Huwa adalah dhamir ghaib (kata ganti ketiga) sebagai nama mulia Dzat Ketuhanan. Ism Allah al-A’zham terkuak maknanya apabila bisa menyaksikan Allah dengan mata hati dalam setiap keadaan. Sejak saat itu, kredibilitasnya sebagai seorang sufi menjadi diakui oleh kalangan sufi di Makkah.
Kemudian, pada bulan Rabi’ul Awal tahun 800 H. ia pulang kembali ke Zabid dan tinggal selama tiga tahun. Pada bulan Rajab 803 H. ia melawat ke Kairo. Sesampainya di Kairo ia menyaksikan suasana keilmuan al-Azhar dan mengadakan temu ilmiah bersama ulama-ulama al-Azhar. Dan, temu ilmiah tersebut bisa membuahkan karya tulisnya yang memaparkan ajaran tasawuf dalam untaian keindahan bahasa.
Karya tulis itu ia beri judul Ghaniyat Arbab al-Sima. Dari Mesir ia melanjutkan petualangan spiritualnya menuju Gaza (Palestina). Dari Gaza kemudian ia kembali lagi ke Zabid. Di kota inilah kemudian al-Jili menghabiskan sisa-sisa umurnya sebagai seorang mursyid di Masjid Jabarti, setelah gurunya al-Jabarti wafat.
Perlu di ketauhi, sebelum ia mendapatkan guru yang di idamkannya, yakni Syeikh al-Jabarti, rupanya ia berguru kepada Syeikh al-Maqdisi (w. 798 H) seorang faqih yang sufi. Dari al-Maqdisi ia mendapatkan banyak pengetahuan agama yang elementer. Ia sendiri mengakui bahwa banyak memperoleh ilmu dari Syeikh al-Maqdisi.
Selanjutnya ia berguru kepada Ibn Jamil, sufi yang mendapatkan julukan Syams al-Syumusy. Pada akhirnya ia berguru pada seorang sufi besar, Syeikh al-Jabarti. Dari Syeikh al-Jabarti ia mendapatkan ilmu tentang dasar tasawuf dan pengalaman ruhaniyah yang mendalam. Ia memuji gurunya dengan sebutan Sayyid al-Auliya’ al-Muhaqqiqin dan al-Quthb al-Kamil wa al-Muhaqiq al-Fadhil.
Awalnya, al-Jabarti adalah seorang pengikut thariqat al-Qadiriyah, namun setelah mendalami ajaran tasawuf Ibn Arabi, ia tertarik dan mendirikan sekolah takhashshus yang mengkhususkan pada pengajaran tasawuf falsafi, sebagai perimbangan terhadap para fuqaha yang lebih banyak menyerang tasawuf falsafi. Sekola itu akhirnya mendapatkan dukungan yang kuat dari Sultan Bani Rasuliyah sebagai penguasa di Yaman. Dan, sekolah inilah yang diwariskan al-Jabarti kepada al-Jili setelah ia wafat.
Di samping belajar kepada para guru yang memengaruhi jalan pikiran al-Jili dalam bidang tasawuf, ia juga banyak bergaul dengan para sufi dan ulama pada masanya. Dan hal ini setidaknya juga punya pengaruh dalam pembentukan pemikirannya, walaupun tidak sebesar pengaruh para gurunya. Baik dari para sufi yang beraliran tasawuf falsafi maupun tasawuf amali (Sunni).
Al-Jili menyebut mereka dengan al-Ikhwan (saudara). Beberapa ikhwan yang disebut oleh al-Jili adalah Imad al-Din Yahya ibn Abi al-Qasim al-Tusani al-Maghribi, Baha’ al-Din Muhammad ibn Syeikh al-Naqsabandi (w. 717 H), seorang pendiri thariqat al-Naqsabandiyyah, dan juga beberapa ulama fikih, diantaranya: Hasan ibn al-Majnun dan al-Faqih Ahmad al-Juba’i.
Ia juga menyebutkan beberapa temannya sebagai sesama murid al-Jabarti seperti Muhammad ibn Abi al-Qasim al-Majazi (w. 829 H), Ahmad al-Mabidi (w. 815 H), Muhammad ibn Syafii dan Ahmad al-Raddad. Itulah lingkungan internal yang cukup berpengaruh besar dalam membentuk pola dan corak dalam pemikiran tasawuf al-Jili.
Tak hanya itu, al-Jili yang secara populis dikenal sebagai ulama dan sufi, hidup pada masa ketika filsafat dan ilmu pengetahuan di dunia Islam telah memasuki masa suram dan kemunduran. Bahkan, kemunduran tersebut terjadi dalam berbagai lini kehidupan umat Islam. Hal ini sebagai akibat dari jatuhnya Dinasti Abbasiyah sebagai kerajaan adikuasa yang dihancurkan oleh pasukan Mongol.
Namun demikian, pemikiran al-Jili tampak memperlihatkan ciri kesinambungan dengan pemikir-pemikir masa keemasan sebelumnya seperti al-Ghazali dan Ibnu Sina. Keduanya dianggap sebagai tokoh yang mewakili corak pemikiran masa keemasan, baik ciri tasawuf pada al-Ghazali maupun ciri filsafat Yunani Aristotelian pada Ibnu Sina.
