Asal usul perkataan Sufi sebenarnya bukan daripada “Suf” iaitu bulu kambing seperti yang sering ditulis dalam buku atau di internet. Hakikatnya ia datang dari “Saffah” yang bermaksud teduhan atau naungan. Istilah ini mula-mula digunakan dalam konteks “Ashab al-Saffah,” merujuk kepada para Sahabat yang miskin, belum berkahwin, dan tiada sanak saudara di Makkah. Pada awalnya mereka dianggarkan sedikit lebih daripada seratus orang, tetapi bilangannya bertambah dan berkurang mengikut masa. Mereka dikenali sebagai golongan Sufi yang pertama kerana masa, perhatian, dan kasih sayang yang dicurahkan oleh Nabi Muhammad (sallallahu alaihi wasallam) kepada mereka. Mereka menjadi sangat mahir dalam ilmu Quran, Hadith, dan Fiqh. Semakin tinggi ilmu zahir mereka, semakin tinggi pula kematangan rohani batin mereka.
Daripada merekalah konsep Tasawwuf tersebar ke seluruh umat Islam. Ajaran mereka dalam istilah mudah ialah seperti yang disebut oleh Sarkar kita, Hazrat Baba Shah Mehmood Yousufi (rahmatullah alaih) sebagai “Dil Ki Jillah, Aur Ruh Ki Parwaaz,” yang dalam Bahasa Inggeris boleh disebut “Revival of the Heart, and an Ascension of the Spirit.” Jalan Sufi ialah jalan yang seseorang ambil untuk sampai kepada penerbangan rohani yang lebih tinggi ini. Dan sebagaimana setiap burung tidak memilih laluan yang sama untuk terbang, begitu jugalah tiada dua Sufi yang akan mengambil jalan yang serupa. Jalan dan arah ini berubah mengikut keperluan individu, kekuatan, kelemahan, dan panduan Murshid mereka dalam perjalanan Sufi. Asalkan semua jalan itu menuju kepada Allah dan Rasul-Nya yang tercinta, Nabi Muhammad (sallallahu alaihi wasallam), maka pengakhirannya pasti baik, insyaAllah.