Организация сформировалась во время афганского антисоветского джихада из числа пакистанских и других добровольцев. Начало становлению организации положила группа под названием Харкат ул-Джихад-и-Ислами (Harkat-ul-Jehad-al-Islami), от которой в 1985 году отделилась Харкат ул-Муджахидиин, чтобы в 1993 году воссоединиться под названием Харкат ул-Ансар (Harkat-ul-Ansar), которая была переименована в 1997 году в Харкат ул-Муджахидиин. После вывода Советских войск из Афганистана организация переориентировалась на антииндийскую борьбу в Кашмире. Лидер ХА - Маулана Садатулла Хан.
В 1993 году несколько лидеров ХУ были арестованы в Индии (глава прежней Харкат-ул-Муджахидиин - Nasrullah Mansur Langrayal, генеральный секретарь организации Маулана Масуд Азхар (Maulana Masood Azhar) и лидер кашмирского подразделения организации Sajjad Afghani. В ответ на это террористы несколько раз предпринимали похищения иностранцев, с намерением обменять их на арестованных лидеров. Последний раз это произошло в июле 1995 года, когда были похищены шесть западных туристов, двое из которых были позже убиты. Ответственность за это преступление взяла на себя группа аль-Фаран (al-Faran), из которой, как предполагается, в дальнейшем сформировалась организация Джейш-е-Мухаммад.
В течении десятилетнего периода своей истории организация провела на территории индийского Кашмира множество вооружённых операций. Ядро организации составляли до 300 ветеранов войны в Афганистане: пакистанцы, кашмирцы, афганцы и арабы. Организация располагает несколькими тысячами боевиков в Кашмире и Пакистане.
Основная штаб-квартира организации находилась в Музафарабаде. Организация располагала офисами в нескольких пакистанских городах. Для обучения неофитов были созданы тренировочные лагеря в Афганистане и Пакистане. Организация располагала лёгким и тяжёлым стрелковым вооружением, миномётами, ракетами, взрывчаткой.
Другой аспект деятельности ХА - международный терроризм. Боевики принимают участие в вооружённых действиях на территории Бирмы (Араканс), Боснии (с 1992), Таджикистана (1992 - 1994), на Филиппинах. Халед Аван так объясняет международную террористическую деятельность ХА: «Мы полагаем, что границы никогда не могли разделить мусульман. Мы - одна нация, и мы будем едины».
ХА получала финансовую поддержку со стороны Саудовской Аравии и других традиционалистских арабских режимов. В свою очередь движение спонсировало кашмирские террористические организации.