Родился в 1878 году в станице Тарской Сунженского отдела Терской области.

В 1901 году окончил филологический факультет Петербургского

университета.

В 1902 году сдал выпускной экзамен при Николаевском кавалерийском училище.

В отставку Михаил Александрович вышел в 1905 году в чине подъесаула.

После военной службы основал журнал “Казачья неделя”. Активно участвовал в создании «Общества любителей казачьей старины». Занимался научно-исследовательской деятельностью, собирал старинные сказания и песни терских казаков, принимал участие в археологических раскопках, многое сделал для открытия Терского Войскового музея и Войсковой библиотеки. Написал несколько книг по истории терского казачества.

Являлся депутатом Государственной Думы II и IV созыва от Терской области. Входил в Бюро особой крестьянской группы. При заполнении анкеты, в графе «партийная принадлежность» М.А. Караулов написал: «Я ни к какой партии или фракции не принадлежу. Я — то, что должен представлять собой всякий, истинно любящий свою Родину, — я монархист-демократ».

После Февральского переворота Михаил Александрович Караулов вошел в состав Временного комитета Государственной Думы, а позже был назначен представителем Временного правительства в Терской области и выехал во Владикавказ.    27 марта (по ст.стилю) М.А. Караулов был избран Войсковым Кругом атаманом. Возглавляя Войсковое правительство он пытался навести порядок, остановить волну насилия в крае. Руководствуясь этим желанием он настоял на издании областным гражданским Исполкомом ограничительных правил проведения митингов. Учитывая сложившуюся обстановку в области, в июле месяце обратился с просьбой в Военное министерство вернуть с фронта Терскую казачью дивизию. На московском Государственном совещании поддержал требование Донского атамана А.М. Каледина упразднить все комитеты и советы на фронте и в тылу, решительно укрепить дисциплину в армии. Михаил Александрович стал одним из организаторов созданного 20 октября «Юго-Восточного союза казачьих войск, горцев Кавказа и вольных народов степей», что объяснял «развалом центральной государственной власти» и необходимостью «оздоровления России с окраин».

После известия о захвате власти большевиками в Петрограде, атаман М.А. Караулов заявил, что вступает в управление Терским краем «со всей полнотой государственной власти», ввиду необходимости борьбы с анархией, грабежами и разбоями, край был объявлен на воен. положении, также был отдал приказ о приведении в боевое состояние все казачьи части. 1 декабря Атаман возглавил Терско-Дагестанское правительство.

Обстоятельства гибели

В декабре 1917 года для приветствования прибывшего с фронта I Волгского казачьего полка Михаил Александрович Караулов в сопровождении родного брата Владимира, хорунжего Алексея Белоусова и депутата Войскового Круга Султанова прибыл в Пятигорск. 26 декабря 1917 года во время следования во Владикавказ вагон, в котором находился М. А. Караулов с сопровождающими остановился на станции Прохладная Владикавказской ж. д. Группа вооруженных солдат 106 Уфимского пехотного полка во главе с неким Зотовым, которые возвращались с Кавказского фронта и находились в тот момент на станции, узнали, что в вагоне № 4 пассажирского поезда находится атаман Атаман Терского казачества, потребовали всем выйти из вагона, одного рядового призывавшего прекратить безобразие озверелые солдаты убили на месте. Караулов и его сопровождающие отказались покинуть вагон, возникла перестрелка. Караулов и все его сопровождающие погибли в перестрелке, кроме тяжело раненного Султанова. Солдаты ворвались в вагон. Тело Атамана выволокли на улицу, раздели и разграбили, голову разбили до мозгов. Толпа солдат под крики «Ура» праздновала «победу». Солдаты украли кожаную офицерскую куртку брата Михаила Караулова — Владимира. Позже одежду погибших со следами крови нашли в вагонах уфимцев. На помощь Атаману выдвинулась сотня терских казаков, но часть солдат бежала. Узнав, что опоздали, казаки расстреляли 3 подозреваемых в расстреле вагона. Тут же с почестями казаки повезли тело своего Атамана во Владикавказ. Атаман Михаил Караулов и убитые с ним Владимир Караулов и хорунжий Алексей Белоусов были похоронены во Владикавказе в ограде Михаило-Архангельского собора.

А через некоторое время в Новочеркасске был задержан главный подстрекатель нападения на Караулова — Зотов, который так громко рассказывал, как они в Прохладном убили Атамана, что кто-то из пассажиров вызвал патруль. Комендант станции поручик Рясенцов задержал Зотова. Было проведено дознание, и Зотов был казнён.