Станица Каргалинская основана в 1735—1736 годах, одновременно со станицами Бороздиновской и Дубовской. В данных станицах было размещено Терско-Семейное казачье войско, составленное из донских казаков, пересёленных на реку Сулак, в крепость Святого Креста, Петром I во время Персидского похода 1722—1723 годов. В 1735 году был заключён Гянджинский договор между Россией и Персией, по которому граница Российской империи отодвигалась на Терек, а крепость Святого Креста должна быть срыта.

Таким образом, донцы из крепости были поселены тремя станицами на берегу Терека, ниже гребенских станиц по течению реки.

Каргалинская считалась одним из центров старообрядчества на Тереке.

Первоначально станица располагалась на правом берегу реки Терек. Но из-за частых подтоплений была перенесена на левый берег. В 1914 году в районе станицы произошел катастрофический прорыв реки Терек. В результате река поменяла своё течение и образовала новый рукав Каргалинку или Каргалинский прорыв (в настоящее время употребляется название Новый Терек). Со временем бо́льшая часть воды стала проходить по новому руслу, а старое в результате заиления и поднятия дна стало отмирать. Впоследствии как раз в вершине Каргалинского прорыва был построен Каргалинский гидроузел.