硬水中含有较多的可溶性钙镁化合物。工业硬水是管道中的钙、镁等矿物质会否沉积的工业专有名词，硬度越高，钙质越容易沉淀，造成水管、锅炉等设备阻塞，由于设备维护的费用日益增加，水的硬度已作为生产成本的判断标准之一。

当水在大气中凝聚时，它与空气中的二氧化碳反应，形成了叫做碳酸的弱酸。该酸最终随雨落到地上，然后流过土壤上部到达岩石层，碳酸溶解了石灰（碳酸钙和碳酸镁），中和，并同时变硬。一些地区的溶洞和溶洞附近的硬水就是这样形成的。

硬水有暂时性及永久性之分，暂时硬水通常关系到钙和镁的碳酸盐和碳酸氢盐，这类结晶可长期存在水中，直到气压或温度出现变化，使水份变成超饱和，造成沉淀物，附在热表面或粗糙表面上，例如管道和热交换器内，即形成硬水垢；永久性硬水主要关系到硫酸钙及硫酸镁，是不会受到热和气压变化影响，但如水份被蒸发，依然会留下并形成硬水垢。