誤差の二乗の和をエネルギー関数という。
最小二乗法とエネルギー関数の最小値を求めることは等価である。

一般的にはエネルギー関数を各求めたいパラメータで偏微分値が0となる場合が最小であるとして求める。
また、エネルギー関数がN' M Nの形式の場合はMの最小固有値がエネルギー関数の最小値であり、
その時Nはその固有値に対応する固有ベクトルとなる。

さて、一般に最小二乗法ではyのみが誤差をもつとしてy方向の誤差を最小化することが多い。
これは横軸の値が真値の時の手法である。両方が誤差を有する場合は、
直線への垂線を誤差として誤差の二乗和が最小となる直線を求めるべきである。

また、最小二乗法で求めた関数、すなわち実験式はもっともらしい関数ではあるが、
理論的裏づけがないことも忘れてはならない。