Updated : October 18, 2011 1

REGRESSIONS et TRAJECTOIRES en 3D.

Jean Jacquelin


Les mesures de positions ne sont jamais parfaites, que ce soient des objets cosmiques, ou des particules microscopiques.
Ce qui pose le problme de la caractrisation prcise de leurs trajectoires. L'illustre professeur Tournesol ne pouvait
pas rester insensible la question d'optimisation de leurs paramtres.

Premier article : 3-D LINEAR REGRESSION (pp.2-12)
Dtermination des paramtres caractrisant une trajectoire linaire dans l'espace, telle que
soit minimum la somme des carrs des distances "vraies" entre la droite et les points dont les
coordonnes sont connues approximativement. [ Juillet 2002, non publi. Une mthode simplifie
de rsolution a t ajoute en fvrier 2011, puis rincorpore au texte principal en juillet 2011]

Deuxime article : REGRESSION PLANE en 3D. (pp. 13-26)
Dtermination des paramtres caractrisant le plan d'une trajectoire non linaire, telle que
soit minimum la somme des carrs des distances "vraies" entre le plan et les points dont les
coordonnes sont connues approximativement. [ Avril 2010 ]
Comparaison avec la mthode d'analyse en composantes principales [ Septembre 2011]
Additif : Discussion (p.27)

Troisime article : CARRACTERISATION DE TRAJECTOIRE EN 3D. (pp.28-34)
Optimisation des paramtres d'une courbe (ellipse, parabole ou hyperbole) se situant au plus
prs de points dont les coordonnes sont connues approximativement.
Mthode de calcul non-rcursive.
Exemple numrique dtaill d'application de la mthode.

Updated : October 18, 2011 2

Title :
3-D LINEAR REGRESSION
Author :
Jean Jacquelin
Key Words :
Linear Regression, Least Squares.

Summary & Conclusions :
While 2-D Linear Regression is very common, surprisingly the analytical solution of 3-D
Linear Regression remains unpublished (as far as we know). This paper provides a compendium of
formulas for direct and exact 3-D Linear Least Squares Fitting. A detailed numerical example is
given in order to test and debug the computer applications.



Updated : October 18, 2011 3

1 INTRODUCTION
The linear least squares fitting technique is the simplest and most commonly applied form of linear
regression and provides a solution to the problem of finding the best fitting straight line through a
set of points [1]. Commonly, the points are given on a plane and the analytical solution is well-
known in this case. A number of more complicated fitting problems are solved in practice by
numerical methods leading to excellent approximates [2-3]. However, on a more theoretical
viewpoint, the analytical solution of the 3-D Linear Least Squares Fitting can be obtained, in spite
of much more arduous developments than in the 2-D case. Surprisingly, in the 3-D case, one cannot
find in the literature a complete demonstration of the analytical solution and related exact formulas
for practical applications, even though they were probably already found.
The Cartesian coordinates of the n given points (P
k
) are :
P
1
(X
1
, Y
1
, Z
1
), P
2
(X
2
, Y
2
, Z
2
), ..., P
k
(X
k
, Y
k
, Z
k
), ..., P
n
(X
n
, Y
n
, Z
n
).
The orthogonal projection of (P
k
) on a straight line (L) is (H
k
) and the corresponding perpendicular
offset is d
k
= P
k
H
k
. The problem is to find (L) so that the sum d
k
2
of the squares of the offsets for
the set of n points would be minimum.
Note : in interest of space, the notation is used instead of :

2 ANALYTICAL RESOLUTION

We consider the plane ( ), perpendicular to the regression line (L) and containing the
origin ( 0 , 0 , 0 ). The equation of ( ) is : z = ax+by. (1)
The line (L) intersects ( ) in a point H( u , v , w ), where : w = au+bv

(2)
So, four coefficients a, b, u and v are sufficient to determine (L). Of course, they are not known at
first : in fact, the aim of the study is to express a, b, u and v as functions of X
k
,Y
k
, Z
k
for k=1 to n.
The orthogonal projection of the point P
k
( X
k
, Y
k
, Z
k
) on the plane ( ) is p
k
( x
k
, y
k
, z
k
), where :
z
k
= ax
k
+by
k
(3)
We have to express x
k
, y
k
, z
k
as functions of X
k
,Y
k
and Z
k
.
(P
k
p
k
)
2
= (x
k
-X
k
)
2
+(y
k
-Y
k
)
2
+(z
k
-Z
k
)
2
(4)
Using Eq.(3), we obtain :
(P
k
p
k
)
2
= (x
k
-X
k
)
2
+(y
k
-Y
k
)
2
+(ax
k
+by
k
-Z
k
)
2
(5)
The distance (P
k
p
k
) is the minimum distance of P
k
to any point of ( ). The partial derivatives of
this function of x
k
and y
k
equal 0 when (P
k
p
k
)
2
is minimal. This leads to two equations :
(x
k
-X
k
)+a[ax
k
+by
k
-Z
k
] = 0 (6)
(y
k
-Y
k
)+b[ax
k
+by
k
-Z
k
] = 0 (7)

Updated : October 18, 2011 4


From this linear system we extract x
k
and y
k
, then z
k
from Eq.(3) :
x
k
= [(1+b
2
)X
k
-abY
k
+aZ
k
](1+a
2
+b
2
)
-1
. (8)
y
k
= [-abX
k
+(1+a
2
)Y
k
+bZ
k
](1+a
2
+b
2
)
-1
. (9)
z
k
= [aX
k
+bY
k
+(a
2
+b
2
)Z
k
](1+a
2
+b
2
)
-1
. (10)
The distance d
k
of the point P
k
to the regression line (L) is equal to (P
k
H
k
) , hence :
d
k
2
= (x
k
-u)
2
+(y
k
-v)
2
+(z
k
-w)
2
(11)
The sum d
k
2
of the squares of the distances for the set of n points is :
d
k
2
= (x
k
-u)
2
+(y
k
-v)
2
+(z
k
-au-bv)
2
(12)
The last term in (12) results from Eq.3 : (z
k
-w) = z
k
-au-bv .
x
k
, y
k
and z
k
are functions of a and b (from Eqs.8-10). So, d
k
2
is function of u, v, a and b.
Since d
k
2
is minimal, the partial derivatives equal 0. This leads to four equations :
(13)
(14)
(15)
(16)
Equations (13) and (14) can be rewritten as :
(17)
Solving the system (17) gives u, v, then w from Eq.(2), the three expressed as functions of a and b :
(18)
(19)
(20)
Summing x
k
, y
k
and z
k
from k=1 to n in Eqs.(8-10), gives x
k
, y
k
and z
k
:
x
k
= [(1+b
2
)X
k
-abY
k
+aZ
k
](1+a
2
+b
2
)
-1
. (21)
y
k
= [-abX
k
+(1+a
2
)Y
k
+bZ
k
](1+a
2
+b
2
)
-1
. (22)
z
k
= [aX
k
+bY
k
+(a
2
+b
2
)Z
k
](1+a
2
+b
2
)
-1
. (23)

Updated : October 18, 2011 5

Carrying x
k
, y
k
and z
k
from (21-23) to (18-20) and after some simplifications due to
factorization of (1+a
2
+b
2
) lead to:
(24)
(25)
(26)
At this stage of the study, only two parameters (a and b) are not determined yet.
Then, a fastidious job has to be carried out. The next development leads to a large number of terms
with a number of factors which are appearing, i.e.: (X
k
2
), (Y
k
2
), (Z
k
2
), (X
k
Y
k
), (Y
k
Z
k
), (X
k
Z
k
),
(X
k
)
2
, (Y
k
)
2
, (Z
k
)
2
, (X
k
)(Y
k
), (Y
k
)(Z
k
) and (X
k
)(Z
k
). Fortunately, some simplifications
occur : factorization of (1+a+b) and disappearance of some terms. More compact writing will be
achieved by letting :
S
xx
= (1/n)(X
k
2
) - [(1/n)X
k
]
2
. (35)
S
yy
= (1/n)(Y
k
2
) - [(1/n)Y
k
]
2
. (36)
S
zz
= (1/n)(Z
k
2
) - [(1/n)Z
k
]
2
. (37)
S
xy
= (1/n)(X
k
Y
k
) - (1/n
2
)(X
k
)(Y
k
). (38)
S
yz
= (1/n)(Y
k
Z
k
) - (1/n
2
)(Y
k
)(Z
k
). (39)
S
xz
= (1/n)(X
k
Z
k
) - (1/n
2
)(X
k
)(Z
k
). (40)

Plugging (8, 9, 10) and (24, 25, 26) into (12) leads to the big equation :
2
1 1 1
2
2
2
2 2 2 2
2
1 1 1
2
2
2 2 2 2
2
(1 )
(1 )
1 1
(1 )
(1 )

1 1
(

k k k
k k k n n n
k
k k k
k k k n n n
k k
b X ab Y a Z
b X abY a Z
d
a b a b
ab X a Y b Z
ab X a Y b Z
a b a b
a X bY a b
|
| |
+ +

+ +
|
= +

|
+ + + +
|

\
\
| |
+ + +
+ + +
|
+ +
|
+ + + +
|
\
+ + +
+



1 1 1
2
2
2 2 2 2
2
1 1 1
2
2 2
(1 )
)
1 1
(1 )

1
k k k
k n n n
k k k
n n n
b X ab Y a Z
Z
a
a b a b
ab X a Y b Z
b
a b
|
+ +

+ + + +

\
|
|
+ + +
|
|

|
|
+ +
| |
|

Updated : October 18, 2011 6

Then, after developing, factoring the terms with coefficients (1+a
2
+b
2
), simplification and
finally grouping of the remaining terms, we obtain :

(
( ) ( ) ( )
2 2 2 2 2 2 2 2
2 2
2 2 2
2 2 2 2
1
(1 ) (1 ) ( )
1
2 2 2
1 1 1
(1 ) (1 ) ( )
1 1 1
2 2 2
k k k k
k k k k k k
k k k
k k k k
d b X a Y a b Z
a b
ab X Y a X Z b Y Z
b X a Y a b Z
n n n
ab X Y a X Z b
n n n
= + + + + + +
+ +
+ + +
+ + + + + + +
+ +




k k
Y Z
|
|

(51)
Then, rewriting with the notations (35-40) :
(
)
2 2 2 2 2
2 2
(1 ) (1 ) ( )
1
2 2 2
k xx yy zz
xy xz yz
n
d b S a S a b S
a b
abS aS bS
= + + + + + +
+ +
+ +

(52)

The following relationship between a and b is therefore obtained :
2 2 2 2
2 2 2
(1 ) (1 ) ( )
1
2 2 2 (1 ) 0
xx yy zz
xy xz yz k
b S a S a b S
abS aS bS a b d
n
+ + + + + +
+ + + + =

(53)
The quadratic mean distance will be denoted as :
2
1
m k
d
n
=

(54)
We observe that the relationship between a and b is a quadratic equation :

2 2
11 22 12 10 01 00
2 2 2 0 C a C b C ab C a C b C + + + + + = (55)
which coefficients are :

2
11
2
22
12
10
01
2
00
yy zz m
xx zz m
xy
xz
yz
xx yy m
C S S
C S S
C S
C S
C S
C S S

= +

= +

= +

(56)
This allows us to map the deviations as a family of ellipses with
m
as a parameter.

Updated : October 18, 2011 7


Figure 2 : Example of mapping of quadratic mean distance
(corresponding to the numerical example detailed later)

Finding the centre of an ellipse is a classical problem. A rotation of the a- and b-axes
eliminates the ab term from the equation (55).
The rotated axes are named A- and B-axes :


cos( ) sin( ) cos( ) sin( )
sin( ) cos( ) sin( ) cos( )
A a b a A B
B a b b A B


= + =

= + = +

(57)

Plugging these and (56) into (55) gives :
( ) ( ) ( )
2 2 2 2 2
11 22 12 10 01 00
2 2 2 0
m m m
K A K B K AB K A K B K + + + + + =
(58)
which coefficients are :
( ) ( )
( ) ( )
( ) ( )
2 2
11
2 2
22
2 2
12
10
01
00
cos ( ) sin ( ) 2 cos( )sin( )
sin ( ) cos ( ) 2 cos( )sin( )
cos ( ) sin ( ) cos( )sin( )
cos( ) sin( )
sin( ) cos( )
yy zz xx zz xy
yy zz xx zz xy
xy xx yy
xz yz
xz yz
xx y
K S S S S S
K S S S S S
K S S S
K S S
K S S
K S S





= + + +
= + + + +
= +
= +
= +
= +
y

(59)
The requirement
12
0 K = implies

( )
1
cos(2 ) sin(2 ) 0
2
xy xx yy
S S S + = (60)

Updated : October 18, 2011 8


2
1
arctan
2
xy
S
Sxx Syy

| |
=
|

\
(61)
We see that the rotation angle does not depend on
m

.
Rewriting (58) with
12
0 K = leads to :
( ) ( )
2 2
2 2
10 01
11 22
2 2
11 22
2 2
2
10 01
00
2 2
11 22

m m
m m
m
m m
K K
K A K B
K K
K K
K
K K

| | | |
+ + + =
| |

\ \
= + +

(62)
The coordinates of the ellipse centre (A
c
, B
c
on the rotated system of axis) and (a
c
, b
c
on the
primary system) are :
10 10 01
2 2 2
11 11 22
01 10 01
2 2 2
22 11 22
cos( ) sin( )
cos( ) sin( )
c c
m m m
c c
m m m
K K K
A a
K K K
K K K
B b
K K K

= = +

= = +



(63)
The ellipse collapses and becomes a point when :

2 2
2
10 01
00
2 2
11 22
0
m
m m
K K
K
K K

+ + =

(64)
This situation corresponds to the minimum value for
m
, which will be computed by solving
the cubic equation :

( ) ( ) ( )
3 2
2 2 2
2 1 0
0
m m m
c c c + + + = (65)
The coefficients are :

2 00 11 22
2 2
1 00 11 00 11 11 22 01 10
2 2
0 01 11 10 22 00 11 22
c K K K
c K K K K K K K K
c K K K K K K K
=

= + +

= +

(66)

The roots of cubic equation (65) can be expressed thanks to the Tartaglia's formula (plagiarized by
Cardan and presently known as Cardan's formula) or thanks to the Vieta's trigonometric formula.
With the smallest value
m
obtained, equations (63) give a and b .

Let X
m
= (1/n)X
k
, Y
m
= (1/n)Y
k
, Z
m
= (1/n)Z
k
and the point M(X
m
; Y
m
; Z
m
). We observe that
the coordinates given by Eqs. (8-10) of the projection of M on the plane ( ) are exactly the same
as the coordinates of point H given by Eqs. (24-26). This proves that M is on the regression line (L).
So, the regression line can be defined in two ways :

Updated : October 18, 2011 9

- First : the plane ( ), which equation is z = ax+by , and the point H(u, v, w) of this plane are
determined, since the parameters a, b, u, v and w have been expressed. (L) is the straight line
perpendicular to ( ) on point H.
- Second : (L) is the straight line (HM) and the coordinates of both points H(u, v, w) and M(X
m
, Y
m
,
Z
m
) are known.


3. CONCLUSION

The following compendium of formulas lead to exact solution of 3-D linear regression.
Given data : ( )
{ } in 1 to
, ,
k k k
k k n
X Y Z
= =
the process consists in computing successively :


1 1 1
1 1 1
; ;
n n n
m k m k m k
k k k
X X Y Y Z Z
n n n
= = =
= = =



2 2
1 1
2 2
1 1
2 2
1 1
1 1
1 1
1 1
;
;
;
n n
xx m k xy m m k k
k k
n n
yy m k xz m m k k
k k
n n
zz m k yz m m k k
k k
S X X S X Y X Y
n n
S Y Y S X Z X Z
n n
S Z Z S Y Z Y Z
n n
= =
= =
= =
= + = +
= + = +
= + = +





2
1
arctan
2
xy
S
Sxx Syy

| |
=
|

\


( ) ( )
( ) ( )
( ) ( )
2 2
11
2 2
22
2 2
12
10
01
00
cos ( ) sin ( ) 2 cos( )sin( )
sin ( ) cos ( ) 2 cos( )sin( )
cos ( ) sin ( ) cos( )sin( )
cos( ) sin( )
sin( ) cos( )
yy zz xx zz xy
yy zz xx zz xy
xy xx yy
xz yz
xz yz
xx y
K S S S S S
K S S S S S
K S S S
K S S
K S S
K S S





= + + +
= + + + +
= +
= +
= +
= +
y

2 00 11 22
2 2
1 00 11 00 22 11 22 01 10
2 2
0 01 11 10 22 00 11 22
c K K K
c K K K K K K K K
c K K K K K K K
=

= + +

= +

Updated : October 18, 2011 10



Solving the equation :
( ) ( ) ( )
3 2
2 2 2
2 1 0
0
m m m
c c c + + + =

1 2 1 1 1 2 3 2 3
1 2 2 1 2 0
3 27 3 4 27
; ; p c c q c c c c R q p = = + = +
If R > 0 :
1 1 1 2 2 2
3 3
2
3 2 2
m
c q R q R = + + +
If R < 0 :
3
2
1
; arccos
27 2
q
p

| |
= =
|
\

( )
( )
( )
1 1
3
2
3 3
1 1 2
3
2
3 3
1 1
3
2
3 3
2 cos
min 2 cos ( 2 )
2 cos ( 4 )
m
c
c
c

= + +

+ +

10 01
2 2
11 22
10 01
2 2
11 22
cos( ) sin( )
sin( ) cos( )
m m
m m
K K
a
K K
K K
b
K K

= +

= +

( ) ( )
( ) ( )
( ) ( )
2
2 2
2
2 2
2 2
2 2
1
1
1
1
1
1
1
1
m m m
m m m
m m m
u b X abY a Z
a b
v ab X a Y bZ
a b
w a X bY a b Z
a b

= + +

+ +

= + + +

+ +

= + + +

+ +


That way, the exact values of a, b, u, v and w are known and the points H(u, v, w) and
M(X
m
, Y
m
, Z
m
) are defined. The regression line (L) is the straight line (HM) , which is
perpendicular to the plane z = ax+by.


REFERENCES

[1] E.W.Weisstein,"CRC Concise Encyclopedia of Mathematics",
Chapman & Hall, N.-Y., pp.1045-1049, 1999
[2] J.C.Nash, "Compact Numerical Methods for Computers,
Adam Hilger, Bristol, England, pp.21-24, 1990.
[3] W.H.Press, B.P.Flannery, W.T.Vetterling, "Numerical Recipes in Fortran :
The Art of Scientific Computing", Cambridge Univ. Press, pp.655-675, 1992.

Updated : October 18, 2011 11


APPENDIX : Numerical example for test

Since some formulas are rather complicated, copying involves a risk of mistake. A numerical
example is usefull for verification. Especially in case of use of formulas in a computer program, a
typical example may be a valuable help to debug. The following data is limited to a low number of
points (n=10) in order to make the test easier.


X
m
= 24.975 Y
m
= 8.468 Z
m
= 4.5074

S
xx
= 41.9603 S
yy
= 10.2798 S
zz
= 10.3864

S
xy
= 41.9603 S
xz
= 10.2798 S
yz
= 10.3864

= 0.459591 K
11
= 10.3877 K
22
= 62.6252

K
10
= -23.2928 K
01
= 0.0004035 K
00
= 52.2401

c
0
= -6.348499 c
1
= 3922.1842 c
2
= -125.25307

p = -1307.2596 q = 18192.436 R = -0.22724546

= 9096.2182 = 3.1415402


2
2 2
62.6264
0.0161869
0.00161869 0.00161869
0.040233
62.6251
min
k
m m
m
d

=

= =

=

a = 2.009691 b = 0.994669

Theses a and b values correspond to the minimum
quadratic mean distance. They appear on figure 2
as the optimum point, which is the smallest ellipse.


M
M
M
24.975
8.468
4.5074
M
X
Y
Z
=

H
H
H
6.93663
0.459842
13.4831
H
X u
Y v
Z w
= =

= =

= =

(MH) is the regression line, which is
perpendicular to the plane z = a x + b y


Updated : October 18, 2011 12

COMPARISON WITH THE PRINCIPAL COMPONENT ANALYSIS METHOD

Input data :

1
1
1
1
m
24.975
1
(Pm) m Pm 8.468
4.5074
1
m
n
k
k
n
k
k
n
k
k
X X
n
Y Y
n
Z Z
n
=
=
=
=
= =
=

m
m
m
k k
k k
k k
x X X
y Y Y
z Z Z
=

[ ]
T
8.465 3.605 5.765 7.375 -7.885 -9.345 2.505 -5.375 2.425 -7.535
4.162 1.762 2.902 3.622 -3.918 -4.588 1.322 -2.718 1.182 -3.728
-4.1934 -1.7784 -2.8894 -3.6874 3.9016 4.6656 -1.2284 2.6726 -1.2124 3.7496
M


=



T
419.60285 207.6716 -208.76005
207.6716 102.79816 -103.319152
-208.76005 -103.319152 103.8643384
[E] [M] [M]


= =



There are 3 eigen values
1
,
2
,
3
, and 3 eigen vectors
1,1
1 1,2
1,3
V
V
V
V


=

2,1
2 2,2
2,3
V
V
V
V


=

3,1
3 3,2
3,3
V
V
V
V


=

The eigen vectors are supposed to be normalized, i.e. V
i,1
2
+ V
i,2
2
+ V
i,3
2
= 1

To each eigen vector corresponds a straight line (D
1
), (D
2
), (D
3
) which vectorial equations
respectively are : OP Pm Vi
i
= +

with the parameter defining the point P
i
on (D
i
).
The quadratic orthogonal distance from a point P
k
to (D
i
) is :

[ ]
2
,1 ,2 ,3
( ) ( ) ( ) ( ) 1 3
k i k k i k k i k k i
x x V y y V z z V i = + +
The sum of the quadratic distances is :
2
1
n
k
k
i

=
| |

|
\

Straight Line (D
i
)
i 1 2 3
Eigen values
i
626.249 0.0144095 0.00177742
V
i,1
0.818549 0.310363 -0.483375
Vi,
2
0.405129 -0.908467 0.1027437
Eigen vectors V
i

Vi,
3
0.407243 -0.279930 -0.869362
quadratic ofsets (
k
2
)
i
0.0161869 626.263 626.250
:
Obviously, in the present case, the best least squares fittind is obtained relatively to (D
1
).
So the first column is selected.
The result is perfectly consistent with the previous result
k
2
= 0.0161869
The comparison between the eigen vector
1
V

and
the unit vector of the regression line (D) from
figure 1 show consistent results.
1
0.818549 0.818529
0.405129 0.405120
0.407243 0.407291
HM
V
HM


= =

Updated : October 18, 2011 13



REGRESSION PLANE en 3D.

Jean Jacquelin

1. INTRODUCTION :

Etant donnes les coordonnes de n points :
P
1
(X
1
, Y
1
, Z
1
), P
2
(X
2
, Y
2
, Z
2
), ..., P
k
(X
k
, Y
k
, Z
k
), ..., P
n
(X
n
, Y
n
, Z
n
).
dont on sait qu'ils sont voisins d'un plan ( ) inconnu au dpart, il s'agit de dterminer les
paramtres caractrisant ce plan tel que soit minimum la somme des carrs des distances entre le
plan et les points.

L'quation du plan ( ) sera : 1 0 A x B y C z + + + =
La droite ( D ) , passant par l'origine du systme d'axes et orthogonale ( P ) intersecte ce plan au
point H (u, v, w). La droite (D) sera dfinie par les paramtres a et b figurant dans les quations :
( )
x a z
D
y b z
=

En consquence : ( )
u a w
H v b w
w
=

Updated : October 18, 2011 14

Il est ais d'tablir les relations qui relient (u, v et w) (A, B et C) ainsi qu' (a et b):
2 2 2
2 2 2
2 2 2
A
u
A B C
B
v
A B C
C
w
A B C

+ +

+ +

+ +

( )
( )
( )
2 2 2
2 2
2 2 2
2 2
2 2 2
2 2
1
1
1
1
u a
A
u v w
a b w
v b
B
u v w a b w
w
C
u v w
a b w

= =
+ +
+ +

= =

+ + + +

= =

+ +
+ +

A
a
C
B
b
C

La projection orthogonale d'un point P
k
(X
k
, Y
k
, Z
k
) sur ( ) est le point H
k
.
La projection orthogonale de P
k
sur ( D ) est le point p
k
dont les coordonnes sont ( x
k
, y
k
, z
k
).
La distance entre P
k
et ( ) est
k
, gale la distance entre p
k
et H : H P Hp
k k k k
= =
( ) ( ) ( )
2 2 2
2 2 2 2
1, 2, 3, k k k k k k k
x u y v z w = + + = + +

Le but est de calculer les paramtres a, b et w qui sont suffisants pour que la droite (D), le
point (H) et le plan () perpendiculaire (D) en (H) soient tous dtermins. Il en serait de mme si
on cherchait calculer les paramtres A, B et C figurant dans l'quation de () , puisqu'ils sont lis
par les relations prcdentes. On cherche ce que la somme des (
k
)
2
soit minimum

Nanmoins, dans un premier temps, nous considrerons plusieurs cas plus simples, relevant
galement de la mthode des moindres carrs, mais pour lesquels les carrs considrs ne sont pas
exactement les distances
k
orthogonales entre le plan et les points. On considrera successivement
les sommes des carrs des distances selon les directions des axes : soit les (
1,k
)
2
, ou (
2,k
)
2
, ou
(
3,k
)
2
.
La rgression par la mthode des moindres carrs des distances vraies, donc en cherchant le
minimum de la somme des (
k
)
2
sera traite ensuite.

Finalement, un exemple numrique illustrera les diffrences de rsultats entre les cas
prcdents. L'intrt essentiel de cet exemple est de permettre la vrification de programmes de
calculs que le lecteur pourrait crire sur la base des formules qui seront explicites.

Note : Pour rduire le volume des critures, on utilisera le symbole la place de
1
k n
k
=
=

Updated : October 18, 2011 15

2. MOINDRES CARRES RELATIVEMENT A L'AXE DES Z :

Dans ce cas simple, on cherche rendre minimale (
3
2
) . L'quation de ( ) sera crite :
3 3
3 3 3 3 3
3
/
1 0 /
1/
A
Ax By Cz z x y B
C

+ + + = = + + =

( ) ( )
2
2
3 3 3 3, k k k k
Z X Y = + +
Le minimum est obtenu lorsque les drives partielles relativement
3
,
3
et
3
sont nulles :
( ) ( )
( ) ( )
( ) ( )
3 3 3
3 3 3
3 3 3
2 0
2 0
2 0
k k k k
k k k k
k k k
Z X Y X
Z X Y Y
Z X Y

+ + =

+ + =

+ + =

que l'on crit sous forme matricielle.

Ce qui donne la solution :
2
3
2
3
3
1
k k k k k k
k k k k k k
k k k
X X Y X X Z
X Y Y Y Y Z
X Y n Z

| | | |
| |
| |
| |
|
=
| |
|
|
| |
\
| |
\ \




Puis A =
3
/
3
; B =
3
/
3
; et C = -1/
3
;


3. MOINDRES CARRES RELATIVEMENT A L'AXE DES Y :

Dans ce cas simple, on cherche rendre minimale (
2
2
) . L'quation de ( ) sera crite :
2 2
2 2 2 2
2 2
/
1 0 1/
/
A
Ax By Cz y x z B
C



=

+ + + = = + + =

( ) ( )
2
2
2 2 2 2, k k k k
Y X Z = + +
Le procd est analogue (ou par simple permuttation des notations)
Ce qui donne la solution :
2
2
2
2 2
1
k k k k k k
k k k
k k k k k k
X X X Z X Y
X n Z Y
X Z Z Z Y Z

| | | |
| |
| |
| |
|
=
| |
|
|
| |
\
| |
\ \




Puis A =
2
/
2
; B = 1/
2
; et C =
2
/
2
.

Updated : October 18, 2011 16

4. MOINDRES CARRES RELATIVEMENT A L'AXE DES X :

Dans ce cas simple, on cherche rendre minimale (
1
2
) . L'quation de ( ) sera crite :
1
1 1 1 1 1
1 1
1/
1 0 /
/
A
Ax By Cz x y z B
C

+ + + = = + + =

( ) ( )
2
2
1 1 1 1, k k k k
X Y Z = + +
Le procd est analogue (ou par simple permuttation des notations)
Ce qui donne la solution :
1
2
1
1 2
1
k k k
k k k k k k
k k k k k k
n Y Z X
Y Y Y Z X Y
Z Y Z Z X Z

| | | |
| |
| |
| |
|
=
| |
|
|
| |
\
| |
\ \




Puis A = -1/
1
; B =
1
/
1
; et C =
1
/
1
.

5. MOINDRES CARRES RELATIVEMENT A L'EQUATION DU PLAN :

Cette mthode a t dcrite dans l'article "Rgressions coniques, quadriques. Rgressions
linaires et apparentes, circulaire, sphrique" au paragraphe 5 "Ajustement des paramtres
d'une quation".
Dans le cas prsent, il s'agit d'ajuster les paramtres A, B et C de l'quation: A x + B y + C z + 1 = 0 .
En gnral, le point ( X
k
, Y
k
, Z
k
) ne satisfait pas exactement l'quation. Il subsiste un cart
k
:

k
= A X
k
+ B Y
k
+ C Z
k
+ 1 et on cherche minimiser la somme des carrs de ces carts.
( )
2
2
1
k k k
AX BY CZ = + + +

Le minimum est obtenu lorsque les drives partielles

relativement A, B et C sont nulles, ce qui conduit au systme suivant :
( )
( )
( )
2
2
2
2 1 0
2 1 0
2 1 0
k k k k
k k k k
k k k k
AX BY CZ X
A
AX BY CZ Y
B
AX BY CZ Z
C

= + + + =

= + + + =

= + + + =

qui est mis sous forme matricielle

Ce qui donne le rsultat :
2
2
2
1
k k k k k k
k k k k k k
k k k k k k
X X Y X Z X
A
B X Y Y Y Z Y
C
X Z Y Z Z Z

| | | |
| |
| |
| |
|
=
| |
|
|
| |
\
| |
\ \




Toutefois, tout en minimisant la somme des carrs des carts relativement l'quation, le plan ainsi
dtermin n'est pas rigoureusement celui qui correspondrait au minimum de la somme des carrs
des distances entre le plan et les points, bien que la diffrence soit gnralement insignifiante.

Updated : October 18, 2011 17

6. MOINDRES CARRES DES DISTANCES VRAIES, par mthode itrative :

Nous entrons maintenant dans l'tude proprement dite du minimum de la somme des carrs
des distances vraies (
k
2
).
On trouve dans la litrature des mthodes de principes rcursifs, ce qui est hors du cadre
voulu pour la prsente tude. Il semble donc un peu dplac de proposer ici un processus itratif.
Toutefois, il est intressant d'observer la relation troite entre cette approche itrative et la solution
directe (non rcursive) qui sera dcrite plus loin.
Du point de vue pratique, on ne manquera pas de remarquer que l'algorithme itratif est
considrablement moins volumineux et plus rapide programmer que les formules nettement plus
compliques qui seront donnes dans le paragraphe 7, pour la rsolution directe. C'est aussi un
argument pour ne pas omettre de signaler la possibilit d'utilisation de cette procdure itrative
relativement simple.

Soit D
k
la distance entre le point P
k
( X
k
, Y
k
, Z
k
) et un point quelconque P(x,y, z) du plan ( ) :
( ) ( ) ( )
( ) ( )
2 2 2
2
2
2 2
2
( 1)
k k k k
k k k k
D x X y Y z Z
Ax By
D x X y Y Z
C
= + +
+ +
| |
= + +
|
\

La distance minimum est atteinte lorsque P est en H
k
(projection orthogonale de P
k
sur ( )
( )
( )
( )
( )
2
2
( 1)
2 2 0
( 1)
2 2 0
k
k k
k
k k
D
A Ax By
x X Z
x C C
D
B Ax By
y Y Z
y C C

+ +
| |

= =
|

\

+ +
| |
= =

La rsolution de ce systme de deux quations linaires donne d'abord les deux inconnues x et y
puis z est obtenu avec z = -(Ax+By+1)/C
2 2
2 2 2
2 2
2 2 2
2 2
2 2 2
( )
( )
( )
k k k
k k k
k k k
B C X ABY ACZ A
x
A B C
ABX A C Y BCZ B
y
A B C
ACX BCY A B Z C
z
A B C

+
=

+ +

+ +
=

+ +

+ +
=
+ +

En reportant ces expressions dans ( ) ( ) ( )
2 2 2
2
k k k k
x X y Y z Z = + + et aprs
simplification, on obtient :
( )
2
2
2 2 2
1
k k k
k
AX BY CZ
A B C

+ + +
=
+ +

D'o la somme des carrs : ( )
2
2
2 2 2
1
1
k k k k
AX BY CZ
A B C
= + + +
+ +



Le minimum sera obtenu lorsque les drives partielles relativement A, B et C seront nulles.
Pour allger les critures, on dfini F
k
et G par :

Updated : October 18, 2011 18


( )
2 2
2 2 2
1
1 k k k k
k k
F AX BY CZ
F
G
G A B C

= + + +

=
`
= + +

)


( )
( )
( )
2
2
2
2
2 2
2
2
2
2
2
2
2 2 0
0
2 2 0 0
0 2 2 0
k k k k
k
k k
k k k k
k k k
k
k k k
k k
k
F X F
F
A
F X A
A G G G
F Y F F
B F Y B
B G G
G
F
F Z F
F Z C C
G
C G
G

= =
=

= = =

= = =

En comparant avec le systme d'quations pris en compte au .5, avec les nouvelles notations :
0
0
0
k k
k k
k k
F X
F Y
F Z

on voit qu'il est apparu des termes complmentaires.

La rsolution du systme, sans ces termes complmentaires, donne dj un rsultat approch. Avec
ce rsultat prliminaire, on peut calculer la valeur des termes complmentaires, puis en tenir compte
en les reportant dans la matrice qui s'crit alors :
( )
2 2
2 2
2 2
1
1
1
k k k k k k
k k k k k k
k k k k k k
X F X Y X Z
G
M X Y Y F Y Z
G
X Z Y Z Z F
G
| |
| |

| |
\
|
|
| |
=
| |
\
|
|
| |

||
\ \




La solution, obtenue par :
1
( )
k
k
k
X
A
B M Y
C
Z
| |
|
| |
|
|
=
|
|
|
|
\
|
\

donne des valeurs corriges de A, B et C.

On utilisera ces nouvelles valeurs, la place des prcdentes, pour calculer une approximation plus
prcise de A, B et C. Et ainsi de suite.

On choisira un mode d'interruption selon la prcision souhaite des rsultats et/ou d'autres critres
(par exemple : nombre maximum d'itrations, non variation des digits de rsultats successifs, etc.)

Le processus itratif est rsum dans le tableau suivant :

Updated : October 18, 2011 19



Updated : October 18, 2011 20


7. MOINDRES CARRES DES DISTANCES VRAIES, mthode directe (non itrative) :

Dans le paragraphe prcdent, nous avons tabli la formule de la somme des carrs des
distances entre le plan et les points :
( )
2
2
2 2 2
1
1
k k k k
AX BY CZ
A B C
= + + +
+ +


Les drivations partielles relativement A, B et C conduirait un systme compliqu de trois
quations non linaires. Un changement de variables permet de simplifier les critures :
2 2
1
; ;
1
A B
a b w
C C C
a b

= = = =
+ +

On reconnat les notations a, b et w dfinies en introduction et correspondant celles de la figure
jointe. Avec ces notations, on a :
( )
2
2
2 2
1
1
k k k k
a X bY Z
a b
= + +
+ +


Le minimum de cette somme est obtenu lorsque les drives partielles relativement a, b et sont
nulles. Celle relative est particulirement simple :
( )
2
2 2
2
0
1
k k k k
a X bY Z
a b

= + + =

+ +


D'o l'on tire :
( )
1
k k k
a X b Y Z
n
= + +


( )
2
2
2 2
2
2 2
1 1
1
1 1 1 1

1
k k k k k k k
k k k k k k
a X bY Z a X b Y Z
n
a b
a X X b Y Y Z Z
n n n
a b

| |
= + + + +
|
+ + \
| | | | | | | |
= + +
| | | |
+ + \ \ \ \



Pour simplifier les critures, on pose :
1 1 1
; ;
k k k k k k k k k
x X X y Y Y z Z Z
n n n
= = =


( )
2
2
2 2
1
1
k k k k
a x by z
a b
= + +
+ +


Le systme de deux quations deux inconnues (a, b) est obtenu par les drivations partielles :
( )
( )
( )
( )
( )
( )
2
2 2 2
2 2
2
2 2 2
2 2
2 2
0
1
1
2 2
0
1
1
k k k k k k k
k k k k k k k
a
a x by z x a x by z
a b
a b
b
a x by z y a x by z
a b
a b

+ + + + =

+ +
+ +

+ + + + =

+ +
+ +

Il se simplifie :
( ) ( )
( ) ( )
2
2 2
2
2 2
0
1
0
1
k k k k k k k
k k k k k k k
a
a x by z x a x by z
a b
b
a x by z y a x by z
a b

+ + + + =

+ +

+ + + + =

+ +





Updated : October 18, 2011 21

( ) ( )
0
k k k k k k k k
a x by z bx a x by z ay + + + + =

Pour dvelopper les quations, on dfini les coefficients suivants :
2 2 2
; ;
; ;
xx k yy k zz k
xy k k xz k k yz k k
S x S y S z
S x y S x z S y z
= = =
= = =



Ce qui donne :
( )
( )
( )
( )
2 2
2 2
2 2
2 2
2 2 2
0
1
2 2 2
0
1
xx yy zz xy xz yz
xx xy xz
xx yy zz xy xz yz
xy yy yz
a a S b S S abS aS bS
aS bS S
a b
b a S b S S abS aS bS
aS bS S
a b

+ + + + +

+ + =

+ +

+ + + + +
+ + =

+ +
2 2
( ) 0
xy xz xx yy xy yz
b S bS ab S S a S aS + + =
( ) ( )
2 2
1
( )
xy yz xx yy xz
xy
b a S aS a S S S b
S
= + +
En reportant plusieurs fois cette expression b
2
dans le systme prcdent, on le rduit deux
quations en b au premier degr. Ce qui conduit deux formulations de b exprim en fonction de a.
L'galisation de ces deux expressions de b donne une quation o ne figure plus que l'inconnue a.
Ces dveloppements sont trs fastidieux. Il serait sans intrt de les reproduire ici en raison de leur
volume considrable et du fait que, s'il le souhaite, le lecteur pourra les reproduire lui-mme : il ne
s'agit que de calcul purement "mcanique" (qui peut tre grandement facilit par l'usage d'un
logiciel de calcul formel). Heureusement, des simplifications apparaissent dans la formulation
finale, qui se rduit alors une quation du troisime degr :
3 2
3 2 1 0
0 c a c a c a c + + + =
2 2
0
3 2 2 2
1
3
2
c ( ) ( )
( 2 ) ( )
( 2 )
yz xy xz xy xz zz yy
xy xy xz yz zz xy xx zz yy zz xx yy
xz yz yy zz xx
yz
S S S S S S S
c S S S S S S S S S S S S
S S S S S
c S
= +
= + + + +
+ +
= +
2 2 2
2 2
3
( 2 ) ( )
( 2 )
( ) ( )
yz xz xy xx yz xx zz xx yy yy zz
xy xz xx yy zz
xy yz xz xz yz xx yy
S S S S S S S S S S S
S S S S S
c S S S S S S S

+ + +

+ +

= +

Cette quation peut possder jusqu' trois racines. Pour chaque racine relle, on calcule b
correspondant :
( )
2 2 2
( )
( ) ( )
xy yz yz xy xy yz
yz xx yy xy xz
S S a S S a S S
b
S S S S S a Sxy Syy Szz SxzSyz
+
=
+ +

Lorsqu'il y a plusieurs racines relles, on choisira celle laquelle correspond la plus petite valeur de
( )
2
2
2 2
1
1
k k k k
a x by z
a b
= + +
+ +



Updated : October 18, 2011 22

Le compendium suivant donne la solution exacte au problme de rgression plane en 3D :

Donnes : (X
1
, Y
1
, Z
1
), (X
2
, Y
2
, Z
2
), ..., (X
k
, Y
k
, Z
k
), ..., (X
n
, Y
n
, Z
n
)
Pour k=1 n, calculer les coordonnes rduites :

1 1 1
; ;
k k k k k k k k k
x X X y Y Y z Z Z
n n n
= = =


Puis calculer les sommes :
2 2 2
; ;
; ;
xx k yy k zz k
xy k k xz k k yz k k
S x S y S z
S x y S x z S y z
= = =
= = =



Les coefficients de l'quation :
3 2
3 2 1 0
0 c a c a c a c + + + = seront calculs avec :
2 2
0
3 2 2 2
1
3
2
c ( ) ( )
( 2 ) ( )
( 2 )
yz xy xz xy xz zz yy
xy xy xz yz zz xy xx zz yy zz xx yy
xz yz yy zz xx
yz
S S S S S S S
c S S S S S S S S S S S S
S S S S S
c S
= +
= + + + +
+ +
= +
2 2 2
2 2
3
( 2 ) ( )
( 2 )
( ) ( )
yz xz xy xx yz xx zz xx yy yy zz
xy xz xx yy zz
xy yz xz xz yz xx yy
S S S S S S S S S S S
S S S S S
c S S S S S S S

+ + +

+ +

= +

Ensuite, la rsolution de l'quation du troisime degr :
2 3 2 3
0 2 1
3 3 3
3 3
3
1
3
3
2
3
3
2
; ; ; ; ;
3 27 3 4 27
Si 0
3 2 2
2 cos
3 3
2 27
Si 0 2 cos
3 3
arccos
4
2
2 cos
3 3
c c c r r r s q p
r s t p s q t R
c c c
r q q
R a R R
r
a
p
r
R a
q
r
a

= = = = = + = +
> = + + +
| |
= +
|

=
+ | |
< = +

|
\ | |

=
|

+
| |
\

= +

|
\

( )
2 2 2
( )
( ) ( )
xy yz yz xy xy yz
yz xx yy xy xz xy yy zz xz yz
S S a S S a S S
b
S S S S S a S S S S S
+
=
+ +

S'il y a plusieurs valeurs relles de a, calculer chaque b correspondant, ainsi que les sommes
( )
2
2
2 2
1
1
k k k k
a x by z
a b
= + +
+ +

La plus petite dtermine le choix optimal.
L'quation du plan ( ) : 1 0 A x B y C z + + + = est ainsi obtenue avec :
( )
1 1
; ;
k k k
a b
a X b Y Z C A B
n

= + + = = =





Updated : October 18, 2011 23




8. COMPARAISONS ( pour les mmes donnes numriques ) :

Mthode des moindres carrs :
A =
B = C =

k
2
=
.2 : Relativement l'axe des z - 0.580241 2.256375 1.763997 0.0037708677
.3 : Relativement l'axe des y - 0.580773 2.259281 1.765619 0.0037706012
.4 : Relativement l'axe des x - 0.581731 2.256348 1.763981 0.0037798329
.5 : Relativement l'quation du plan - 0.577067 2.24195 1.754331 0.0037957959
.6 : Distances vraies, mthode itrative - 0.580617 2.258106 1.764963 0.0037703595
.7 : Distances vraies, mthode directe - 0.580617 2.258106 1.764963 0.0037703595

Les paramtres A, B et C obtenus sont respectivement trs voisins les uns des autres,
dfinissant donc des plans ( ) voisins. La plus petite somme des carts quadratiques est obtenue
avec les deux mthodes qui prennent en compte les distances vraies, mais la diffrence est si petite
qu'on peut se demander s'il y a un intrt se tourner vers des mthodes plus compliques qu'une
mthode simple usuelle (gnralement celle relativement l'axe des z ).
Effectivement, dans la majorit des cas, l'une ou l'autre des trois premires mthodes peut
tre satisfaisante et suffisante en pratique. Toutefois, il ne faut pas oublier que, dans des cas plus
rres, mais qui existent, les moindres carrs pris relativement une direction peuvent prsenter des
insuffisances et mme des dfaillances de calcul numrique (lorsque cette direction se trouve
malencontreusement tre presque parallle au plan, par exemple). A ce point de vue, les "moindres
carrs des distances vraies" offrent plus de scurit.
Il faut quand mme reconnatre que l'intrt du calcul ardu prsent au .7 est plus thorique
qu'utilitaire et qu'il serait plutt du genre "exercice de style".

Updated : October 18, 2011 24


COMPARAISON AVEC L'ANALYSE EN COMPOSANTES PRINCIPALES


Analyse en composantes principales (rappel sommaire) :

Etant donnes les coordonnes des n points :
(X
1
, Y
1
, Z
1
), (X
2
, Y
2
, Z
2
), ..., (X
k
, Y
k
, Z
k
), ..., (X
n
, Y
n
, Z
n
)
Les moyennes arithmtiques
m m m
1 1 1
; ;
k k k
X X Y Y Z Z
n n n
= = =


dfinissent le point M(X
m m
, , Y
m m
, , Z
m m
) )

Les coordonnes rduites (x
1
, y
1
, z
1
), (x
2
, y
2
, z
2
), ..., (x
k
, y
k
, z
k
), ..., (x
n
, y
n
, z
n
) sont :

m m m
; ;
k k k k k k
x X X y Y Y z Z Z = = =

Soit la matrice : [M] et sa transpose [M]
T
:

[ ]
1 1 1
2 2 2
... ... ...
M
... ... ...
k k k
n n n
x y z
x y z
x y z
x y z




=






[ ]
1 2
T
1 2
1 2
... ...
M ... ...
... ...
k n
k n
k n
x x x x
y y y y
z z z z


=





Leur produit dfinit la matrice
T
[E] [M] [M] =

On calcule les valeurs propres de [E] soit :
1 2 3
, , et les vecteurs propres respectifs
correspondants, soit:

1,1 2,1 3,1
1 2 3
1,2 2,2 3,2
1,3 2,3 3,3
V ; V ; V
V V V
V V V
V V V


= = =





Note : ne pas confondre les notations indics ci-dessus avec le non indic du .7.

Plan de rgression en 3D. :

Les trois vecteurs propres
1 2 3
V , V , V

dterminent trois plans (
1
) , (
2
) , (
3
) , chacun
correspondant un couple de vecteurs. Les quations paramtriques de ces plans sont :

m ,1 ,1
m ,2 ,2
m ,3 ,3
( ) [ 1 3 ]
j k
i j k
j k
X X V V
Y Y V V i j k
Z Z V V



= + +

= + +

= + +

( , ) sont ( dans le systme d'axes V , V
j k

) les coordonnes du point (X, Y, Z).
Chacune de ces trois plans correspond un extrmum de l'cart quadratique moyen des
distances orthogonales entre les points donns et le plan considr.

Updated : October 18, 2011 25


Considrons l'un de ces plan (
i
). Avec les notations du pazagraphe 7, les coordonnes du
point H
i
(u
i
,v
i
,w
i
) correspondant sont telles que

,1
,2
,3
i i i
i i i
i i i
u V
v V
w V

avec
m ,1 m ,2 m ,3
2 2 2
,1 ,2 ,3
i i i
i
i i i
X V Y V Z V
V V V

+ +
=
+ +

V
i,1
2
+ V
i,2
2
+ V
i,3
2
= 1 si le vecteur V
i

a t normalis.
On en dduit :

,1 ,2
,3 ,3
m m m
m m m
m m m
;
1
i i
i i
i i
i i i i
i
i
i i
i
i
i i
i
i i
V V
u v
a b
w V w V
a
A
a X b Y Z
b
B
a X b Y Z
C
a X b Y Z
= = = =

+ +

+ +

+ +

Ce qui donne l'quation du plan de rgression (

) : 1 0
i i i
A X B Y C Z + + + =

La somme des carts quadratiques entre points et plan est donne par :

( )
( )
2
2
2 2 2
1
1
1
n
k i k i k i k
i
i i i
k
A X B Y C Z
A B C

=
= + + +
+ +


Le plan de rgression correspond la plus petite de ces trois valeurs.

Un exemple numrique est donn page suivante.


Comparaison avec les mthodes considres au .8 :

Ainsi que l'on pouvait s'y attendre, la mthode d'analyse en composantes principales
revient au mme que celle expose au .7.
L'criture litrale des quations, telle que ce qui a t fait au .7 , est un "exercice de
style" dont on peut se passer en pratique. La mthode d'analyse en composantes principales se
formalise de faon beaucoup plus concise et lgante. Bien videmment, il faut disposer de
moyens de calculs matriciels numriques incluant les calculs de valeurs et vecteurs propres
pour que la mthode d'analyse en composantes principales soit vraiment prfrable en
pratique.

Updated : October 18, 2011 26

Exemple numrique (Plan de rgression)





X
m
=0.001
Y
m
= 1.105
Z
m
= -1.98















Plan (
i
) i 1 2 3
Valeur propre
i
32.2732540371 54.1889156034 0.0037703595
Vecteur propre V
i

V
i,1 -0.8259214727 0.5276653908 -0.1985521501
orthogonal au plan
Vi,
2
-0.4633774381 -0.4347291445 0.7721994048
Vi,
3
0.3211464944 0.7297806563 0.6035603722
a
i
-2.5717904046 0.7230465569 -0.3289681683
b
i
-1.4428849333 -0.5956983661 1.2794070657
A
i
-0.7189878171 0.2741384167 -0.5806165989
Equation du plan B
i
-0.4033830621 -0.2258551754 2.2581059528
C
i
0.2795670346 0.37914352 1.7649628592
Ecarts quadratiques (
k
2
)
i
32.273254 54.1889156 0.0037703595

Bien videmment, dans le cas prsent, c'est le plan (
3
) qui est le plan de rgression.
Il convient de slectionner la troisime colonne ci-dessus.
Le rsultat est le mme que celui du .7.

Updated : October 18, 2011 27

Discussion

Question pose par "pjv87" le 10 aot 2011 :

Aux paragraphes 5,6,7, pourquoi avoir pris une quation du plan
A x+B y+C z+1=0 (qui pose problme lorsque le plan passe par l'origine) ?
Peut-on rsoudre de la mme faon A x+B y+C z+D = 0 ?

Rponse :
Un plan est dfini par trois paramtres indpendants, non pas quatre. En consquence,
la rgression ne peut porter que sur trois paramtres indpendants.
Si l'quation du plan est A x+B y+C z+D = 0, l'un des paramtre dois tre fix arbitrairement.
Le choix s'est port sur D=1. Mais on aurait aussi bien pu choisir de fixer A=1 et d'optimiser
B, C, D. Ou de choisir B=1, ou C=1. Tout cela est possible avec des calculs similaires.
Il tait galement possible de raliser l'optimisation avec quatre paramtres A, B, C, D
non indpendants. Pour cela, une relation complmentaire doit tre donne, par exemple
A+B+C+D = k avec k fix arbitrairement. C'est possible, mais les calculs auraient t un peu
plus compliqus. C'est la raison pour laquelle on ne l'a pas fait.
De toute faon, il y a toujours un cas particulier :
Avec D=1 : A x+B y+C z+D = 0 le point (0, 0, 0) "pose problme".
Avec A=1 : x+B y+C z+D = 0 les plans parallles l'axe des x "posent problme".
Avec B=1 : Ax+y+C z+D = 0 les plans parallles l'axe des y "posent problme".
Avec C=1 : A x+B y+z+D = 0 les plans parallles l'axe des z "posent problme".
Et mme avec les quatre paramtres A, B, C, D non indpendants et une relation
A+B+C+D=1 (par exemple), de la mme faon, le point (1, 1, 1) "pose problme".

Mais que veut dire "pose problme" dans ce contexte ? N'est-ce pas un faux
problme ?
En fait, dans le cas de l'quation A x+B y+C z+D = 0, si les points exprimentaux ne
sont pas tous exactement sur un plan qui passe par (0,0,0) , on trouvera les coefficients A, B,
C tels que le plan ne passera pas exactement par (0,0,0).
Il est alors possible, dans certains cas, que ce plan calcul passe trs prs de (0,0,0) ce
qui correspondra de grandes valeurs de A, B, C. Il n'y a donc pas de problme, hormis
ventuellement des difficults de calcul lis aux grands nombres.
Mme dans ce cas exceptionnel, il n'y a pas de difficult car une simple translation du
systme d'axes permet de se retrouver dans la situation o le plan ne passe pas par la nouvelle
origine, ni son voisinage. Et le calcul se fait alors sans difficult.

Remarque : il ne faut pas confondre le problme dont on vient de parler avec un
problme diffrent qui est le suivant : Calculer l'quation d'un plan passant exactement par
un point fix -priori (par exemple 0,0,0) et au plus proche d'un ensemble de points donns.
Ce problme est diffrent car l'optimisation portera alors sur deux paramtres
indpendants au lieux de trois. L'quation du plan pourra tre A x+B y+z = 0, ou x+B y+C z=0,
ou A x+y+C z = 0. Ce pourrait tre aussi avec trois paramtres A, B, C non indpendants :
Ax+By+Cz=0 avec une relation de dpendance A+B+C = k et k tant fix arbitrairement.
L'tude thorique serait similaire (et plus simple) que celle qui a t faite lorsque l'on
n'impose pas au plan de passer par un point donn -priori. Mais il s'agit d'tudes diffrentes
qu'il ne faut pas confondre.
De mme que ce serait encore une autre tude si l'on imposait au plan de contenir une
droite fixe -priori (problme d'optimisation un seul paramtre indpendant).

Updated : October 18, 2011 28

CARACTERISATION DE TRAJECTOIRE en 3D.

Jean Jacquelin

1. INTRODUCTION :

Etant donnes les coordonnes de n points :
P
1
(X
1
, Y
1
, Z
1
), P
2
(X
2
, Y
2
, Z
2
), ..., P
k
(X
k
, Y
k
, Z
k
), ..., P
n
(X
n
, Y
n
, Z
n
).
il s'agit de dterminer les paramtres caractrisant une courbe du genre ellipse, parabole ou
hyperbole, de telle sorte que cette courbe passe au voisinage des points. Il s'agit d'une courbe plane
donc dans un plan ( ) inconnu au dpart et dont il convient de dterminer les paramtres.
Le point M(X
m m
, , Y
m m
, , Z
m m
) ) tant dfini par :

m m m
1 1 1
; ;
k k k
X X Y Y Z Z
n n n
= = =


nous travaillons dans le systme d'axes (x,y,z) translat de OM

par rapport au systme d'axes

initial (X,Y,Z).

Cette figure est prsente en tant que nomenclature des symboles utiliss. Elle n'est pas reprsentative de l'xemple
numrique trait la fin de l'article. Certaines notations de l'article prcdent "Rgressions planes en 3D." ont t
modifies (par exemple, le plan () est maintenant dfini partir du point M au lieu de O ).

Updated : October 18, 2011 29


Rgression plane par la mthode d'analyse en composantes principales :

Soit la matrice : [M] et sa transpose [M]
T
:

[ ]
1 1 1
2 2 2
... ... ...
M
... ... ...
k k k
n n n
x y z
x y z
x y z
x y z




=






[ ]
1 2
T
1 2
1 2
... ...
M ... ...
... ...
k n
k n
k n
x x x x
y y y y
z z z z


=





Leur produit dfinit la matrice
T
[E] [M] [M] =

On calcule les valeurs propres de [E] soit :
1 2 3
, , , ranges par valeurs dcroissantes
et les vecteurs propres respectifs correspondants, soit:

[ ]
1,1 2,1 3,1 1,1 2,1 3,1
1 2 3
1,2 2,2 3,2 1,2 2,2 3,2
1,3 2,3 3,3 1,3 2,3 3,3
V ; V ; V ; V
V V V V V V
V V V V V V
V V V V V V


= = = =





On suppose que ces vecteurs ont t normaliss donc : V
i,1
2
+ V
i,2
2
+ V
i,3
2
= 1
Du fait que
3
est la plus petite valeur propre, le vecteur propre correspondant
3
V

est le
vecteur unitaire perpendiculaire au plan () dtermin par
1 2
V , V


Ce qui donne l'quation du plan de rgression () : 1 0 AX BY CZ + + + =

m m m
3,1 3,2
3,3 3,3 m m m
m m m
; ;
1
i i
i i
a
A
a X bY Z
V V
b
a b B
V V a X b Y Z
C
a X b Y Z

+ +

= = =

+ +

+ +

L'quation paramtrique du plan () est :
1,1 2,1
1,2 2,2
1,3 2,3
x V V
y V V
z V V



= +

= +

= +

( , ) sont les coordonnes du point (x, y, z) dans le systme d'axes
1 2
V , V



La distance entre l'un des points donns P
k
(x
k
, y
k
, z
k
) et le plan () est la projection de MPk

sur 3 V

. La somme des carrs de toutes ces distances est :

( )
2
3 3
1
MP .V
n
k
k

=
=

Updated : October 18, 2011 30


Optimisation des paramtres de l'quation d'une conique dans le plan ( ) :

Le systme
1 2 3
V , V , V

constitue une nouvelle base sur laquelle un point (P) est repr par
ses coordonnes (, , ) avec les relations :




[ =0 si (P) est sur le plan () ]


Dans ce systme d'axes, les coordonnes des points donns (P
k
) sont calcules par :

[ ]
( )
1
T
V
k k
k k
k k
x
y
z

=





Considrons une courbe du genre conique dont l'quation gnrale est :


2 2
0,2 2,0 1,1 0,1 1,0
1 0 + + + + + =

Le principe de la rgression linaire portant sur les cinq coefficients
0,2 2,0 1,1 0,1 1,0
, , , , a
t expos dans le papier "Rgressions coniques, quadriques", premire partie, paragraphe 5 :
"Ajustement des paramtres d'une quation". Le systme d'quations linaires rsoudre a t
explicit dans la seconde partie du mme papier au paragraphe "Gnralisation aux coniques".
Avec les notations utilises ici, le systme d'quation est :

4 2 2 3 3 2 2
0,2
2 2 4 3 2 3
2,0
3 3 2 2 2 2
1,1
0,1
3 2 2 2
1,0
2 3 2 2
k k k k k k k k k
k k k k k k k k
k k k k k k k k k k
k k k k k k k k
k k k k k k k k

| |
|
| | |
|
|
|
|
|
| =
|
|
|
|
|
|
\
|
|
\





2
k
k k
k
k

| |
|
|
|
|
|
|
|
|
|
|
\

La premire partie du papier "Rgressions coniques, quadriques"a t publie dans le magazine QUADRATURE
n63, pp.33-40, janvier 2007. La deuxime partie a t publie dans QUADRATURE n65, pp.4-5, juillet 2007
Edit par EDP Sciences, 17 av. du Hoggar, PA de Courtaboeuf, 91944 Les ULIS, France
L'article complet "Rgressions coniques, quadriques, circulaires, sphriques" est accesspble par :
http://www.scribd.com/JJacquelin/documents
[ ]
1,1 2,1 3,1
T
1,2 2,2 3,2
1,3 2,3 3,3
MP V .
x V V V
y V V V
z V V V

= + +

= + + =

= + +

Updated : October 18, 2011 31


En crivant le systme prcdent sous forme symbolique : [ ][ ] [ ] S = on le rsout par :
[ ] [ ] [ ]
1
S

= ce qui donne les coefficients de l'quation de la conique.

L'quation paramtrique de la conique dans le systme d'axes initial est donn par :

2 2
0,2 2,0 1,1 0,1 1,0
m 1,1 2,1
m 1,2 2,2
m 1,3 2,3
1 0
X X V V
Y Y V V
Z Z V V

+ + + + + =

= + +

= + +

= + +

Par exemple, pour une valeur relle donne du paramtre , la premire relation donne deux
valeurs relles de (ou une seule valeur, ou pas de valeur relle). Les trois autres relations
donnent les coordonnes (X,Y,Z) des deux points correspondants de la conique (ou un seul
point, ou pas de point).En faisant varier le paramtre choisi, le ou les point(s) parcourent la
courbe reprsentative de la conique.

Nature et caractristiques de la conique :

Selon les valeurs des coefficients qui sont obtenus, on dtermine la nature de la courbe :

2
0,2 2,0 1,1
0 Ellipse
4 ( ) 0 Parabole
0 Hyperbole

>

<

Le cas de la parabole est un peu spcial car, en calcul numrique, il faut s'attendre trouver une valeur proche de
zro au lieu de l'galit thorique zro. Dans ce cas, la partie utile de la courbe (celle qui se trouve dans la
rgion des points exprimentaux) se prsente comme un arc d'ellipse, ou d'hyperbole, dgnre qui peut tre
pratiquement confondue avec un arc de parabole.

Le point M ( qui est l'origine du systme d'axes dont les vecteurs unitaires sont
1 2
V , V

)
n'est pas le centre de la conique. Les vecteurs
1 2
V , V

ne dfinissent pas les axes de la
conique.
Tous les paramtres qui carractrisent la conique ( centre, axes, points focaux, etc. ) se
calculent classiquement partir des coefficients
0,2 2,0 1,1 0,1 1,0
, , , , .
Voir, par exemple, pour le calcul des axes de la coniqie : :
http://mathworld.wolfram.com/QuadraticCurve.html
Danc cet article, les notations : a x
2
+ 2 b x y + c y
2
+ 2 d x + 2 f y + g = 0 correspondent :
x ; y ; a
2,0
; b
1,1
; c
0,2
; d
1,0
; f
0,1
; g 1.
Puis, pour le calcul des autres paramtres et selon le cas :
http://mathworld.wolfram.com/Ellipse.html
http://mathworld.wolfram.com/Parabola.html
http://mathworld.wolfram.com/Hyperbola.html

Dviations : Le calcul analytique de la distance d
k
entre un point P
k
et la conique est
thoriquement possible, mais conduirait des expressions compliques et volumineuses. En
effet, il serait ncessaire de rsoudre une quation polynomiale du quatrime degr. Ceci sort
du cadre du prsent article. En pratique, les distances d
k
entre les points donns et la courbe
peuvent tre obtenues approximativement par calcul numrique.

Updated : October 18, 2011 32



DISCUSSION :

Dans la prsente tude, le critre d'optimisation n'est pas le minimum de la somme des
carrs des distances entre les points donns et la courbe calcule. Et ceci pour deux raisons :
- Pour dterminer le plan () le critre est bien le minimum du carr des distances
orthogonales entre les points et le plan. Ce n'est donc pas en relation directe avec les distances
entre les points et la courbe, qui n'est pas encore connue ce stade.
- Pour dterminer les paramtres optimum de l'quation de la courbe, la mthode employe se
rfre un critre d'optimisation diffrent du classique "moindre somme des carrs des
distances". Ceci est expliqu dans le papier "Rgressions coniques, quadriques" dont il a t
fait rfrence.

Si le critre de "moindre somme des carrs des distances" tait impratif, il serait en
effet impossible de ramener le problme du calcul linaire. Le recours des mthodes plus
sophistiques impliquerait du calcul itratif. On contourne ce problme compliqu en ne
prenant pas pour critre les distances au sens purement gomtrique, mais des sommes de
carrs d'expressions mathmatiques, par exemple lors de l'ajustement des paramtres de
l'quation d'une courbe.
De plus et ainsi qu'on l'a remarqu dans le papier ayant fait rfrence ce sujet :
<< Rien ne prouve priori que la mthode des moindres carrs soit la plus pertinente dans le
cadre de tel ou tel problme concret. En principe, on devrait donc choisir, au cas par cas, la
mthode de rgression la plus approprie pour satisfaire le critre d'ajustement spcifique au
problme que l'on traite. >>
Parfois, ces considrations ne sont pas prises en compte et ce qui motive le choix d'une
mthode est tout autre : On se contante de demander que les calculs soient les plus simples
possibles. Ce qui conduit la forme la lmentaire de "moindre somme des carrs des
distances". Mais, lorsqu'on sort des cas de droites ou de plan, on est contraint de remettre en
question ce schma simple. Il faut se rsigner, soit s'orienter vers des mthodes ittratives,
soit accepter des critres diffrents qui permettent de rester dans le contexte de calculs non-
ittratifs (ce qui est le parti qui a t pris dans le prsent article).
C'est l'exprience pratique de la mise en uvre de telle ou telle mthode et
l'observation des rsultats qu'elle procure, qu'il convient de juger finalement en tout tat de
cause.

Afin de faciliter la mise en uvre de la mthode qui a t dcrite, le paragraphe
suivant donne un exemple d'application numrique. Le nombre de points considrs (n=10)
est volontairement petit pour que les vrifications soient facilites.

Updated : October 18, 2011 33

EXEMPLE NUMERIQUE DE DETERMINATION DE TRAJECTOIRE en 3D.

Donnes : x
k
y
k
z
k



X
m
=0.001
Y
m
= 1.105
Z
m
= -1.98

x
k
= X
k
- X
m

y
k
= Y
k
- Y
m

z
k
= Z
k
- Z
m













Valeurs propres et vecteurs propres :
1
1,1
1
1,2
1,3
V
54.1889
0.527665
0.434729
0.729781
V
V
V
=
=

= =

2
2,1
2
2,2
2,3
V
32.2732
0.825921
0.463377
0.321146
V
V
V
=
=

= =

3
3,1
3
3,2
3,3
V
0.00377036
0.198552
0.772199
0.603560
V
V
V
=
=

= =

Equation du plan () dans le systme d'axes initial est A X + B Y + C Z+1 = 0 , avec :
a = -0.328968 ; b = 1.279407 ; A = -0.580617 ; B = 2.258106 ; C = 1.764963

[ ]
0.527665 0.825921 0.198552
0.434729 0.463377 0.772199
0.729781 0.321146 0.603560
V



=


[ ]
0.527665 0.434729 0.729781
T
0.825921 0.463377 0.321146
0.198552 0.772199 0.603560
V

=













[ ]
( )
[ ]
0.313034 2.281796 0.002049
2.401434 0.705147 0.031439
2.170129 1.550661 0.02606
0.202006 2.786786 0.020523
1
T 3.000851 2.102011 0.008312
4.103166 0.0

V M
k k k

=
01348 0.025111
2.582884 1.96762 0.005045
0.33058 2.286796 0.02378
2.459816 0.730839 0.016845
2.213915 1.531392 0.010154
















[ ]
( )
0.527665 0.825921 0.198552
1
T
0.434729 0.463377 0.772199
0.729781 0.321147 0.603560
V

=



Updated : October 18, 2011 34






















[ ]
4 4 4
4 4
1
4 4
4 4
0.007004 0.001317 2.756075 10 7.597519 10 4.968029 10
0.001317 0.002489 1.891561 10 7.120826 10 0.002749
2.756075 10 1.891561 10 0.010996 0.002931 0.002569
7.597519 10 7.120826 10 0.0
S

=
4
02931 0.032164 0.001591
4.968029 10 0.002749 0.002569 0.001591 0.022154

Equation de la conique dans le plan ()

Nature de la conique :
0,2

2,0
4
1,1
2
= 0.014284 > 0 donc c'est une ellipse.

Dviations relativement l'quation (
k
au lieu de 0 ) :


Distances entre les points et l'ellipse :



[ ] [ ] [ ]
0,2
2,0
1,1
0,1
1,0
0.154699
0.09238
1
S 0.001355
0.063107
0.132913

=

=


= = =


=

=

2 2
0,2 2,0 1,1 0,1 1,0
1 0 + + + + + =
1 1 1 1
1 1 1 1
1 1 1
1
4 3 2 2 3
161.0947 5.99897 95.9334 11.3442
4 3 2 2
525.142 6.05259 5.99897 11.7854
3 2 2
63.47255 32.2733 54.188916
n n n n
k k k k
n n n n
k k k k
n n n
k k k
n
k
k k k k k k k
k k k k k k
k k k
k k




= = = =
= = = =
= = =
=
= = = =
= = = =
= = =

-15 15 15
1 1
2.22 10 10 1.33 10
n n
k k
k k


= =
< = =