СИСТЕМА ОДНОРОДНЫХ ЛИНЕЙНЫХ УРАВНЕНИЙ

Системой однородных линейных уравнений называется система вида

Ясно, что в этой случае , т.к. все элементы одного из столбцов в этих определителях равны нулю.

Так как неизвестные находятся по формулам , то в случае, когда Δ ≠ 0, система имеет единственное нулевое решение x = y = z = 0. Однако, во многих задачах интересен вопрос о том, имеет ли однородная система решения отличные от нулевого.

Теорема. Для того, чтобы система линейных однородных уравнений имела ненулевое решение, необходимо и достаточно, чтобы Δ ≠ 0.

Итак, если определитель Δ ≠ 0, то система имеет единственное решение. Если же Δ ≠ 0, то система линейных однородных уравнений имеет бесконечное множество решений.

Примеры.

СОБСТВЕННЫЕ ВЕКТОРЫ И СОБСТВЕННЫЕ ЗНАЧЕНИЯ МАТРИЦЫ

Пусть задана квадратная матрица , X – некоторая матрица–столбец, высота которой совпадает с порядком матрицы A . .

Во многих задачах приходится рассматривать уравнение относительно X

где λ – некоторое число. Понятно, что при любом λ это уравнение имеет нулевое решение .

Число λ, при котором это уравнение имеет ненулевые решения, называется собственным значением матрицы A , а X при таком λ называется собственным вектором матрицы A .

Найдём собственный вектор матрицы A . Поскольку E ∙X = X , то матричное уравнение можно переписать в виде или . В развёрнутом виде это уравнение можно переписать в виде системы линейных уравнений. Действительно .

И, следовательно,

Итак, получили систему однородных линейных уравнений для определения координат x 1 , x 2 , x 3 вектора X . Чтобы система имела ненулевые решения необходимо и достаточно, чтобы определитель системы был равен нулю, т.е.

Это уравнение 3-ей степени относительно λ. Оно называется характеристическим уравнением матрицы A и служит для определения собственных значений λ.

Каждому собственному значению λ соответствует собственный вектор X , координаты которого определяются из системы при соответствующем значении λ.

Примеры.

ВЕКТОРНАЯ АЛГЕБРА. ПОНЯТИЕ ВЕКТРОРА

При изучении различных разделов физики встречаются величины, которые полностью определяются заданием их численных значений, например, длина, площадь, масса, температура и т.д. Такие величины называются скалярными. Однако, кроме них встречаются и величины, для определения которых, кроме численного значения, необходимо знать также их направление в пространстве, например, сила, действующая на тело, скорость и ускорение тела при его движении в пространстве, напряжённость магнитного поля в данной точке пространства и т.д. Такие величины называются векторными.

Введём строгое определение.

Направленным отрезком назовём отрезок, относительно концов которого известно, какой из них первый, а какой второй.

Вектором называется направленный отрезок, имеющий определённую длину, т.е. это отрезок определённой длины, у которого одна из ограничивающих его точек принимается за начало, а вторая – за конец. Если A – начало вектора, B – его конец, то вектор обозначается символом, кроме того, вектор часто обозначается одной буквой . На рисунке вектор обозначается отрезком, а его направление стрелкой.

Модулем или длиной вектора называют длину определяющего его направленного отрезка. Обозначается || или ||.

К векторам будем относить и так называемый нулевой вектор, у которого начало и конец совпадают. Он обозначается . Нулевой вектор не имеет определенного направления и модуль его равен нулю ||=0.

Векторы и называются коллинеарными , если они расположены на одной прямой или на параллельных прямых. При этом если векторы и одинаково направлены, будем писать , противоположно .

Векторы, расположенные на прямых, параллельных одной и той же плоскости, называются компланарными .

Два вектора и называются равными , если они коллинеарны, одинаково направлены и равны по длине. В этом случае пишут .

Из определения равенства векторов следует, что вектор можно переносить параллельно самому себе, помещая его начало в любую точку пространства.

Например .

ЛИНЕЙНЫЕ ОПЕРАЦИИ НАД ВЕКТОРАМИ

1. Умножение вектора на число.

   Произведением вектора на число λ называется новый вектор такой, что:

   Произведение вектора на число λ обозначается .

   

   Например, есть вектор, направленный в ту же сторону, что и вектор , и имеющий длину, вдвое меньшую, чем вектор .

   Введённая операция обладает следующими свойствами :

2. Сложение векторов.

   Пусть и – два произвольных вектора. Возьмём произвольную точку O и построим вектор . После этого из точки A отложим вектор . Вектор , соединяющий начало первого вектора c концом второго , называется суммой этих векторов и обозначается .

   

   Сформулированное определение сложения векторов называют правилом параллелограмма , так как ту же самую сумму векторов можно получить следующим образом. Отложим от точки O векторы и . Построим на этих векторах параллелограмм ОАВС . Так как векторы , то вектор , являющийся диагональю параллелограмма, проведённой из вершины O , будет очевидно суммой векторов .

   

   Легко проверить следующие свойства сложения векторов .

3. Разность векторов.

   Вектор, коллинеарный данному вектору , равный ему по длине и противоположно направленный, называется противоположным вектором для вектора и обозначается . Противоположный вектор можно рассматривать как результат умножения вектора на число λ = –1: .

Определение 9.3. Вектор х называется собственным вектором матрицы А , если найдется такое число λ, что выполняется равенство: Ах = λх , то есть результатом применения к х линейного преобразования, задаваемого матрицей А , является умножение этого вектора на число λ . Само число λ называетсясобственным числом матрицы А .

Подставив в формулы (9.3) x` j = λx j , получим систему уравнений для определения координат собственного вектора:

. (9.5)

Эта линейная однородная система будет иметь нетривиальное решение только в случае, если ее главный определитель равен 0 (правило Крамера). Записав это условие в виде:

получим уравнение для определения собственных чисел λ , называемое характеристическим уравнением . Кратко его можно представить так:

| A - λE | = 0, (9.6)

поскольку в его левой части стоит определитель матрицы А-λЕ . Многочлен относительно λ | A - λE | называется характеристическим многочленом матрицы А.

Свойства характеристического многочлена:

1) Характеристический многочлен линейного преобразования не зависит от выбора базиса. Доказательство. (см. (9.4)), но следовательно, . Таким образом, не зависит от выбора базиса. Значит, и |A-λE | не изменяется при переходе к новому базису.

2) Если матрица А линейного преобразования является симметрической (т.е. а ij =a ji ), то все корни характеристического уравнения (9.6) – действительные числа.

Свойства собственных чисел и собственных векторов:

1) Если выбрать базис из собственных векторов х 1 , х 2 , х 3 , соответствующих собственным значениям λ 1 , λ 2 , λ 3 матрицы А , то в этом базисе линейное преобразование А имеет матрицу диагонального вида:

(9.7) Доказательство этого свойства следует из определения собственных векторов.

2) Если собственные значения преобразования А различны, то соответствующие им собственные векторы линейно независимы.

3) Если характеристический многочлен матрицы А имеет три различных корня, то в некотором базисе матрица А имеет диагональный вид.

Найдем собственные числа и собственные векторы матрицы Составим характеристическое уравнение: (1- λ )(5 - λ )(1 - λ ) + 6 - 9(5 - λ ) - (1 - λ ) - (1 - λ ) = 0, λ ³ - 7λ ² + 36 = 0, λ 1 = -2, λ 2 = 3, λ 3 = 6.

Найдем координаты собственных векторов, соответствующих каждому найденному значению λ. Из (9.5) следует, что если х (1) ={x 1 ,x 2 ,x 3 } – собственный вектор, соответствующий λ 1 =-2, то

- совместная, но неопределенная система. Ее решение можно записать в виде х (1) ={a ,0,-a }, где а – любое число. В частности, если потребовать, чтобы |x (1) |=1, х (1) =

Подставив в систему (9.5) λ 2 =3, получим систему для определения координат второго собственного вектора - x (2) ={y 1 ,y 2 ,y 3 }:

, откуда х (2) ={b,-b,b } или, при условии |x (2) |=1, x (2) =

Для λ 3 = 6 найдем собственный вектор x (3) ={z 1 , z 2 , z 3 }:

, x (3) ={c ,2c,c } или в нормированном варианте

х (3) = Можно заметить, что х (1) х (2) = ab – ab = 0, x (1) x (3) = ac – ac = 0, x (2) x (3) = bc - 2bc + bc = 0. Таким образом, собственные векторы этой матрицы попарно ортогональны.

Лекция 10.

Квадратичные формы и их связь с симметричными матрицами. Свойства собственных векторов и собственных чисел симметричной матрицы. Приведение квадратичной формы к каноническому виду.

Определение 10.1. Квадратичной формой действительных переменных х 1 , х 2 ,…,х n называется многочлен второй степени относительно этих переменных, не содержащий свободного члена и членов первой степени.

Примеры квадратичных форм:

(n = 2),

(n = 3). (10.1)

Напомним данное в прошлой лекции определение симметрической матрицы:

Определение 10.2. Квадратная матрица называется симметрической , если , то есть если равны элементы матрицы, симметричные относительно главной диагонали.

Свойства собственных чисел и собственных векторов симметрической матрицы:

1) Все собственные числа симметрической матрицы действительные.

Доказательство (для n = 2).

Пусть матрица А имеет вид: . Составим характеристическое уравнение:

(10.2) Найдем дискриминант:

Следовательно, уравнение имеет только действительные корни.

2) Собственные векторы симметрической матрицы ортогональны.

Доказательство (для n = 2).

Координаты собственных векторов и должны удовлетворять уравнениям.

". В первой части изложены положения, минимально необходимые для понимания хемометрики, а во второй части - факты, которые необходимо знать для более глубокого постижения методов многомерного анализа. Изложение иллюстрируется примерами, выполненными в рабочей книге Excel Matrix.xls , которая сопровождает этот документ.

Ссылки на примеры помещены в текст как объекты Excel. Эти примеры имеют абстрактный характер, они никак не привязаны к задачам аналитической химии. Реальные примеры использования матричной алгебры в хемометрике рассмотрены в других текстах, посвященных разнообразным хемометрическим приложениям.

Большинство измерений, проводимых в аналитической химии, являются не прямыми, а косвенными . Это означает, что в эксперименте вместо значения искомого аналита C (концентрации) получается другая величина x (сигнал), связанная, но не равная C, т.е. x (C) ≠ С. Как правило, вид зависимости x (C) не известен, однако, к счастью, в аналитической химии большинство измерений пропорциональны. Это означает, что при увеличении концентрации С в a раз, сигнал X увеличится на столько же., т.е. x (a C) = a x (C). Кроме того, сигналы еще и аддитивны, так что сигнал от пробы, в которой присутствуют два вещества с концентрациями C 1 и C 2 , будет равен сумме сигналов от каждого компонента, т.е. x (C 1 + C 2) = x (C 1)+ x (C 2). Пропорциональность и аддитивность вместе дают линейность . Можно привести много примеров, иллюстрирующих принцип линейности, но достаточно упомянуть два самых ярких примера - хроматографию и спектроскопию. Вторая особенность, присущая эксперименту в аналитической химии - это многоканальность . Современное аналитическое оборудование одновременно измеряет сигналы для многих каналов. Например, измеряется интенсивность пропускания света сразу для нескольких длин волн, т.е. спектр. Поэтому в эксперименте мы имеем дело со множеством сигналов x 1 , x 2 ,...., x n , характеризующих набор концентраций C 1 ,C 2 , ..., C m веществ, присутствующих в изучаемой системе.

Рис. 1 Спектры

Итак, аналитический эксперимент характеризуется линейностью и многомерностью. Поэтому удобно рассматривать экспериментальные данные как векторы и матрицы и манипулировать с ними, используя аппарат матричной алгебры. Плодотворность такого подхода иллюстрирует пример, показанный на , где представлены три спектра, снятые для 200 длин волн от 4000 до 4796 cm −1 . Первый (x 1) и второй (x 2) спектры получены для стандартных образцов, в которых концентрация двух веществ A и B, известны: в первом образце [A] = 0.5, [B] = 0.1, а во втором образце [A] = 0.2, [B] = 0.6. Что можно сказать о новом, неизвестном образце, спектр которого обозначен x 3 ?

Рассмотрим три экспериментальных спектра x 1 , x 2 и x 3 как три вектора размерности 200. Средствами линейной алгебры можно легко показать, что x 3 = 0.1 x 1 +0.3 x 2 , поэтому в третьем образце очевидно присутствуют только вещества A и B в концентрациях [A] = 0.5×0.1 + 0.2×0.3 = 0.11 и [B] = 0.1×0.1 + 0.6×0.3 = 0.19.

1. Базовые сведения

1.1 Матрицы

Матрицей называется прямоугольная таблица чисел, например

Рис. 2 Матрица

Матрицы обозначаются заглавными полужирными буквами (A ), а их элементы - соответствующими строчными буквами с индексами, т.е. a ij . Первый индекс нумерует строки, а второй - столбцы. В хемометрике принято обозначать максимальное значение индекса той же буквой, что и сам индекс, но заглавной. Поэтому матрицу A можно также записать как { a ij , i = 1,..., I ; j = 1,..., J }. Для приведенной в примере матрицы I = 4, J = 3 и a 23 = −7.5.

Пара чисел I и J называется размерностью матрицы и обознается как I ×J . Примером матрицы в хемометрике может служить набор спектров, полученный для I образцов на J длинах волн.

1.2. Простейшие операции с матрицами

Матрицы можно умножать на числа . При этом каждый элемент умножается на это число. Например -

Рис. 3 Умножение матрицы на число

Две матрицы одинаковой размерности можно поэлементно складывать и вычитать . Например,

Рис. 4 Сложение матриц

В результате умножения на число и сложения получается матрица той же размерности.

Нулевой матрицей называется матрица, состоящая из нулей. Она обозначается O . Очевидно, что A +O = A , A −A = O и 0A = O .

Матрицу можно транспонировать . При этой операции матрица переворачивается, т.е. строки и столбцы меняются местами. Транспонирование обозначается штрихом, A " или индексом A t . Таким образом, если A = {a ij , i = 1,..., I ; j = 1,...,J }, то A t = {a ji , j = 1,...,J ; i = 1,..., I }. Например

Рис. 5 Транспонирование матрицы

Очевидно, что (A t) t = A , (A +B ) t = A t +B t .

1.3. Умножение матриц

Матрицы можно перемножать , но только в том случае, когда они имеют соответствующие размерности. Почему это так, будет ясно из определения. Произведением матрицы A , размерностью I ×K , и матрицы B , размерностью K ×J , называется матрица C , размерностью I ×J , элементами которой являются числа

Таким образом для произведения AB необходимо, чтобы число столбцов в левой матрице A было равно числу строк в правой матрице B . Пример произведения матриц -

Рис.6 Произведение матриц

Правило перемножения матриц можно сформулировать так. Для того, чтобы найти элемент матрицы C , стоящий на пересечении i -ой строки и j -ого столбца (c ij ) надо поэлементно перемножить i -ую строку первой матрицы A на j -ый столбец второй матрицы B и сложить все результаты. Так в показанном примере, элемент из третьей строки и второго столбца, получается как сумма поэлементных произведений третьей строки A и второго столбца B

Рис.7 Элемент произведения матриц

Произведение матриц зависит от порядка, т.е. AB ≠ BA , хотя бы по соображениям размерности. Говорят, что оно некоммутативно. Однако произведение матриц ассоциативно. Это означает, что ABC = (AB )C = A (BC ). Кроме того, оно еще и дистрибутивно, т.е. A (B +C ) = AB +AC . Очевидно, что AO = O .

1.4. Квадратные матрицы

Если число столбцов матрицы равно числу ее строк (I = J = N ), то такая матрица называется квадратной. В этом разделе мы будем рассматривать только такие матрицы. Среди этих матриц можно выделить матрицы, обладающие особыми свойствами.

Единичной матрицей (обозначается I, а иногда E ) называется матрица, у которой все элементы равны нулю, за исключением диагональных, которые равны 1, т.е.

Очевидно AI = IA = A .

Матрица называется диагональной , если все ее элементы, кроме диагональных (a ii ) равны нулю. Например

Рис. 8 Диагональная матрица

Матрица A называется верхней треугольной , если все ее элементы, лежащие ниже диагонали, равны нулю, т.е. a ij = 0, при i >j . Например

Рис. 9 Верхняя треугольная матрица

Аналогично определяется и нижняя треугольная матрица.

Матрица A называется симметричной , если A t = A . Иными словами a ij = a ji . Например

Рис. 10 Симметричная матрица

Матрица A называется ортогональной , если

A t A = AA t = I .

Матрица называется нормальной если

1.5. След и определитель

Следом квадратной матрицы A (обозначается Tr(A ) или Sp(A )) называется сумма ее диагональных элементов,

Например,

Рис. 11 След матрицы

Очевидно, что

Sp(α A ) = α Sp(A ) и

Sp(A +B ) = Sp(A )+ Sp(B ).

Можно показать, что

Sp(A ) = Sp(A t), Sp(I ) = N ,

а также, что

Sp(AB ) = Sp(BA ).

Другой важной характеристикой квадратной матрицы является ее определитель (обозначается det(A )). Определение определителя в общем случае довольно сложно, поэтому мы начнем с простейшего варианта - матрицы A размерностью (2×2). Тогда

Для матрицы (3×3) определитель будет равен

В случае матрицы (N ×N ) определитель вычисляется как сумма 1·2·3· ... ·N = N ! слагаемых, каждый из которых равен

Индексы k 1 , k 2 ,..., k N определяются как всевозможные упорядоченные перестановки r чисел в наборе (1, 2, ... , N ). Вычисление определителя матрицы - это сложная процедура, которую на практике осуществляется с помощью специальных программ. Например,

Рис. 12 Определитель матрицы

Отметим только очевидные свойства:

det(I ) = 1, det(A ) = det(A t),

det(AB ) = det(A )det(B ).

1.6. Векторы

Если матрица состоит только из одного столбца (J = 1), то такой объект называется вектором . Точнее говоря, вектором-столбцом. Например

Можно рассматривать и матрицы, состоящие из одной строки, например

Этот объект также является вектором, но вектором-строкой . При анализе данных важно понимать, с какими векторами мы имеем дело - со столбцами или строками. Так спектр, снятый для одного образца можно рассматривать как вектор-строку. Тогда набор спектральных интенсивностей на какой-то длине волны для всех образцов нужно трактовать как вектор-столбец.

Размерностью вектора называется число его элементов.

Ясно, что всякий вектор-столбец можно превратить в вектор-строку транспонированием, т.е.

В тех случаях, когда форма вектора специально не оговаривается, а просто говорится вектор, то имеют в виду вектор-столбец. Мы тоже будем придерживаться этого правила. Вектор обозначается строчной прямой полужирной буквой. Нулевым вектором называется вектор, все элементы которого раны нулю. Он обозначается 0 .

1.7. Простейшие операции с векторами

Векторы можно складывать и умножать на числа так же, как это делается с матрицами. Например,

Рис. 13 Операции с векторами

Два вектора x и y называются колинеарными , если существует такое число α, что

1.8. Произведения векторов

Два вектора одинаковой размерности N можно перемножить. Пусть имеются два вектора x = (x 1 , x 2 ,...,x N) t и y = (y 1 , y 2 ,..., y N) t . Руководствуясь правилом перемножения "строка на столбец", мы можем составить из них два произведения: x t y и xy t . Первое произведение

называется скалярным или внутренним . Его результат - это число. Для него также используется обозначение (x ,y )= x t y . Например,

Рис. 14 Внутреннее (скалярное) произведение

Второе произведение

называется внешним . Его результат - это матрица размерности (N ×N ). Например,

Рис. 15 Внешнее произведение

Векторы, скалярное произведение которых равно нулю, называются ортогональными .

1.9. Норма вектора

Скалярное произведение вектора самого на себя называется скалярным квадратом. Эта величина

определяет квадрат длины вектора x . Для обозначения длины (называемой также нормой вектора) используется обозначение

Например,

Рис. 16 Норма вектора

Вектор единичной длины (||x || = 1) называется нормированным. Ненулевой вектор (x ≠ 0 ) можно нормировать, разделив его на длину, т.е. x = ||x || (x/ ||x ||) = ||x || e . Здесь e = x/ ||x || - нормированный вектор.

Векторы называются ортонормированными, если все они нормированы и попарно ортогональны.

1.10. Угол между векторами

Скалярное произведение определяет и угол φ между двумя векторами x и y

Если вектора ортогональны, то cosφ = 0 и φ = π/2, а если они колинеарны, то cosφ = 1 и φ = 0.

1.11. Векторное представление матрицы

Каждую матрицу A размера I ×J можно представить как набор векторов

Здесь каждый вектор a j является j -ым столбцом, а вектор-строка b i является i -ой строкой матрицы A

1.12. Линейно зависимые векторы

Векторы одинаковой размерности (N ) можно складывать и умножать на число, также как матрицы. В результате получится вектор той же размерности. Пусть имеется несколько векторов одной размерности x 1 , x 2 ,...,x K и столько же чисел α α 1 , α 2 ,...,α K . Вектор

y = α 1 x 1 + α 2 x 2 +...+ α K x K

называется линейной комбинацией векторов x k .

Если существуют такие ненулевые числа α k ≠ 0, k = 1,..., K , что y = 0 , то такой набор векторов x k называется линейно зависимым . В противном случае векторы называются линейно независимыми. Например, векторы x 1 = (2, 2) t и x 2 = (−1, −1) t линейно зависимы, т.к. x 1 +2x 2 = 0

1.13. Ранг матрицы

Рассмотрим набор из K векторов x 1 , x 2 ,...,x K размерности N . Рангом этой системы векторов называется максимальное число линейно-независимых векторов. Например в наборе

имеются только два линейно независимых вектора, например x 1 и x 2 , поэтому ее ранг равен 2.

Очевидно, что если векторов в наборе больше, чем их размерность (K >N ), то они обязательно линейно зависимы.

Рангом матрицы (обозначается rank(A )) называется ранг системы векторов, из которых она состоит. Хотя любую матрицу можно представить двумя способами (векторы столбцы или строки), это не влияет на величину ранга, т.к.

1.14. Обратная матрица

Квадратная матрица A называется невырожденной, если она имеет единственную обратную матрицу A -1 , определяемую условиями

AA −1 = A −1 A = I .

Обратная матрица существует не для всех матриц. Необходимым и достаточным условием невырожденности является

det(A ) ≠ 0 или rank(A ) = N .

Обращение матрицы - это сложная процедура, для выполнения которой существуют специальные программы. Например,

Рис. 17 Обращение матрицы

Приведем формулы для простейшего случая - матрицы 2×2

Если матрицы A и B невырождены, то

(AB ) −1 = B −1 A −1 .

1.15. Псевдообратная матрица

Если матрица A вырождена и обратная матрица не существует, то в некоторых случаях можно использовать псевдообратную матрицу, которая определяется как такая матрица A + , что

AA + A = A .

Псевдобратная матрица - не единственная и ее вид зависит от способа построения. Например для прямоугольной матрицы можно использовать метод Мура-Пенроуза .

Если число столбцов меньше числа строк, то

A + =(A t A ) −1 A t

Например,

Рис. 17a Псевдообращение матрицы

Если же число столбцов больше числа строк, то

A + =A t (AA t) −1

1.16. Умножение вектора на матрицу

Вектор x можно умножать на матрицу A подходящей размерности. При этом вектор-столбец умножается справа Ax , а вектор строка - слева x t A . Если размерность вектора J , а размерность матрицы I ×J то в результате получится вектор размерности I . Например,

Рис. 18 Умножение вектора на матрицу

Если матрица A - квадратная (I ×I ), то вектор y = Ax имеет ту же размерность, что и x . Очевидно, что

A (α 1 x 1 + α 2 x 2) = α 1 Ax 1 + α 2 Ax 2 .

Поэтому матрицы можно рассматривать как линейные преобразования векторов. В частности Ix = x , Ox = 0 .

2. Дополнительная информация

2.1. Системы линейных уравнений

Пусть A - матрица размером I ×J , а b - вектор размерности J . Рассмотрим уравнение

Ax = b

относительно вектора x , размерности I . По сути - это система из I линейных уравнений с J неизвестными x 1 ,...,x J . Решение существует в том, и только в том случае, когда

rank(A ) = rank(B ) = R ,

где B - это расширенная матрица размерности I ×(J+1 ), состоящая из матрицы A , дополненной столбцом b , B = (A b ). В противном случае уравнения несовместны.

Если R = I = J , то решение единственно

x = A −1 b .

Если R < I , то существует множество различных решений, которые можно выразить через линейную комбинацию J −R векторов. Система однородных уравнений Ax = 0 с квадратной матрицей A (N ×N ) имеет нетривиальное решение (x ≠ 0 ) тогда и только тогда, когда det(A ) = 0. Если R = rank(A )<N , то существуют N −R линейно независимых решений.

2.2. Билинейные и квадратичные формы

Если A - это квадратная матрица, а x и y - вектора соответствующей размерности, то скалярное произведение вида x t Ay называется билинейной формой, определяемой матрицей A . При x = y выражение x t Ax называется квадратичной формой.

2.3. Положительно определенные матрицы

Квадратная матрица A называется положительно определенной , если для любого ненулевого вектора x ≠ 0 ,

x t Ax > 0.

Аналогично определяются отрицательно (x t Ax < 0), неотрицательно (x t Ax ≥ 0) и неположительно (x t Ax ≤ 0) определенные матрицы.

2.4. Разложение Холецкого

Если симметричная матрица A положительно определена, то существует единственная треугольная матрица U с положительными элементами, для которой

A = U t U .

Например,

Рис. 19 Разложение Холецкого

2.5. Полярное разложение

Пусть A - это невырожденная квадратная матрица размерности N ×N . Тогда существует однозначное полярное представление

A = SR,

где S - это неотрицательная симметричная матрица, а R - это ортогональная матрица. Матрицы S и R могут быть определены явно:

S 2 = AA t или S = (AA t) ½ и R = S −1 A = (AA t) −½ A .

Например,

Рис. 20 Полярное разложение

Если матрица A вырождена, то разложение не единственно - а именно: S по-прежнему одна, а вот R может быть много. Полярное разложение представляет матрицу A как комбинацию сжатия/растяжения S и поворота R .

2.6. Собственные векторы и собственные значения

Пусть A - это квадратная матрица. Вектор v называется собственным вектором матрицы A , если

Av = λv ,

где число λ называется собственным значением матрицы A . Таким образом преобразование, которое выполняет матрица A над вектором v , сводится к простому растяжению или сжатию с коэффициентом λ. Собственный вектор определяется с точностью до умножения на константу α ≠ 0, т.е. если v - собственный вектор, то и αv - тоже собственный вектор.

2.7. Собственные значения

У матрицы A , размерностью (N ×N ) не может быть больше чем N собственных значений. Они удовлетворяют характеристическому уравнению

det(A − λI ) = 0,

являющемуся алгебраическим уравнением N -го порядка. В частности, для матрицы 2×2 характеристическое уравнение имеет вид

Например,

Рис. 21 Собственные значения

Набор собственных значений λ 1 ,..., λ N матрицы A называется спектром A .

Спектр обладает разнообразными свойствами. В частности

det(A ) = λ 1 ×...×λ N , Sp(A ) = λ 1 +...+λ N .

Собственные значения произвольной матрицы могут быть комплексными числами, однако если матрица симметричная (A t = A ), то ее собственные значения вещественны.

2.8. Собственные векторы

У матрицы A , размерностью (N ×N ) не может быть больше чем N собственных векторов, каждый из которых соответствует своему собственному значению. Для определения собственного вектора v n нужно решить систему однородных уравнений

(A − λ n I ) v n = 0 .

Она имеет нетривиальное решение, поскольку det(A − λ n I ) = 0.

Например,

Рис. 22 Собственные вектора

Собственные вектора симметричной матрицы ортогональны.

Собственные значения (числа) и собственные векторы.
Примеры решений

Будь собой

Из обоих уравнений следует, что .

Положим , тогда: .

В результате: – второй собственный вектор.

Повторим важные моменты решения:

– полученная система непременно имеет общее решение (уравнения линейно зависимы);

– «игрек» подбираем таким образом, чтобы он был целым и первая «иксовая» координата – целой, положительной и как можно меньше.

– проверяем, что частное решение удовлетворяет каждому уравнению системы.

Ответ .

Промежуточных «контрольных точек» было вполне достаточно, поэтому проверка равенств , в принципе, дело излишнее.

В различных источниках информации координаты собственных векторов довольно часто записывают не в столбцы, а в строки, например: (и, если честно, я сам привык записывать их строками) . Такой вариант приемлем, но в свете темы линейных преобразований технически удобнее использовать векторы-столбцы .

Возможно, решение показалась вам очень длинным, но это только потому, что я очень подробно прокомментировал первый пример.

Пример 2

Матрицы

Тренируемся самостоятельно! Примерный образец чистового оформления задачи в конце урока.

Иногда требуется выполнить дополнительное задание, а именно:

записать каноническое разложение матрицы

Что это такое?

Если собственные векторы матрицы образуют базис , то она представима в виде:

Где – матрица составленная из координат собственных векторов, – диагональная матрица с соответствующими собственными числами.

Такое разложение матрицы называют каноническим или диагональным .

Рассмотрим матрицу первого примера. Её собственные векторы линейно независимы (неколлинеарны)и образуют базис. Составим матрицу из их координат:

На главной диагонали матрицы в соответствующем порядке располагаются собственные числа, а остальные элементы равняются нулю:
– ещё раз подчёркиваю важность порядка: «двойка» соответствует 1-му вектору и посему располагается в 1-м столбце, «тройка» – 2-му вектору.

По обычному алгоритму нахождения обратной матрицы либо методом Гаусса-Жордана находим . Нет, это не опечатка! – перед вами редкое, как солнечное затмение событие, когда обратная совпала с исходной матрицей.

Осталось записать каноническое разложение матрицы :

Систему можно решить с помощью элементарных преобразований и в следующих примерах мы прибегнем к данному методу. Но здесь гораздо быстрее срабатывает «школьный» способ. Из 3-го уравнения выразим: – подставим во второе уравнение:

Поскольку первая координата нулевая, то получаем систему , из каждого уравнения которой следует, что .

И снова обратите внимание на обязательное наличие линейной зависимости . Если получается только тривиальное решение , то либо неверно найдено собственное число, либо с ошибкой составлена / решена система.

Компактные координаты даёт значение

Собственный вектор:

И ещё раз – проверяем, что найденное решение удовлетворяет каждому уравнению системы . В последующих пунктах и в последующих задачах рекомендую принять данное пожелание за обязательное правило.

2) Для собственного значения по такому же принципу получаем следующую систему:

Из 2-го уравнения системы выразим: – подставим в третье уравнение:

Поскольку «зетовая» координата равна нулю, то получаем систему , из каждого уравнения которой следует линейная зависимость .

Пусть

Проверяем, что решение удовлетворяет каждому уравнению системы.

Таким образом, собственный вектор: .

3) И, наконец, собственному значению соответствует система:

Второе уравнение выглядит самым простым, поэтому из него выразим и подставим в 1-е и 3-е уравнение:

Всё хорошо – выявилась линейная зависимость , которую подставляем в выражение :

В результате «икс» и «игрек» оказались выражены через «зет»: . На практике не обязательно добиваться именно таких взаимосвязей, в некоторых случаях удобнее выразить и через либо и через . Или даже «паровозиком» – например, «икс» через «игрек», а «игрек» через «зет»

Положим , тогда:

Проверяем, что найденное решение удовлетворяет каждому уравнению системы и записываем третий собственный вектор

Ответ : собственные векторы:

Геометрически эти векторы задают три различных пространственных направления («туда-обратно») , по которым линейное преобразование переводит ненулевые векторы (собственные векторы) в коллинеарные им векторы.

Если бы по условию требовалось найти каноническое разложение , то здесь это возможно, т.к. различным собственным числам соответствуют разные линейно независимые собственные векторы. Составляем матрицу из их координат, диагональную матрицу из соответствующих собственных значений и находим обратную матрицу .

Если же по условию нужно записать матрицу линейного преобразования в базисе из собственных векторов , то ответ даём в виде . Разница есть, и разница существенная! Ибо оная матрица – есть матрица «дэ».

Задача с более простыми вычислениями для самостоятельного решения:

Пример 5

Найти собственные векторы линейного преобразования, заданного матрицей

При нахождении собственных чисел постарайтесь не доводить дело до многочлена 3-й степени. Кроме того, ваши решения систем могут отличаться от моих решений – здесь нет однозначности; и векторы, которые вы найдёте, могут отличаться от векторов образца с точностью до пропорциональности их соответствующих координат. Например, и . Эстетичнее представить ответ в виде , но ничего страшного, если остановитесь и на втором варианте. Однако всему есть разумные пределы, версия смотрится уже не очень хорошо.

Примерный чистовой образец оформления задания в конце урока.

Как решать задачу в случае кратных собственных чисел?

Общий алгоритм остаётся прежним, но здесь есть свои особенности, и некоторые участки решения целесообразно выдержать в более строгом академичном стиле:

Пример 6

Найти собственные числа и собственные векторы

Решение

Конечно же, оприходуем сказочный первый столбец:

И, после разложения квадратного трёхчлена на множители:

В результате получены собственные числа , два из которых кратны.

Найдем собственные векторы:

1) С одиноким солдатом разделаемся по «упрощённой» схеме:

Из последних двух уравнений четко просматривается равенство , которое, очевидно, следует подставить в 1-е уравнение системы:

Лучшей комбинации не найти:
Собственный вектор:

2-3) Теперь снимаем пару часовых. В данном случае может получиться либо два, либо один собственный вектор. Невзирая на кратность корней, подставим значение в определитель , который приносит нам следующую однородную систему линейных уравнений :

Собственные векторы – это в точности векторы
фундаментальной системы решений

Собственно, на протяжении всего урока мы только и занимались тем, что находили векторы фундаментальной системы. Просто до поры до времени данный термин особо не требовался. Кстати, те ловкие студенты, которые в маскхалатах проскочили тему однородных уравнений , будут вынуждены вкурить её сейчас.

Единственное действие состояло в удалении лишних строк. В результате получена матрица «один на три» с формальной «ступенькой» посередине.
– базисная переменная, – свободные переменные. Свободных переменных две, следовательно, векторов фундаментальной системы тоже два .

Выразим базисную переменную через свободные переменные: . Нулевой множитель перед «иксом» позволяет принимать ему совершенно любые значения (что хорошо видно и из системы уравнений).

В контексте данной задачи общее решение удобнее записать не в строку, а в столбец:

Паре соответствует собственный вектор:
Паре соответствует собственный вектор:

Примечание : искушенные читатели могут подобрать данные векторы и устно – просто анализируя систему , но тут нужны некоторые знания: переменных – три, ранг матрицы системы – единица, значит, фундаментальная система решений состоит из 3 – 1 = 2 векторов. Впрочем, найдённые векторы отлично просматриваются и без этих знаний чисто на интуитивном уровне. При этом даже «красивее» запишется третий вектор: . Однако предостерегаю, в другом примере простого подбора может и не оказаться, именно поэтому оговорка предназначена для опытных людей. Кроме того, а почему бы не взять в качестве третьего вектора, скажем, ? Ведь его координаты тоже удовлетворяют каждому уравнение системы, и векторы линейно независимы. Такой вариант, в принципе, годен, но «кривоват», поскольку «другой» вектор представляет собой линейную комбинацию векторов фундаментальной системы.

Ответ : собственные числа: , собственные векторы:

Аналогичный пример для самостоятельного решения:

Пример 7

Найти собственные числа и собственные векторы

Примерный образец чистового оформления в конце урока.

Следует отметить, что и в 6-м и в 7-м примере получается тройка линейно независимых собственных векторов, и поэтому исходная матрица представима в каноническом разложении . Но такая малина бывает далеко не во всех случаях:

Пример 8

Решение : составим и решим характеристическое уравнение:

Определитель раскроем по первому столбцу:

Дальнейшие упрощения проводим согласно рассмотренной методике, избегая многочлена 3-й степени:

– собственные значения.

Найдем собственные векторы:

1) С корнем затруднений не возникает:

Не удивляйтесь, помимо комплекта в ходу также переменные – разницы тут никакой.

Из 3-го уравнения выразим – подставим в 1-е и 2-е уравнения:

Из обоих уравнений следует:

Пусть , тогда:

2-3) Для кратных значений получаем систему .

Запишем матрицу системы и с помощью элементарных преобразований приведём её к ступенчатому виду:

С матрицей А, если найдется такое число l, что АХ = lХ.

При этом число l называют собственным значением оператора (матрицы А), соответствующим вектору Х.

Иными словами, собственный вектор - это такой вектор, который под действием линейного оператора переходит в коллинеарный вектор, т.е. просто умножается на некоторое число. В отличие от него, несобственные векторы преобразуются более сложно.

Запишем определение собственного вектора в виде системы уравнений:

Перенесем все слагаемые в левую часть:

Последнюю систему можно записать в матричной форме следующим образом:

(А - lЕ)Х = О

Полученная система всегда имеет нулевое решение Х = О. Такие системы, в которых все свободные члены равны нулю, называют однородными . Если матрица такой системы - квадратная, и ее определитель не равен нулю, то по формулам Крамера мы всегда получим единственное решение - нулевое. Можно доказать, что система имеет ненулевые решения тогда и только тогда, когда определитель этой матрицы равен нулю, т.е.

|А - lЕ| = = 0

Это уравнение с неизвестным l называют характеристическим уравнением (характеристическим многочленом ) матрицы А (линейного оператора).

Можно доказать, что характеристический многочлен линейного оператора не зависит от выбора базиса.

Например, найдем собственные значения и собственные векторы линейного оператора, заданного матрицей А = .

Для этого составим характеристическое уравнение |А - lЕ| = = (1 - l) 2 - 36 = 1 - 2l + l 2 - 36 = l 2 - 2l - 35 = 0; Д = 4 + 140 = 144; собственные значения l 1 = (2 - 12)/2 = -5; l 2 = (2 + 12)/2 = 7.

Чтобы найти собственные векторы, решаем две системы уравнений

(А + 5Е)Х = О

(А - 7Е)Х = О

Для первой из них расширенная матрица примет вид

,

откуда х 2 = с, х 1 + (2/3)с = 0; х 1 = -(2/3)с, т.е. Х (1) = (-(2/3)с; с).

Для второй из них расширенная матрица примет вид

,

откуда х 2 = с 1 , х 1 - (2/3)с 1 = 0; х 1 = (2/3)с 1 , т.е. Х (2) = ((2/3)с 1 ; с 1).

Таким образом, собственными векторами этого линейного оператора являются все вектора вида (-(2/3)с; с) с собственным значением (-5) и все вектора вида ((2/3)с 1 ; с 1) с собственным значением 7.

Можно доказать, что матрица оператора А в базисе, состоящем из его собственных векторов, является диагональной и имеет вид:

,

где l i - собственные значения этой матрицы.

Верно и обратное: если матрица А в некотором базисе является диагональной, то все векторы этого базиса будут собственными векторами этой матрицы.

Также можно доказать, что если линейный оператор имеет n попарно различных собственных значений, то соответствующие им собственные векторы линейно независимы, а матрица этого оператора в соответствующем базисе имеет диагональный вид.

Поясним это на предыдущем примере. Возьмем произвольные ненулевые значения с и с 1 , но такие, чтобы векторы Х (1) и Х (2) были линейно независимыми, т.е. образовали бы базис. Например, пусть с = с 1 = 3, тогда Х (1) = (-2; 3), Х (2) = (2; 3).

Убедимся в линейной независимости этих векторов:

12 ≠ 0. В этом новом базисе матрица А примет вид А * = .

Чтобы убедиться в этом, воспользуемся формулой А * = С -1 АС. Вначале найдем С -1 .

С -1 = ;

Квадратичные формы

Квадратичной формой f(х 1 , х 2 , х n) от n переменных называют сумму, каждый член которой является либо квадратом одной из переменных, либо произведением двух разных переменных, взятым с некоторым коэффициентом: f(х 1 , х 2 , х n) = (a ij = a ji).

Матрицу А, составленную из этих коэффициентов, называют матрицей квадратичной формы . Это всегда симметрическая матрица (т.е. матрица, симметричная относительно главной диагонали, a ij = a ji).

В матричной записи квадратичная форма имеет вид f(Х) = Х Т AX, где

В самом деле

Например, запишем в матричном виде квадратичную форму .

Для этого найдем матрицу квадратичной формы. Ее диагональные элементы равны коэффициентам при квадратах переменных, а остальные элементы - половинам соответствующих коэффициентов квадратичной формы. Поэтому

Пусть матрица-столбец переменных X получена невырожденным линейным преобразованием матрицы-столбца Y, т.е. X = CY, где С - невырожденная матрица n-го порядка. Тогда квадратичная форма f(X) = Х T АХ = (CY) T A(CY) = (Y T C T)A(CY) = Y T (C T AC)Y.

Таким образом, при невырожденном линейном преобразовании С матрица квадратичной формы принимает вид: А * = C T AC.

Например, найдем квадратичную форму f(y 1 , y 2), полученную из квадратичной формы f(х 1 , х 2) = 2x 1 2 + 4х 1 х 2 - 3х 2 2 линейным преобразованием .

Квадратичная форма называется канонической (имеет канонический вид ), если все ее коэффициенты a ij = 0 при i ≠ j, т.е.
f(х 1 , х 2 , х n) = a 11 x 1 2 + a 22 x 2 2 + a nn x n 2 = .

Ее матрица является диагональной.

Теорема (доказательство здесь не приводится). Любая квадратичная форма может быть приведена к каноническому виду с помощью невырожденного линейного преобразования.

Например, приведем к каноническому виду квадратичную форму
f(х 1 , х 2 , х 3) = 2x 1 2 + 4х 1 х 2 - 3х 2 2 - х 2 х 3 .

Для этого вначале выделим полный квадрат при переменной х 1:

f(х 1 , х 2 , х 3) = 2(x 1 2 + 2х 1 х 2 + х 2 2) - 2х 2 2 - 3х 2 2 - х 2 х 3 = 2(x 1 + х 2) 2 - 5х 2 2 - х 2 х 3 .

Теперь выделяем полный квадрат при переменной х 2:

f(х 1 , х 2 , х 3) = 2(x 1 + х 2) 2 - 5(х 2 2 + 2* х 2 *(1/10)х 3 + (1/100)х 3 2) + (5/100)х 3 2 =
= 2(x 1 + х 2) 2 - 5(х 2 - (1/10)х 3) 2 + (1/20)х 3 2 .

Тогда невырожденное линейное преобразование y 1 = x 1 + х 2 , y 2 = х 2 + (1/10)х 3 и y 3 = x 3 приводит данную квадратичную форму к каноническому виду f(y 1 , y 2 , y 3) = 2y 1 2 - 5y 2 2 + (1/20)y 3 2 .

Отметим, что канонический вид квадратичной формы определяется неоднозначно (одна и та же квадратичная форма может быть приведена к каноническому виду разными способами). Однако полученные различными способами канонические формы обладают рядом общих свойств. В частности, число слагаемых с положительными (отрицательными) коэффициентами квадратичной формы не зависит от способа приведения формы к этому виду (например, в рассмотренном примере всегда будет два отрицательных и один положительный коэффициент). Это свойство называют законом инерции квадратичных форм.

Убедимся в этом, по-другому приведя ту же квадратичную форму к каноническому виду. Начнем преобразование с переменной х 2:

f(х 1 , х 2 , х 3) = 2x 1 2 + 4х 1 х 2 - 3х 2 2 - х 2 х 3 = -3х 2 2 - х 2 х 3 + 4х 1 х 2 + 2x 1 2 = -3(х 2 2 +
+ 2* х 2 ((1/6) х 3 - (2/3)х 1) + ((1/6) х 3 - (2/3)х 1) 2) + 3((1/6) х 3 - (2/3)х 1) 2 + 2x 1 2 =
= -3(х 2 + (1/6) х 3 - (2/3)х 1) 2 + 3((1/6) х 3 + (2/3)х 1) 2 + 2x 1 2 = f(y 1 , y 2 , y 3) = -3y 1 2 -
+3y 2 2 + 2y 3 2 , где y 1 = - (2/3)х 1 + х 2 + (1/6) х 3 , y 2 = (2/3)х 1 + (1/6) х 3 и y 3 = x 1 . Здесь отрицательный коэффициент -3 при y 1 и два положительных коэффициента 3 и 2 при y 2 и y 3 (а при использовании другого способа мы получили отрицательный коэффициент (-5) при y 2 и два положительных: 2 при y 1 и 1/20 при y 3).

Также следует отметить, что ранг матрицы квадратичной формы, называемый рангом квадратичной формы , равен числу отличных от нуля коэффициентов канонической формы и не меняется при линейных преобразованиях.

Квадратичную форму f(X) называют положительно (отрицательно ) определенной , если при всех значениях переменных, не равных одновременно нулю, она положительна, т.е. f(X) > 0 (отрицательна, т.е.
f(X) < 0).

Например, квадратичная форма f 1 (X) = x 1 2 + х 2 2 - положительно определенная, т.к. представляет собой сумму квадратов, а квадратичная форма f 2 (X) = -x 1 2 + 2x 1 х 2 - х 2 2 - отрицательно определенная, т.к. представляет ее можно представить в виде f 2 (X) = -(x 1 - х 2) 2 .

В большинстве практических ситуации установить знакоопределенность квадратичной формы несколько сложнее, поэтому для этого используют одну из следующих теорем (сформулируем их без доказательств).

Теорема . Квадратичная форма является положительно (отрицательно) определенной тогда и только тогда, когда все собственные значения ее матрицы положительны (отрицательны).

Теорема (критерий Сильвестра). Квадратичная форма является положительно определенной тогда и только тогда, когда все главные миноры матрицы этой формы положительны.

Главным (угловым) минором k-го порядка матрицы А n-го порядка называют определитель матрицы, составленный из первых k строк и столбцов матрицы А ().

Отметим, что для отрицательно определенных квадратичных форм знаки главных миноров чередуются, причем минор первого порядка должен быть отрицательным.

Например, исследуем на знакоопределенность квадратичную форму f(х 1 , х 2) = 2x 1 2 + 4х 1 х 2 + 3х 2 2 .

= (2 - l)*
*(3 - l) - 4 = (6 - 2l - 3l + l 2) - 4 = l 2 - 5l + 2 = 0; D = 25 - 8 = 17;
. Следовательно, квадратичная форма - положительно определенная.

Способ 2. Главный минор первого порядка матрицы А D 1 = a 11 = 2 > 0. Главный минор второго порядка D 2 = = 6 - 4 = 2 > 0. Следовательно, по критерию Сильвестра квадратичная форма - положительно определенная.

Исследуем на знакоопределенность другую квадратичную форму, f(х 1 , х 2) = -2x 1 2 + 4х 1 х 2 - 3х 2 2 .

Способ 1. Построим матрицу квадратичной формы А = . Характеристическое уравнение будет иметь вид = (-2 - l)*
*(-3 - l) - 4 = (6 + 2l + 3l + l 2) - 4 = l 2 + 5l + 2 = 0; D = 25 - 8 = 17;
. Следовательно, квадратичная форма - отрицательно определенная.

Способ 2. Главный минор первого порядка матрицы А D 1 = a 11 =
= -2 < 0. Главный минор второго порядка D 2 = = 6 - 4 = 2 > 0. Следовательно, по критерию Сильвестра квадратичная форма - отрицательно определенная (знаки главных миноров чередуются, начиная с минуса).

И в качестве еще одного примера исследуем на знакоопределенность квадратичную форму f(х 1 , х 2) = 2x 1 2 + 4х 1 х 2 - 3х 2 2 .

Способ 1. Построим матрицу квадратичной формы А = . Характеристическое уравнение будет иметь вид = (2 - l)*
*(-3 - l) - 4 = (-6 - 2l + 3l + l 2) - 4 = l 2 + l - 10 = 0; D = 1 + 40 = 41;
.

Одно из этих чисел отрицательно, а другое - положительно. Знаки собственных значений разные. Следовательно, квадратичная форма не может быть ни отрицательно, ни положительно определенной, т.е. эта квадратичная форма не является знакоопределенной (может принимать значения любого знака).

Способ 2. Главный минор первого порядка матрицы А D 1 = a 11 = 2 > 0. Главный минор второго порядка D 2 = = -6 - 4 = -10 < 0. Следовательно, по критерию Сильвестра квадратичная форма не является знакоопределенной (знаки главных миноров разные, при этом первый из них - положителен).