李宏毅 linear algebra lec6: Having solution or Not?

Textbook: chapter 1.6

\(Ax=b\)

能否找到一个 x 使得 \(Ax=b\) 成立.

• Linear combination
• span

有没有解这个问题非常重要：假设 Linear system 是一个电路，现在老板告诉你这个电路要输出 b 这么大的电流，你能不能找到合适的电压源or电流源，还是根本就找不到？

关于“解”的名词定义

consistent

A system of linear equations is called consistent if it has one or more solutions。

只要有解就叫做 consistent.

inconsistent

A system of linear equations is called inconsistent if its solution set is empty(no solution)

没有解就叫做 inconsistent.

如何确定“解”

Naive 方法：线的交点

把 system of linear equations 的方程都画成直线，如果他们有交点，那么就是有解，否则无解。

General 方法

定义引入：Linear Combination

Given a vector set \(\{u_1,u_2,...,u_k\}\)

The linear combination of the vectors in the set: \(v=c_1u_1+c_2u_2+...+c_ku_k,\ c_1,c_2,...,c_k\ are\ scalars\ coefficients\ of\ linear\ combination\)

linear combination is a vector.

有了 Linear combination 的定义之后，我们再回一下 lec5 篇末讲解的关于 使用 column view of product of matrix and vector 所以我们可以得到的结论是：

\(Ax\) 其本质就是一个 linear combination, 他是

• 以 \(x\) 的每一位为 scalar coefficient of linear combination,
• 以 columns of \(A\) as vectors 作为 vector set engaged in linear combination, 的一个 linear combination

矩阵与向量的乘法就是对矩阵的列做线性组合。

对于 \(Ax=b\) 是否有解（x是变量）这件事，实际就是在问：b 是否是columns of A的所有可能的线性组合中的一种。

从是否有解到是否是线性组合

如果两个向量不是平行的同时不是0向量，那么他们可以组合出二维空间中所有可能的向量（亦即，线性组合的所有可能性覆盖整个2D空间）。

【判断题】：如上所说，如果非零非平行的两个向量的线性组合可以覆盖整个二维空间的话，那么非零非平行的三个向量的线性组合是否可以覆盖整个三维空间呢？

【答案】：否

引入 independent 向量

在三维空间中对参与线性组合的向量不能仅仅给出【非零】【非平行】两个限制，还得加上一个【不在同一个二维平面】。试想，如果三个向量处在同一平面的话，那么不论如何线性组合都不可能与第三维有任何关系。

引入 反之不反

非零非平行 ===> 有解；有解 ==X==> 非零非平行。

引入 span

vector set 的所有可能的 linear combination （另一个vector set）就是这组 vector set 的 span。

\(v = c_1u_1+c_2u_2+...+c_ku_k\)

\(v\) 毫无疑问是一个向量。

如果我们穷举所有可能的\(c_1,c_2,...,c_k\)，他们所得到的向量的集合（vector set \(V\)）就是\(x_1,x_2,...,x_k\)的span，同时，\(x_1,x_2,...,x_k\) 叫做 vector set \(V\) 的 generating set.

引入 generating set

\(if\ Vector\ set\ V=Span(S),\ then\ V\ is\ Span\ of\ S, also\ S\ is\ a\ generating\ set\ for\ V,\ or\ S\ generates\ V\)

\(S\) 可以作为一种描述 \(V\) 特性的方法。为什么我们需要这种描述方法呢？因为 \(V\) 作为一个 span，他通常都非常非常的大（一般都是无穷多个），如果我们想要描述这种无穷大（“无穷”都意味着抽象）的向量的集合，最好的方法就是找到一个更具体（“有限”意味着具体）的可联想的“指标” --- generating set --- 这个向量集合是由什么样的向量集合生成的。

相同的向量集(span)可能由不同的向量集（generating set）产生：

\(S_1=\begin{vmatrix} 1 \\ -1\end{vmatrix}\)

同

\(S_2=\{\begin{vmatrix}1\\-1\end{vmatrix},\begin{vmatrix}-2\\2\end{vmatrix}\}\)

产生的向量集是相同的。

引入 span of standard vector

standard vector 其实就是 one-hot encoding vector. 可以见下：

\(e_1=\begin{vmatrix}1\\0\\0\end{vmatrix}, e_1=\begin{vmatrix}0\\1\\0\end{vmatrix}, e_1=\begin{vmatrix}0\\0\\1\end{vmatrix}\)

\(span(e_1)=one\ R^1\ in\ R^3\), one axis in 3D-space \(span(e_1,e_2)=one\ R^2\ in\ R^3\), one 2D-space in 3D-space \(span(e_1,e_2,e_3)=R^3\), whole 3D-space.

其实今天学的东西就是“换句话说”，

• \(Ax=b\) has solution or not?

换句话说

• is \(b\) the linear combination of columns of \(A\)?

换句话说

• is \(b\) in the \(span\) of the columns of \(A\)?