A vector space is a mathematical structure that allows us to work with things that have both a magnitude and a direction. This is useful for studying physical quantities like forces and velocity. The concept of vector spaces is important for linear algebra, which is a way of solving systems of linear equations.

A vector space is a mathematical structure that allows us to work with things that have both a magnitude and a direction. This is useful for studying physical quantities like forces and velocity. The concept of vector spaces is important for linear algebra, which is a way of solving systems of linear equations.

https://linear.axler.net/LADRvideos.html

I've seen Gilbert Strang's excellent lecture series. I'm curious how these rank in relation.

What does writing an expression using trace operator open up to?

What is the trace operator invariant for?

What is the Frobenius Norm of a Matrix?

The trace operator provides the alternative way of writing which norm of the matrix?

Where the trace operator is useful?

A more intuitive description of why dual spaces are useful or interesting.

Does this just look like

[ 1 1 0 0 ]

as in two |0> smooshed together?

Lost me here...

Transpose?

Starting to get a little bit more into linear algebra / complex numbers. I'd like to see this happen more gradually as I haven't used any of this since college.

read while playing with this: http://matrixmultiplication.xyz/

After months of using and learning about matrices, this is the best gist I've come across.

closure in mathematics. sounds similar to domain of a function

李宏毅 linear algebra lec7

Textbook: chapter 1.7

前一节课已经介绍了如何判断【有没有解】：很多“换句话说”

有没有解 ---> 是不是线性组合 ---> 在不在span中。

现在要解决的是：如果有解，那么会有多少个解！

李宏毅 linear algebra lec6: Having solution or Not?

Textbook: chapter 1.6

\(Ax=b\)

能否找到一个 x 使得 \(Ax=b\) 成立.

• Linear combination
• span

有没有解这个问题非常重要：假设 Linear system 是一个电路，现在老板告诉你这个电路要输出 b 这么大的电流，你能不能找到合适的电压源or电流源，还是根本就找不到？

关于“解”的名词定义

consistent

A system of linear equations is called consistent if it has one or more solutions。

只要有解就叫做 consistent.

inconsistent

A system of linear equations is called inconsistent if its solution set is empty(no solution)

没有解就叫做 inconsistent.

如何确定“解”

Naive 方法：线的交点

把 system of linear equations 的方程都画成直线，如果他们有交点，那么就是有解，否则无解。

General 方法

定义引入：Linear Combination

Given a vector set \(\{u_1,u_2,...,u_k\}\)

The linear combination of the vectors in the set: \(v=c_1u_1+c_2u_2+...+c_ku_k,\ c_1,c_2,...,c_k\ are\ scalars\ coefficients\ of\ linear\ combination\)

linear combination is a vector.

有了 Linear combination 的定义之后，我们再回一下 lec5 篇末讲解的关于 使用 column view of product of matrix and vector 所以我们可以得到的结论是：

\(Ax\) 其本质就是一个 linear combination, 他是

• 以 \(x\) 的每一位为 scalar coefficient of linear combination,
• 以 columns of \(A\) as vectors 作为 vector set engaged in linear combination, 的一个 linear combination

矩阵与向量的乘法就是对矩阵的列做线性组合。

对于 \(Ax=b\) 是否有解（x是变量）这件事，实际就是在问：b 是否是columns of A的所有可能的线性组合中的一种。

从是否有解到是否是线性组合

如果两个向量不是平行的同时不是0向量，那么他们可以组合出二维空间中所有可能的向量（亦即，线性组合的所有可能性覆盖整个2D空间）。

【判断题】：如上所说，如果非零非平行的两个向量的线性组合可以覆盖整个二维空间的话，那么非零非平行的三个向量的线性组合是否可以覆盖整个三维空间呢？

【答案】：否

引入 independent 向量

在三维空间中对参与线性组合的向量不能仅仅给出【非零】【非平行】两个限制，还得加上一个【不在同一个二维平面】。试想，如果三个向量处在同一平面的话，那么不论如何线性组合都不可能与第三维有任何关系。

引入 反之不反

非零非平行 ===> 有解；有解 ==X==> 非零非平行。

引入 span

vector set 的所有可能的 linear combination （另一个vector set）就是这组 vector set 的 span。

\(v = c_1u_1+c_2u_2+...+c_ku_k\)

\(v\) 毫无疑问是一个向量。

如果我们穷举所有可能的\(c_1,c_2,...,c_k\)，他们所得到的向量的集合（vector set \(V\)）就是\(x_1,x_2,...,x_k\)的span，同时，\(x_1,x_2,...,x_k\) 叫做 vector set \(V\) 的 generating set.

引入 generating set

\(if\ Vector\ set\ V=Span(S),\ then\ V\ is\ Span\ of\ S, also\ S\ is\ a\ generating\ set\ for\ V,\ or\ S\ generates\ V\)

\(S\) 可以作为一种描述 \(V\) 特性的方法。为什么我们需要这种描述方法呢？因为 \(V\) 作为一个 span，他通常都非常非常的大（一般都是无穷多个），如果我们想要描述这种无穷大（“无穷”都意味着抽象）的向量的集合，最好的方法就是找到一个更具体（“有限”意味着具体）的可联想的“指标” --- generating set --- 这个向量集合是由什么样的向量集合生成的。

相同的向量集(span)可能由不同的向量集（generating set）产生：

\(S_1=\begin{vmatrix} 1 \\ -1\end{vmatrix}\)

同

\(S_2=\{\begin{vmatrix}1\\-1\end{vmatrix},\begin{vmatrix}-2\\2\end{vmatrix}\}\)

产生的向量集是相同的。

引入 span of standard vector

standard vector 其实就是 one-hot encoding vector. 可以见下：

\(e_1=\begin{vmatrix}1\\0\\0\end{vmatrix}, e_1=\begin{vmatrix}0\\1\\0\end{vmatrix}, e_1=\begin{vmatrix}0\\0\\1\end{vmatrix}\)

\(span(e_1)=one\ R^1\ in\ R^3\), one axis in 3D-space \(span(e_1,e_2)=one\ R^2\ in\ R^3\), one 2D-space in 3D-space \(span(e_1,e_2,e_3)=R^3\), whole 3D-space.

其实今天学的东西就是“换句话说”，

• \(Ax=b\) has solution or not?

换句话说

• is \(b\) the linear combination of columns of \(A\)?

换句话说

• is \(b\) in the \(span\) of the columns of \(A\)?

李宏毅 linear algebra lec 5

重新定义线性代数

第三节课讲过，一个线性系统不仅仅是一条“直线”，直线只是一种特殊到不能再特殊的情况。线性系统的本质是：

1. '->' 以下表示线性系统

2. 符合加法性：x->y ==> x1+x2->y1+y2

3. 符合乘法(scalar)性：x->y ==> x1k->yk

广义向量

再结合一个超级牛逼的观点广义向量 --- 函数也是一种向量。我们就把线性系统是一条直线的观点边界向外扩展了一些：

线性系统是以向量（亦即，包含函数和数字和普通向量）作为输入

现实世界中的很多东西都可以表示为向量，就连函数也不例外。

他可以造就这样的奇迹：

1. 加法性：fn->fc ===> fn1 + fn2-> fc1+fc2

2. 乘法性：fn->fc ===> fn1k->fc1k

也就是说，线性系统接收的输入和输出都是一个向量，而数字和函数只是特殊的向量。，满足这一特殊性质的线性系统就是【微分】and【积分】。微分和积分更像是一种【功能】而不是一个【函数】，这也是为什么我们不把系统说成函数的原因，因为他强调功能而不是记号表示性，或者说函数只是功能的一个可记号话的特例

线性代数这门学科研究的主要目标就是线性系统。

于是新的关于线性系统的定义至此形成：

\(vector\ \Rightarrow LinearSystem\ \Rightarrow vector\)

\(domain\ \Rightarrow LinearSystem\ \Rightarrow co-domain\)

线性系统与联立线性等式

可以证明的是（in lec3）任何线性系统都可以表示为联立线性等式，也就是说联立等式与线性系统是等价的

Linear system is equal to System of linear equations.

【矩阵，联立方程式，线性系统】其实是一个东西

1. 矩阵 符合加法/乘法性 所以其为一个线性系统
2. 联立方程式 符合加法/乘法性 所以其为一个线性系统

因为

矩阵=线性系统，

联立方程=线性系统，

所以

矩阵=联立方程。

lec5: 两种方式理解 matrix-vector product

• 可以按行看待matrix,正常看法；
• 可以按列看待matrix,把整个matrix看成一个row向量;

联立方程式 ---> 按列看待matrix的 product of matrix and vector ---> 联立方程式可以写成 Product of matrix and vector. 因为之前说过任何一个线性系统都可以写成联立方程式，那么矩阵就是一个线性系统。

\(Ax=b\) 中的 \(A\) 就是一个线性系统

2. 綫性相加（combinations），伸展（span）和單位矢量 l 綫性代數的本質 第二章

本节介绍三个相互依存的概念：单位向量，span，线性无关。

基于单位向量和数字的向量的表示

• basis vector \(\hat{i}\)
• basis vector \(\hat{j}\)
• adding together two scaled vectors

是一种新的看待线性代数的观点，非常重要的三个知识点，至此向量的表示可以变成在各个单位向量做放缩然后取和，或者，单位向量的线性组合：

\((-5)\hat{i} + (2)\hat{j}\)

可以表示为：

$$ \begin{vmatrix} -5 \\ 2 \end{vmatrix} $$

what if we choose different basis vectors?

虽然不论使用什么方向的两个单位向量，其线性组合始终可以覆盖全部二维空间，但是我们仍然得到了同一个向量的两个不同的表示：

although \((3.1)\hat{i} + (-2.9)\hat{j} = \(-0.8)\hat{i}+(1.3)\hat{j}\) 但是该向量的实际表示却完全不同：

$$ \begin{vmatrix} -0.8 \\ 1.3 \end{vmatrix} \neq \begin{vmatrix} 3.1 \\ -2.9 \end{vmatrix} $$

所以这里需要给出一种关于线性代数的数字表示法\([3.1, -2.9]\)的一个基本条件：每当使用这种表示法时都必须明确单位向量是什么。

span of vectors

可以想象的是：

• 如果两个单位向量之间存在夹角那么他们的线性组合形成的向量一定可以覆盖整个平面；
• 如果两个单位向量处在同一个方向（相同or相反）那么他们的线性组合形成的向量只能覆盖这条直线
• 如果两个单位向量都是 \(\vec{0}\)，那么他们的线性组合形成的向量都是\(\vec{0}\)

引入概念span

The "span" of \(\vec{v}\) and \(\vec{w}\) is the set of all their linear combinations:

\(a\vec{v} + b\vec{w}\)

let \(a\) and \(b\) vary over all linear numbers.

两个向量的 span 与另一个表述是等价的，仅仅通过加法和乘法两种操作可以产生的所有向量

Vectors VS. Points

【tips】如果仅仅考虑一个向量，经常将向量想象成带箭头线段；如果考虑一堆向量的集合，经常将向量想象成点。

• 那么两个同方向的向量的span就形成一条直线
• 那么两个不同方向的向量的span就形成一个平面
• 那么三个不同方向的向量的span就形成一个体

Redundant and Linearly dependent

任何时候如果你有多个向量，但是去掉其中一个或几个，前者和后者的span没有减少（span is essencially a set --- set of all possible linear combination）

\(span(\vec{v},\vec{w},\vec{u})=span(\vec{v},\vec{w})\)

那么就可以说这个向量与其他向量是 Linear dependent （线性相关）， 或者说这个（可以去掉的）向量可以表示为其他向量的线性组合, 因为这个可以去掉的向量处在其他向量的span中。

\(redundant\ \vec{u} \in span(\vec{v}, \vec{w})\)

或者说，他对扩大span(set of linear combination of vectors)没有作用。

由此衍生出另一个概念：Linearly independent

Linearly independent

\(\vec{u} \neq a\vec{v} + b\vec{w},\ for\ all\ values\ of\ a\ and\ b\)

如果某个单位向量无法通过其他单位向量的任何一种系数的线性组合来得到，那么就说这个向量与其他向量都是线性无关的

basis vector

有了之前的 span linearly dependent 两个概念，下面才能正式定义第三个概念：何为 basis vector ？

The basis of a vector space is a set of linearly independent vectors that span the full space

A First Course in Linear Algebra, Robert A. Beezer<br> Free as PDF or online.