本文共 2858 字，大约阅读时间需要 9 分钟。

������������

���������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������

������������������

1.1 ���������������������

������������������������������������������������������������������������������

• ��������������������������� ( x )��������� ( f(x) \geq 0 )������������������ ( x = 0 ) ������( f(x) = 0 )���
• ��������������������������� ( \alpha ) ��������� ( x )��������� ( f(\alpha x) = |\alpha| \cdot f(x) )���
• ��������������������������������� ( x ) ��� ( y )��������� ( f(x + y) \leq f(x) + f(y) )���

������������������

2.1 Lp ������

Lp ������������������������������������������������������������

[ |x|p = \left( \sum{i=1}^n |x_i|^p \right)^{1/p} ]

������ ( p ) ��������������������������������� Lp ���������������

• L0 ��������������������������������������������������� ( |x|_0 = \text{Number of non-zero elements in } x )���
• L1 ��������������������������������������������������� ( |x|1 = \sum{i=1}^n |x_i| )���
• L2 ������������������������������������������������ ( |x|2 = \sqrt{\sum{i=1}^n x_i^2} )���
• L��� ��������������������������������������������������� ( |x|{\infty} = \max{i} |x_i| )���

L0 ���������������������

L0 ���������������������������������������������������������������������������������������

[ \min |x|_0 \quad \text{s.t.} \quad Ax = b ]

������ ( A ) ������������������������( b ) ������������������L0 ��������������������������������������� NP-hard��������������������������������������������������������������������������������������� L1 ������������������������������������������������Lasso Regularization������������������������������

L1 ���������������������

L1 ���������������������������������

[ \min |x|_1 \quad \text{s.t.} \quad Ax = b ]

������ L0 ���������L1 ������������������������������������������������������������������������������������������������������������������������������

������������������

3.1 1-���������������������

1-������������������������������������ L1 ���������������������

[ |A|1 = \max{j} \sum_{i=1}^m |a_{i,j}| ]

������ ( a_{i,j} ) ��������� ( A ) ������������

3.2 2-������������������

2-���������Frobenius���������������������������������������������������������������

[ |A|2 = \sqrt{\sum{i=1}^m \sum_{j=1}^n a_{i,j}^2} ]

���������������������������������������������������������������������

[ |A|_2 = \sqrt{\lambda_1} ]

������ ( \lambda_1 ) ��������� ( A^TA ) ���������������������

3.3 ���-���������������������

���-������������������������������������ L��� ���������������������

[ |A|{\infty} = \max{i} \sum_{j=1}^m |a_{i,j}| ]

������ ( a_{i,j} ) ��������� ( A ) ������������

3.4 F-���������Frobenius������

F-������������������������������������������������������������

[ |A|F = \left( \sum{i=1}^m \sum_{j=1}^n a_{i,j}^2 \right)^{1/2} ]