ML-homework

题目1

基础知识：

$(a^Tb)^T=b^Ta$

矩阵微分公式：

$\frac{\partial \boldsymbol{a}^{\mathrm{T}} \boldsymbol{x}}{\partial \boldsymbol{x}}=\frac{\partial \boldsymbol{x}^{\mathrm{T}} \boldsymbol{a}}{\partial \boldsymbol{x}}=\boldsymbol{a}$

那么

$\frac{\partial \boldsymbol{x}^{\mathrm{T}} \boldsymbol{Ax}}{\partial \boldsymbol{x}}=(\boldsymbol{x}^T\boldsymbol{A})^T+\boldsymbol{Ax}=(\boldsymbol{A}+\boldsymbol{A}^T)\boldsymbol{x}$

题解：

补充：

正则化可以看作是损失函数的惩罚项。
岭估计的参数模要严格小于最小二乘估计的参数模，即引入L2正则项后，参数长度变短了。这被叫做特征缩减。
特征缩减可以使得影响较小的特征系数衰减到0，只保留重要特征从而减少模型复杂度，减少过拟合。

题目2

基础知识：

题解：

补充：

题目3

基础知识：

分类的评价指标：

对数几率回归：用回归函数做分类任务。

题解：

题目4

题解：

补充：

支持向量机的对偶问题

https://zhuanlan.zhihu.com/p/39592364

https://blog.csdn.net/weixin_40859436/article/details/80647547

https://www.jianshu.com/p/de882f0fc434

题目5

题解：

用了脚本：

#!/usr/bin/env python
# -*- encoding: utf-8 -*-
'''
# @Time  : 2022/11/21 20:41:20
# @Author: wd-2711
'''

import random

if __name__ == "__main__":
    x1 = [[0, 0], [0, 1]]
    x2 = [[1, 1], [1, 0]]
    for i in range(10000):
        [w11, w21, w12, w22, b1, b2, b3, w1, w2] = [random.randint(-2,2) for _ in range(9)]
        
        if (max(w11 * x1[0][0] + w12 * x2[0][0] + b1, 0) * w1 + b3 > 0) + (max(w21 * x1[0][1] + w22 * x2[0][1] + b2, 0) * w2 + b3) > 0 and \
            (max(w11 * x1[1][0] + w12 * x2[1][0] + b1, 0) * w1 + b3 > 0) + (max(w21 * x1[1][1] + w22 * x2[1][1] + b2, 0) * w2 + b3) < 0:
            print([w11, w21, w12, w22, b1, b2, b3, w1, w2])

最终有结果：

补充：

神经网络中的异或问题

https://blog.csdn.net/comli_cn/article/details/109170804

留言

作者: wd-z711
文章链接: https://wd-2711.tech/
版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-ND 4.0 许可协议。转载请注明出处!

⬆︎TOP

ML-ppt

ML-homework

题目1

基础知识：

题解：

补充：

题目2

基础知识：

题解：

补充：

题目3

基础知识：

题解：

题目4

题解：

补充：

题目5

题解：

补充：

留言