学习ai,拥抱未来实践小结.pdfVIP

学习ai,拥抱未来实践小结

跟大多数大学生一样，我从大一开始学习编程，但却没有局

限于课堂知识。有着极强的自学和动手能力，通过课外资源学习了

更多编程技能，并通过目标驱动去解决问题：因为在学校要提交电

子版作业，习惯手写作业的他就尝试学习OCR技术来达到目的，又

因为在这个项目中发现了图像质量不高等不足，我开始试图分析和

优化项目，也因此让他获得了超出原本要解决的问题的更多技术能

力和项目经验。

在计算成像过程中，我们可以使用光的偏振原理与电机对

偏振片的控制来完成去雾、去雨等图像处理操作，而现在我们可以

使用以CNNs为代表的深度学习方法通过软件计算直接得到去雾、去

雨结果。

一方面，深度学习方法能够通过强大的图像后处理能力，

间接降低光电系统中其他部分的开发难度；另一方面，在已知相机

参数的情况下，深度学习方法可以通过强大的拟合能力取得比传统

方法更好的成像结果。这也是为什么我现在的技能和兴趣有很大部

分偏向AI。

我开始接触编程是在大一上“计算机导论”课程。我们的

老师鼓励学生自学相关知识，于是我就在B站上有哪些信誉好的足球投注网站相关资料进行

学习。在听完老师的C语言课程之后，就投向了其他编程语言入门

课，比如JavaScript、Cpp。

后来在学校社团的影响下，学习了Python，同时在学长的

带领下学习计算机视觉、计算机图形学相关的内容，深入学习了

JS、TS、WebGL相关的技术，也尝试过拿Unity做CG。我个人认

为，学习编程最重要的是实打实地看或者敲优质的代码，最好以解

决生活中实际需求为导向。

当时正值疫情期间，老师要求提交电子版作业，而我习惯

了手写笔记。为了不把时间浪费在码字上，我开始学习OCR相关的

知识。在学长的建议下，我先后学习了CS231n、吴恩达深度学习等

入门课程，也接触了MSER、PSENet等文本检测方法。

到了大二下学期，我发现该项目几个难点，拍摄的图像质

量不高，手写公式识别精度较低，以及如何能在端侧完成CNN的计

算。第一个是专业相关，第二个除了CRNN+CTC外好像没有更好的处

理方案，而第三个看起来更有挑战性，与专业也有一定关联，我就

把重心放在了部署上。这也间接促使我加入公司实习做TVM前端支

持相关的工作。

由于我现在的主要学习方向是底层视觉和模型部署，所以

未来更想做ISP、高光谱相机相关的工作。毕竟，用自己参与制作

的相机去定格万千世界，成就感不是一般的高。

在参与这种相对比较大型的开源项目之前，我自己写过一

些小项目，一般与low-levelvision相关，比如超分的经典算法、

一些较新论文的复现。还有一些硬件相关，比如stm32的LCD、

ADDA驱动、深度学习模型在FPGA端的部署，在做FPGA模型部署的

时有听说过TVM，在看到开源之夏有相关项目后便果断提交了申

请。

不过发生了一个小插曲，开源之夏系统没有把我录进去。

可能受到我极强的参与该项目的意向的影响，公司领导在跟我聊过

后同意我进去实习，然后开始了时长两个月的实习。

在实习的两个月，最直观的感受就是对小白极其友好。刚

开始，老大结合他自己写的tvm-learn给我梳理了一遍项目代码实

现的基本流程，并给我制订了一个非常详细的周计划。配置服务器

环境的时候发现gitpush不到远程，前辈给我一通排查后，结果发

现是我没有开新分支的权限。

工作第一个周的任务是熟悉公司的API，我参考之前用

PyTorch编写的Transformer，实现了公司版本版本的

Transformer。

公司的开发进度很快且开发过程具有较高的不确定性。第

二周，我正式投入到给TVM添加公司前端的工作中，最开始告诉我

可以模仿PyTorch转TVMRelayIR的方法，PyTorch的做法是将模

型转为静态的Torchsrcipt形式，用来获取每一个计算节点的形状

与数据类型。但当时公司并未提供动静转换的接口，我打算先使用

lazy模式去做一个能用的转换脚本。

公司eager模式与PyTorch相似，而公司lazy模型与

TensorFlow更为类似。受益于之前