type
status
slug
summary
tags
category
password
date
icon
科研阶段感觉是一个比较折磨又富有挑战的过程，可能前面摆烂的时间太久了，再一次重新拾起纸和笔来完成科研，又让我重新心潮澎湃了起来
📝 如何努力成为一个Top Ph.D. Student
核心的能力：个人认为，top Ph.D. student懂得设定一个长远的科研目标。这个科研目标具有重要的科学价值和实际价值 (在实际应用中寻找真正有价值的科学问题)。然后根据这个科研目标细化科研的roadmap。博士期间做的几篇论文都是围绕着解决这个科研目标，并且做的论文能够清晰地展示出自己沿roadmap的科研进展，论文demo要尽量很酷（例子：AI4Animation、AI绘画）。
知识学习一开始可能很难，但坚持下来，就能见识到人本身的飞轮效应
科研学习是边学算法、边用算法，在使用算法中学习算法。要善用ChatGPT。（类比课程学习就是，没学课程知识前，直接上手写作业，然后查着课程内容来做作业。GPT是一个超级检索器。）
课程学习中，可能会养成自己一个人把一个问题/算法琢磨清楚的习惯。
而科研学习中，要善用各种资源来帮助自己高效学习，从各种地方蒸馏知识。详见这个文档：https://www.notion.so/pengsida/903b997097d343dbaba6d5e0780eab0f
- 博士生应该具有的意识
如何培养科研品味：
- 每周想一些ideas 然后讨论这些ideas好或者不好
- 经常和不同研究人员进行交流，然后询问一下他们research中的big picture，看看他们觉得什么问题比较重要，看看他们一个project应该如何去选择课题
- 思考为什么一些论文可以有高引用量
如何培养想idea的能力
用literature tree（novelty tree和challenge-insight tree）锻炼和积累想idea的能力。
1. 规划科研方向的general goal 然后制定这个general goal的roadmap
一般而言，general goal容易定义，但制定roadmap需要对领域有深刻的理解。
可以通过构建literature tree（进行literature review，构建novelty tree和challenge-insight tree）来建立起对该领域的认知。
如何构建literature tree（如何进行literature review，构建novelty tree和challenge-insight tree）
四类novelty
1类novelty：milestone task的seminal work。
2类novelty：novel pipeline/representation的seminal work。
3类novelty：novel module的seminal work。
4类novelty：加一些module改进已有pipeline地工作。
如何创建 literature tree:
- 收集相同方向的论文。
- 通过阅读论文，梳理出当前方向已有的milestone tasks，并标记提出该task的第一篇论文（1类novelty）。
- 将论文根据milestone tasks进行归类。梳理出有代表性的pipelines/representations，并标记提出该pipeline/representation的第一篇论文（2类novelty）。
- 根据pipeline/representation再细分，归类论文（3类novelty）。
- 随着自己对领域的理解，增加新的milestone tasks。
如何创建challenge-insight tree：
- 收集该领域遇到的challenges。
- 收集解决这些challenges的insights。
根据novelty-tree列出的roadmap，选择有研究空间的task，调研这个task有没有重要的technical challenge。选题是对一个research project影响最大的一步，而不是后面的想方法。
怎么找到重要的科研问题：
去思考这个任务长远的目标，一个最终形态是怎样的。
为什么当前工作只在这些数据上做，而不在其他数据上做。应该尝试更多的general cases的数据。
追求发现新的failure cases，从新的failure cases入手改进原有的技术。1. 在新的task setting或者新的数据上容易发现新的failure cases。
2. 在新的数据上探索方法的可能性，让大家看到新的实验结论，这是很大的贡献。
从技术层面上分析现在的pipelines在某个task上不work的原因，在pipeline module层面思考可能的原因，然后在pipeline层面或high-level idea层面思考可能的原因。
然后上升到high-level idea、pipeline、modules层面进行创新，想出一些技术贡献。具体做法看这个文档：https://www.notion.so/pengsida/pipeline-997f611cd2e24ef1a62210ff099948e2
怎么提升改进pipeline的能力
怎么提出novel and effective technique：首先要知道有哪些技术，这些技术在解决什么问题。然后组合其中的某些技术。
我的做法是：（1）构建challenge-insight tree。（2）选择challenge-insight tree中的某些技术，通过创新性的组合来解决当前任务的technical challenge。（3）把可能的pipeline都列出来，然后对比优劣势，选择一个pipeline。
一个高水平科研工作者认为：技术的本质就是对方法做组合，把小的技术组合成大的技术，把老的技术组合成新的技术。
组合已有的技术并挖掘其在新的任务、新的数据上的性质，是一个很大的贡献。
组合不能是input → A → intermediate output → B → output这种完全A + B的组合（完全拼接式的组合）。组合需要是具有创新性的组合。
正常情况下直接拼接两个方法也无法解决问题，否则这个问题就没啥technical challenge。
- NeRF把Occupancy network和Differentiable rendering这两个技术组合，在reconstruction from images这个任务上做。
- EG3D把StyleGAN、GRAF、Convolutional occupancy network这三个技术组合，在3D GAN这个任务上做。
- DreamFusion把SDS loss和NeRF这两个技术组合，在text-to-3D这个任务上做。
- MVP把neural volumes和local radiance fields两个技术组合，在image-based human reconstruction这个任务上做。
想基于某个技术提出更好的技术，难以有明确的目标（什么样的技术是更好的），并且容易陷入当前任务的setting中去刷点。
应该从实现general goal的角度来看当前的技术还无法解决哪些milestone tasks，而不是纠结技术在当前task setting的缺陷（局限于刷点，眼界就小了）。
不要在某个技术的原有setting/数据/failure cases上改进该技术，这种情况下改进空间往往很小。要发现新的failure cases，从新的failure cases入手。
Goal-driven research在research产出方面的好处
Goal-driven research的风格是追求重要的任务，试各种方法把这个任务做work。通过一些条件的relax，总可以把一些重要的任务做出一些work的结果。这样project有产出的保证。
有些人喜欢追新技术，一味的把新技术调work。但我们这方向是实验科学，不通过大量实验难以确定一个技术是否真的work，导致这种科研方式风险性太大了。
特殊的想idea情况（重要！！！这种情况容易出有影响力的论文）
当出现新锤子的时候，非常值得拿新锤子来做自己roadmap上的某一个milestone task，这样容易做出有影响力的工作。
注意，不是在新锤子的task setting上做改进（比如在NeRF的task setting上调它所用数据集的view synthesis的效果），而是拿新锤子来解决自己在做的milestone tasks的问题（仍然是goal-driven research）。
首先是要端正自己的心态，做科研不是被动的交付任务，而是提升自我价值的一个过程。专注与效率也是非常关键的，摸鱼的时候就安心摸鱼，做科研的时候就认真科研。最后就是多和自己的导师与师兄交流，防止自己的研究方向出现偏差，也可以少走一些弯路。
这里我给也大家分享一下我在读论文时关注的两个细节，1. 论文的逻辑思路与配图。对于某个topic（比如提高了性能，提出了新架构），别人是如何陈述与验证的。2. 论文的作者与所属高校。对于在该领域经常出现的团队需要密切关注。
我自己在写第一篇论文的时候也是非常坎坷。比如，在英语表述上经常会有些不专业的地方，文章思路也比较混乱，不知道怎么分析实验。存在这些困难是非常正常的一件事情，第一篇论文是一个从无到有的过程。我建议大家多学习类似论文的写作思路与问题表述。创作始于模仿，这就好比练字，一开始肯定也是照着某种字体去临摹。第一篇论文一定要多请教导师、师兄师姐，我写完第一篇论文后还跑去拿给隔壁组的师兄求指点。
近期计划包括读哪几篇论文，把哪个部分代码写完等等，长期计划基本是一些论文投稿计划，还有跟公司的合作项目。
通过实习了解业界最前沿的技术，或者是企业可以提供更丰富的硬件设备来帮你完成实验。同时也要思考自己的科研成果能否转换为实际的效益，比如落实到具体的实习项目中。
- 作者:fufu酱
- 链接:https://csfufu.life/article/b71868a1-eb84-47ad-b313-948efe18923f
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。