生产级深度学习项目如何构建？

2.4. 实验管理

开发、训练和评估策略：永远从简单开始。在小批量上训练一个小型模型，只有在它能起作用的情况下，才扩展到更大的数据和模型，并进行超参数调优。

实验管理工具：

• Tensorboard：提供了机器学习实验所需的可视化和工具。
• Losswise（用于机器学习的监控）
• Comet：让你可以跟踪机器学习项目上的代码、实验和结果。
• Weights & Biases：通过简单的协作，记录并可视化研究的每个细节。
• MLFlow Tracking：用于记录参数、代码版本、指标和输出文件，以及结果的可视化。

2.5. 超参数调优

Hyperas：用于 Keras 的 hyperopt 的简单包装器，使用简单的模板符号定义要调优的超参数范围。SIGOPT：可扩展的企业级优化平台。Ray-Tune：可扩展的分布式模型选择研究平台（专注于深度学习和深度强化学习）。Sweeps from Weights & Biases：参数并非由开发人员显式指定，而是由机器学习模型来近似和学习的。

2.6. 分布式训练

数据并行性：当迭代时间过长就使用它（TensorFlow 和 PyTorch 均支持）。

模型并行性：当模型不适合单 GPU 的情况下就是用它。

其他解决方案：

• Ray
• Horovod

3. 故障排除『有待完善』

4. 测试与部署

4.1. 测试与 CI/CD

与传统软件相比，机器学习生产软件需要更多样化的测试套件：

（编辑：莆田站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!