一张照片，生成可编辑CAD模型！这款AI工具即将用到3D打印上

近日，魔芯科技联合南洋理工大学、新加坡A*STAR研究机构、西湖大学、德州大学奥斯汀分校以及浙江大学，发布了一项具有开创性的研究成果——CADCrafter。这是一个AI驱动的系统，能够将普通照片直接转化为可编辑的3D CAD模型，并支持导入主流CAD工程软件进行后续编辑与加工。

论文链接：https://arxiv.org/pdf/2504.04753

在论文《CADCrafter: Generating Computer-Aided Design Models from Unconstrained Images》中，研究团队展示了如何从真实照片或渲染图中自动识别物体结构，并生成参数化、可编辑的CAD模型。该论文已被计算机视觉顶级会议CVPR 2025正式接收，通讯作者为魔芯科技创始人Tianrun Chen与新加坡A*STAR研究科学家Fayao Liu。

️背景：照片到CAD模型，一直是个“难题”

尽管基于图像的3D重建技术（如NeRF、Mesh重建）取得了长足进展，但它们生成的大多是网格模型（Mesh）或隐式体积数据，缺乏结构性、参数化与可编辑性，难以满足工业设计、机械加工或3D打印的严苛要求。

CADCrafter 则以️建模可用性为核心目标，输出的结果不是普通三角网格，而是B-rep风格的CAD建模程序——包含拉伸（extrude）、旋转（revolve）、切割（cut）等操作的有序建模指令，能被直接导入常见的CAD软件（如Fusion 360、SolidWorks）进行后期编辑。

️技术核心：三阶段建模流程 + 大规模预训练

在技术架构上，CADCrafter引入了多项前沿AI建模机制，实现了从图像到可用CAD模型的高精度转换。

首先，系统采用了一种基于VAE与Diffusion Transformer的隐空间生成框架。团队通过训练变分自编码器（VAE），将CAD建模指令序列映射到结构化的隐空间中，并在该空间中引入条件扩散模型。借助Diffusion Transformer（DiT）架构，系统能够在图像引导下对CAD隐空间进行采样与生成，从而实现参数化设计语言的精准表达。

其次，考虑到单图像建模任务的高度复杂性，团队设计了一个从多视图向单视图迁移的蒸馏策略。研究者先以多视角图像训练DiT模型，以全面掌握图像与CAD空间之间的映射关系，随后通过引入L_distill损失进行蒸馏，将知识有效迁移至单视图模型，最终实现了仅基于一张图像即可生成高质量CAD模型的能力。

最后，为解决CAD指令生成中的语义合法性问题，CADCrafter内置了基于DPO（Direct Preference Optimization）的代码可编译性检查机制。系统在生成过程中实时判断CAD指令是否能被CAD内核成功解析，如识别不闭合曲线等结构性错误。同时，DPO损失引导模型更倾向于生成可编译、几何结构完整的设计代码，显著提升了最终3D模型的构建成功率与工程实用性。

️实验结果：多场景测试验证其高保真建模能力

为验证系统性能，研究团队选取多个标准CAD模型，使用KOKONI SOTA 3D打印机将其打印成实物，并通过拍照获取图像输入。实验结果表明，CADCrafter能够基于单张图像生成结构完整、几何特征清晰的CAD建模指令，在细节还原度方面显著优于当前主流的图像建模方法。

此外，团队还对日常生活中的真实物体进行了测试。结果显示，CADCrafter不仅能自动识别物体结构，还可直接输出可用于设计与制造的工程文件。其生成模型在表面平整度、棱角分明度等关键细节上，准确还原了工业产品在加工制造过程中的几何特征。

CADCrafter打通了从图像到结构化CAD模型的完整流程，为图像驱动的工业建模和AI辅助设计带来了全新范式。尽管当前仍处于研究阶段，但据陈天润透露，该技术即将集成进KOKONI 3D App，用户将能直接体验这项“拍照生成CAD模型”的AI能力。

想象一下，当家中某个零件损坏，不再需要联系厂家等待发货，只需拍张照片，就能生成可打印的替换件——这正是CADCrafter所描绘的智能制造未来。更进一步，当这项技术被3D打印企业整合使用，或许将成为其“弯道超车”的关键。

别忘了，魔芯科技是一家消费级3D打印厂商。

如今站在AI浪潮之上，它能否借此东风启航，我们希望听到新故事。