2024 乐鑫科技全球开发者大会精彩落幕！我们在这三天的大会中，收获了来自开发者们的热烈互动和丰富提问。在每晚的“研发主管一对一问答”环节中，来自乐鑫的技术专家们对这些技术问题进行了深入的剖析和详尽的解答。为了让错过这场思想碰撞的观众不会留下遗憾，希望重温精彩瞬间的参与者再次回顾，本文为您精心梳理和呈现了大会问答的精华内容，希望为您提供一份有价值的知识参考。
同时，乐鑫也希望听到您的声音。我们诚挚邀请您扫描下方的二维码，参与我们的问卷调查。我们承诺将认真倾听每一位参与者的反馈，并将这些宝贵的意见融入到下一届开发者大会的内容中，为开发者们带来全新的视听体验。
揭秘乐鑫新品的软件解决方案
——乐鑫科技产品应用开发总监 巫建刚
1. ESP32-P4 的市场定位是什么，它的优势有哪些？
W：ESP32-P4 是乐鑫进军多媒体市场而推出的首款不带 Wi-Fi/蓝牙的高性能 SoC，它的一大特点是集成了高清摄像头处理和硬件编解码，除了可视门铃这一典型应用之外，P4 在智能家居中控屏、商业广告屏、小家电控制屏等多个领域都有可观的应用前景。
2. P4 目前的联网方案目前有哪些？
W：ESP32-P4 有高速以太网、USB2.0 High Speed, SDIO 接口这几种联网方案。用户可以通过以太网口有线接入互联网；也可以外挂一个 esp32/C6 等任意带 Wi-Fi 的乐鑫芯片，利用 ESP-Hosted 方案走 SDIO 进行高速通信；或者通过 P4 新增的高速 USB2.0 OTG 接口接入 4G Cat.1 和 Cat.4 模组，实现 “中高速” 拨号上网无线网卡。
3. 看到 ESP32-P4 的外设支持越来越多，请问对于高速接口 MIPI 和 USB High Speed 该怎么去使用？
W：我们刚刚发布了 ESP32-P4 工程样机 ESP32-P4-Function-EV-Board，该开发板配备了 MIPI-DSI、MIPI-CSI 和 USB 2.0 接口。用户可以使用开发板对应的示例程序来测试这些高速接口的性能。此外，ESP-IDF 的 release/v5.3 版本中也提供了相关的 MIPI-DSI 和 USB 示例，后续还会发布更多示例供用户使用。另外，ESP-IoT- Solution 提供全面 USB Host &Device 解决方案，目前也增加了一些 P4 示例。
4. 哪里可以查看 P4 已适配的以太网芯片、CSI 摄像头芯片、DSI 显示驱动芯片？
W：P4 以太网和 ESP32 一样，客户直接查看 ESP32 以太网示例。CSI 目前支持了几款 MIPI-CSI 接口的 sensor，可以在乐鑫包管理器 ESP-Registry 搜索 esp_cam_sensor 查看，DSI 我们也支持了一些 IC，具体型号可以到 ESP-IoT- Solution 查看 LCD 开发指南。
5. 看到网上 ESP32-P4 有手机一样界面的demo，是怎么开发的？乐鑫还有什么推荐的 GUI 框架?
W：这是我们基于 LVGL 新发布的一个 UI 运行框架，由于该框架内置标准化系统和应用管理机制，允许用户灵活地修改样式、添加应用 UI，可以显著提高 HMI 产品的开发效率，加快产品开发。除了 LVGL，我们也积极地和 QT、Slint、Embedded Wizard 进行合作，大家可以移步他们的官网去寻找开发资源。
6. P 系列和 H 系列都是高性能的吗？
P 系列是高性能芯片，而 H 系列芯片则不包含 Wi-Fi 功能，主要支持 IEEE 802.15.4 协议，以及 BLE、Thread、Zigbee 协议，主要针对的是低功耗应用场景。在性能要求上，H 系列并不追求高指标，但 H4 芯片适用于可穿戴设备，并增加了图像加速等相关引擎，因此在特定应用方面能够提供较高的性能。
7. LE Audio 什么时候开始得到支持？
LE Audio 从蓝牙 5.2 版本开始得到支持。目前大多数芯片支持的是蓝牙 5.0 版本。我们会从 H4 开始支持 LE Audio，届时协议也将升级到 5.4 版本。目前，有关 LE Audio 的软件方案已经准备就绪，预计在明年上半年 H4 芯片开始量产时，大家就能够获得支持。
8. P4 可以播放视频吗？
P4 在图形图像上有一部分加速引擎，可以支持局部的视频类，比如 AVI，mjpeg 的一些视频流，也可以支持像 H264 软件解码的视频流。
9. 目前哪一款芯片有模拟电压比较器？
我们在 P4 上提供了硬件模块，其中包括两个模拟电压比较器。这些比较器可以用来比较两个 pad 之间的电压，或者将一个 pad 的电压与内部的基准电压进行比较。
10. P4 可以驱动旧手机的摄像头吗？
P4 对摄像头的支持相较于之前的 S3 有了进一步的增强，除了能够支持 MIPI CSI 接口之外，还能支持 DVP 的接口，另外也能支持 USB 的 camera。P4 能够支持三种不同类型的摄像头接口，这使得它在摄像头应用方面具有很高的灵活性和扩展性。对于旧手机摄像头的支持，这将取决于摄像头的具体接口类型。如果旧手机摄像头使用的是 P4 支持的接口类型，理论上可以进行适配和使用。乐鑫科技已经为部分摄像头提供了驱动支持，并且 P4 后续还将支持双摄像头配置，例如 DVP 加 MIPI CSI 的组合等等。
11. ESP-32 P4 可以用 Micropython 来开发吗？
虽然 ESP-32 P4 是一款较新的芯片，Micropython 对它的支持可能会比 ESP-IDF 慢一些，但这并不意味着它不会被支持。考虑到 ESP-32 P4 的硬件资源非常丰富，它为 Micropython 提供了广阔的应用空间。未来开发者们也会根据硬件的流行度和需求来决定支持的优先级。
12. 乐鑫可以支持 Rust 语言了吗？
乐鑫科技的官方支持主要基于 ESP-IDF 和 C++ 语言。目前，我们也在积极地将 Rust 语言纳入官方支持的开发语言之一。在技术发展的趋势中，我们预见到 Rust 在平台上的发展前景非常广阔，因此我们在 Rust 上投入了大量的资源。
Rust 语言本身具有许多卓越的特性，例如内存安全、并发性和性能优化等，这些特性使其在系统编程领域具有很大的潜力。尽管 Rust 的入门门槛可能比 C 或 C++ 稍高，目前接触和使用它的开发群体还不是特别多，但我们相信随着技术的不断进步，Rust 以及其他一些现代编程语言在嵌入式系统领域将会得到更广泛的应用和发展。
浅谈乐鑫芯片与 IDF 驱动新动向
——乐鑫科技软件开发高级经理 萧旭峯
1. 如何使用 ESP32-P4 的图像处理外设？
X：先来简单介绍一下我们的最新产品 ESP32-P4。相比之前的产品，P4提供了大量的图像处理外设，包括输入支持 DVP，CSI 等格式，并可通过 ISP 进行处理后放入内存。输出方向支持 DSI 等多种接口的 LCD 屏幕。同时具有 2D-DMA，JPEG 编解码，H264 编码器及 PPA 图像处理加速器等功能，整体的图像功能比较丰富。以上外设的驱动除了 ISP 还有几个模块在开发中之外，其他均已开发完成，你可以参考 IDF 中对应的示例编写自己的应用。
2. 有些网友说要读完这么多个模块的示例和文档要花不少时间，想要快速搭建大型方案还是比较有挑战的，对这些网友有没有什么建议呢？
X：我们在驱动之上还提供了两种不同的图像开发框架：第一种是 esp_video，类似于 Linux 中的 V4L2 框架，这个框架可以通过组件管理器安装 espressif/esp_video 组件获得。第二种是 GMF，在本届大会“全新的多媒体框架”演讲中有更详细的介绍，错过的朋友可以在 B 站的大会合集里收看回放了解。总的来说，框架比较适合想要快速或者开发复杂方案的用户。对于喜欢从底层开发，获得更高性能和灵活度的用户，可以直接使用驱动。
3. 有些网友关心乐鑫的 ISP 方案的进展如何，可以分享一下这部分有什么计划吗？
X：ESP32-P4 中使用的 ISP 是我们自研的一套硬件，软件上可参考的部分不是很多，所以他的驱动是分模块逐步开放。其实大多数的模块都已经有驱动可供使用了，感兴趣的朋友可以试一下。其实 ISP 这块他除了驱动之外，校准方案和算法也是一个非常有挑战和价值的事情。我们也在持续投入，希望未来能给我们的客户提供一套包含校准和算法的全套解决方案，请大家持续关注。
4. 有开发者发现近期 IDF 中的驱动接口有较大的变化，是怎么回事？
X：其实我们的驱动改进是一直有在做，只是随着我们的芯片到达一定的数量之后，原有的驱动开始满足不了诸如多实例，抽象化，可扩展，易维护等特点之后，我们才开始进行了大规模的重构，这个时间大概是 2022 年。新的驱动是基于我们多年来的接口积累，不同驱动间采用类似的命名约定，具有较高的相似度，降低了学习成本。又与硬件的具体实现进行了较好的解耦，能够适应乐鑫芯片未来的变化。新驱动面向对象，所以在其之上封装新一层的对象，或者在一个系统里面并发使用多个同类对象十分容易。它还强调状态，解决了经典驱动中很多接口的调用时间不明确，难以维护的问题。
5. 有不少用户会比较担心，推出新的驱动了，他们的代码是否需要随之频繁修改，增加工作量，这部分我们是怎么考虑的呢？
X：虽然我们提供了新驱动，但是 IDF 为用户提供的兼容性保证是不变的。对于已经量产中的产品，升级 IDF 版本到次要版本或者 Bugfix 版本并不会破坏现有的应用程序。老驱动的新功能开发停止，但重要的问题修复和技术支持仍然会继续提供。
6. 今天观看我们大会的观众中有个人开发者提出过疑问， IDF 中有硬件抽象层 (HAL) 的概念，如果想脱离 IDF 开发一些简单的项目，他们作为个人开发者应该如何使用这些组件呢？
X：IDF 中的硬件抽象层随着多版本硬件的迭代，是相对完整且成熟的代码，可以免于重新调试硬件的工作。我们在 Github 上为有移植需求的用户提供了一个仓库 esp-hal-components，里面我们精选了几个与硬件结合较紧密，用户难以自己重写的底层组件，从 IDF 中抽取出来同步到此仓库中。你可以在此基础上搭建你自己的工程。不过这个项目本身没有文档，具体使用请参考 IDF 中对应函数的调用顺序和参数。比如说如果想要重写驱动，请参考 IDF 驱动中对 HAL 和一些底层函数的使用方法。
7. 这个仓库的接口稳定性有什么样的保证吗？
X：有点遗憾的是，这些底层组件的接口是不稳定的，可能随着版本升级发生一定的变化。我们维护 HAL 组件的时候，其实也会尽力避免接口发生变化，但随着外设的迭代，为了支持一些新功能就不可避免地要改动原来的接口。对于一些老外设，变化的风险较小，而新外设变化的可能性大一些。为了避免接口变化影响你的开发工作，我们推荐的方法是锁定某一个 IDF 发布分支的同步分支，在仅需要修复时，只在此分支上进行升级，可以大幅减小接口变化的风险。只有当你需要新功能的时候，才需要升级到更高的发布版本对应的同步分支。如果你对我们的同步仓库有一些想法，比如想要一些不同的组件集合，欢迎在 Github 上与我们进行讨论，我们会提供适用于更多不同场景的同步方案。
8. 前面讨论了很多 P4 上的新外设。除了 P4 提供了图像处理外设之外，乐鑫芯片还有没有其他值得关注的新外设或者新功能？
X：第一个功能是 LED 控制器里面带的 GAMMA 渐变功能，这个在 ESP32-C6 之后的芯片上支持，包括 H2，P4，C5 等等。硬件实现了视觉上均匀的亮度渐变。相比于之前芯片比较依赖 CPU 介入的情况，在一些 CPU 占用比较高，实时性比较高的应用中还能保证正常渐变。
第二个功能是并行 IO 控制器，这个也是在 C6 之后的芯片上支持，和上面的情况差不多。这个外设的 TX 侧能模拟出一些灵活的输出波形，RX 侧则能做比较灵活的采样。这个 RX 侧我们有一个有意思的逻辑分析仪示例跟大家分享，在昨天下午的演讲“基于并口外设的片上逻辑分析仪”中，错过的朋友可以在 B 站的大会合集收看回放。
第三个功能是迟滞 IO 输入和模拟比较器，这两个功能在 ESP32-H2 芯片上支持。我们过去碰到过一些客户希望在 GPIO 上接一个电容慢慢充电，充电到一定程度 IO 翻转以后触发中断。这在传统的 IO 上是不行的，高电平低电平中间的区域属于未定状态，输入电压在此区间时会多次随机触发中断。使用迟滞 IO 输入之后用户将能在电压不是理想的数字输入时，也能实现一些功能。模拟比较器则允许用户将两个输入端的模拟电压进行比较，或者与内部可编程参考电压进行比较，使用这个功能可以实现一些诸如过零翻转的需求。
9. 今天大会中有演讲介绍了乐鑫开发的应用于 IoT 多媒体领域的通用软件框架 ESP_GMF，它相对于 ADF，是替代性的还是补充性的？
X：与 ADF 相比，GMF 是 ADF 的升级版本。传统的 ADF 主要适配音频应用，而 GMF 则扩展了功能，能够支持视频应用以及更多多媒体功能。因此，GMF 不仅仅是ADF的补充，更是对其能力的增强和扩展。
10. ESP_GMF 目前计划什么时候进行发布？
X：预计在今年 10 月份左右，近期我们也会陆续开放相关资源供大家参考。
11. GMF decoder 组件支持的音频格式有哪些？
X：当前 ADF 支持的格式都支持。
乐鑫全功能 Thread 解决方案
——乐鑫科技软件开发总监 陈曙
1. Thread 方案有什么优势，适用于什么样的应用场景？
C：Thread 是一个相对比较新的网络协议标准，目前已经广泛应用于欧美市场的主流智能家居生态中，包括苹果/ Google /亚马逊/三星等。国内的 Thread 生态也在逐步启动，像苹果和三星在国内上市的智能家居也是可以支持 Thread 的。从网络技术角度来说，Thread 是一个基于 IP 的低功耗 Mesh 网络，具有自组网、无单点失败、覆盖范围广、网络容量大等优势。适用于智能家居，智能楼宇，传感器网络等应用场景，常见的产品类型包括电工照明，门锁，各类传感器，温控器等。
2. 乐鑫的 Thread 方案有什么新的进展吗？
C：继去年开发者大会之后，已经有多款基于我们 ESP32-H2，ESP32-C6，Thread border router 方案的客户产品上市销售，同时也有众多在研的产品即将面世。我们也做了基于乐鑫软硬件平台的大规模网络性能测试，发布了 300 个节点的组网演示，大家感兴趣的话可以去我们的 B 站或者微信视频号上观看。从应用层角度说，继 Matter over Thread，Thread border router 方案之后，我们今年也推出了 Rainmaker over Thread 解决方案，客户可以构建完整的基于 Thread 的私有云解决方案。
3. 可以展开介绍一下乐鑫的 Rainmaker over Thread 方案吗？
C：ESP RainMaker 是一个轻量级的 AIoT 云解决方案，之前只支持 Wi-Fi 设备，我们将 Rainmaker 和 Thread 方案相结合后，正式推出了 Rainmaker over Thread 方案，解锁了更多 Rainmaker 的应用场景，如大规模组网需求，低功耗应用场景等。
4. Thread Border Router 和传统的智能家居网关 / Gateway 有什么区别？
C：Thread Border Router 是一个网络层设备，类似于 Wi-Fi 路由器，实现网络联通性，负责 IP 层的网络转发，而不区分应用层是什么协议。而传统的 Gateway 需要处理应用层逻辑，是绑定特定的应用的。
5. 针对 Thread 方案，乐鑫下一步有什么规划？
C：我们会继续推出更多支持 Thread 的芯片方案，以满足更多低功耗，高性能的产品需求。同时我们会紧跟 CSA 和 Thread 联盟，支持更新的协议标准。大家有关注到，Apple 发布的 iPhone 15 Pro 集成了 Thread radio，我们也预见会有更多基于手机的 Thread 应用场景。
6. 乐鑫目前低功耗表现最好的是哪一款芯片？
C：在无线通信技术中，Wi-Fi 通常被认为比低功耗蓝牙的功耗要高。随着技术的发展，Wi-Fi 6 引入了更多的节能特性，使得其功耗得到了一定程度的降低。
在乐鑫的产品线中，C6 系列是目前在 Wi-Fi 产品中表现非常出色的。在低功耗方面，H2 芯片具有明显的优势。H2 芯片针对低功耗应用进行了优化，能够显著降低能耗。
H21 是乐鑫即将推出的一款低功耗版本的 Thread 芯片，它是 H2 的低功耗版。H21 在功耗方面进行了显著的优化，例如在供电管理、射频以及软件层面，还包括了休眠模式的改进。这些优化使得 H21 在低功耗应用场景中，如使用纽扣电池供电的设备，能够实现长达两三年的电池寿命。我们预期 H21 将成为针对低功耗市场，特别是需要电池供电的设备市场，主推的一款 SoC 芯片。大家可以期待一下。
7. Zephyr 相对于目前在使用的 Free RTOS 有什么区别？
C：Zephyr 和 FreeRTOS 都是嵌入式实时操作系统，但内核机制比如线程调度、内存管理等方面都有很多区别。
8. Thread Matter 的开发是不是，使用官方的既定的模型（调色灯、开关）开发。应用层直接拿到开关量或 RGB 值吗？
C：基于我们的 Matter over Thread SDK 开发，用户可以非常快速的构建这些典型的设备类型，应用层可以拿到开关量和 RGB 值，主要的开发是产品外设驱动部分。
9. ESP32 支持多线程吗？
C：ESP-IDF 可以支持多线程，就是沿用 FreeRTOS 的线程机制。
10. 乐鑫支持文件系统吗？
C：ESP-IDF 可以支持文件系统，比如 SPIFFS。
11. 今年大会有没有和 Matter 相关的演讲？
C：今年的开发者大会上，我们没有安排 Matter 协议相关的主题。实际上，我们对 Matter 协议的研究和开发已经有好几年的时间了。时间过得很快，我们记得在 2019 年就正式宣布了 Matter 协议，然后在 2020 年，CSA 成立了工作组，开始正式推进这项工作。
乐鑫科技很早就加入了这个工作组，并积极参与推动 Matter 协议的发展。因此，我们在前年的第一届开发者大会上就已经有了关于 Matter 的演讲，去年的大会上同样也有。如果大家想要了解乐鑫在 Matter 协议方面的相关方案，可以访问 B 站的大会合集，回顾去年和前年关于 Matter 主题的演讲。同时，如果大家有任何具体的问题，也欢迎随时联系我们。
12. 乐鑫的技术渠道支持在哪里可以找到？
C：乐鑫服务了众多客户，对于个人开发者，我们深表歉意，因为原厂无法直接提供技术支持。不过，我们提供了大量开放的文档资源，您可以在乐鑫官网的 FAQ 板块自由查阅。对于个人开发者的支持，我们更多地依赖于社群互助的模式。
如果您是商业用户，乐鑫官网设有“联系我们”的板块，您可以在其中找到联系商务的表单进行填写。提交后，我们的商务团队将会安排技术成员，针对您的商业项目提供直接的技术支持。
如果您没有自己的开发团队，但您仍然希望进入智能硬件领域并朝这个方向发展，您当然可以寻找我们生态链中的许多方案公司。实际上，我在 B 站上看到一些方案公司，他们不断地推广乐鑫的产品，并通过视频推荐他们。通常，他们会列出乐鑫的代理商，而乐鑫的代理商通常也扮演着方案商的角色。据我了解，乐鑫并没有那种纯粹的贸易型代理，我们的授权经销商基本上都具备方案商的功能。他们会为那些可能需要贴身技术支持或行业应用支持的客户提供服务。
我希望大家能够充分利用网络上的丰富资源，包括现在 AI 助手的出现。因为乐鑫有很多开源的代码，有些 AI 助手可以直接回答一些问题。我们自己的技术团队也在朝着 AI 化的方向发展，希望能够为大家提供更好的服务。
我们衷心感谢每一位对乐鑫科技全球开发者大会给予热情支持与密切关注的朋友。希望您能抽出一分钟，扫描文章开头的二维码填写反馈问卷，您的每一次交流与互动和每一条宝贵的反馈，都是我们不断前行的动力。乐鑫承诺，将持续推动创新的边界，致力于提供更卓越的产品解决方案和更专业的服务，以回馈广大开发者的信任与支持。
为了让您能够随时回顾这场盛会的精彩瞬间，我们在 B 站特别设立了“乐鑫全球开发者大会”合集专区，欢迎您前往观看本次大会的所有演讲回放。让我们携手共创未来，探索科技的无限可能。再次感谢您的参与，期待在下一次的大会上与您再次相遇。
