150元搞定国产开源 AI 机器人，乐鑫ESP32+豆包、DeepSeek、OpenAI 、通义千问

ESP32-豆包智能AI机器人支持两种模式， 一个是唤醒对话模式，一个是普通模式：

• 唤醒对话模式是用户需要通过唤醒词去唤醒设备，唤醒后设备进入语音交互模式，用户可以与设备进行语音交互。默认的唤醒词是 Hi 乐鑫, 可以在 menuconfig -> ESP Speech Recognition → use wakenet → Select wake words 中去更换唤醒词

• 普通模式是用户无需唤醒词，直接与设备进行语音交互。

乐鑫 ESP-ADF 框架是专为音频应用设计的开发框架，基于其物联网开发框架ESP-IDF构建。它针对音频设备的开发需求，提供了丰富的音频组件，像音频编解码、CODEC 芯片驱动等，还能运行优化过的 3A 音频算法，无需额外 DSP 芯片，有效降低成本，从硬件驱动到上层应用的完整工具链和组件库，简化了音频产品的开发流程。

下行则是从服务器获取实时音频数据，经过 opus 解码还原，根据实际情况进行 resample，最终输出到音频设备。而且 pipeline 可随时暂停或继续播放，以此实现语音打断功能，保障音频交互流畅。

在 main 文件夹的 config.h 中配置 Wi-Fi 和大模型的鉴权信息。商业项目可以自行搭建服务器来分发 Token。在项目初期进行测试时，有两种方式获取 Token：一种是在控制台申请临时 Token；另一种是通过扣子服务器来请求 Token，获取 Token 后能确保设备正常接入大模型服务。

在完成上述操作后，要让设备和智能体进入 RTC 房间，这样才能实现与豆包大模型的对话。同时，还可以在控制台根据个人需求配置智能体的音色等选项，从而获得更个性化的交互体验。

• 智能家居领域在智能家居设备中，接入豆包大模型后，用户可以通过简单的语音指令，让设备完成各种复杂操作。比如，语音控制智能音箱播放想听的音乐、查询天气信息，或者让智能家电按照你的要求调整工作模式，极大地提升家居生活的便利性和智能化程度。

• 智能办公场景在办公环境中，搭载该技术的设备能成为你的智能办公助手。你可以语音让它记录会议内容、查询资料、安排日程等，帮助你更高效地处理工作事务，减少繁琐的手动操作，把更多时间和精力放在核心工作上。

• 智能教育设备对于教育类产品而言，与豆包大模型对接后，能为学生提供更个性化的学习辅导。无论是解答学科问题，还是进行语言学习对话练习，都能满足多样化的学习需求，让学习变得更加有趣和高效。