该工程实现人类语音进行交通场景的编辑和控制。
技术路线包括以下三个步骤:
将中文语音对话转换成文本,参考基于飞桨 PaddlePaddle 的语音工具箱 ,供 代码生成模块 使用。
- 唤醒词;你好,小轩(个性化问候);数据采集进行微调;
- 合成的语音比较生硬;
- 实现随意提问,提问口语化;
- 声纹识别,根据不同人来问候;
- 运行大模型代码生成 ,并根据语音识别模块生成
matlab
代码; - 根据matlab代码生成对应的交通场景,并在 编辑器 中进行集成。
- 使用matlab软件自带代码和github上的成熟matlab仓库进行模型微调。
- 叠加生成;多轮交互;
拟实现的编辑和控制功能包括(使用自动驾驶场景设计器):
- 增加、删除场景中的车辆、行人等交通参与者,修改交通参与者的属性,查询场景中有多少车(增删改查);
- 将摄像机、激光雷达等传感器放置到某台车上;
- 场景中车辆加速减速;
- 变道、超车、加塞操作;
- 仿真场景运行过程中制造交通事故;
- 创建单元测试场景;
- 以编程方式创建驾驶场景 ;
- 生成三维模型 ;
- 预测性导航(不同时间):下午怎么走;
- 延长红绿灯;增加一倍车辆;
- *构建西二环和桐梓坡路口、工商大学地铁站路口、西二环和岳麓大道路口、望月路和岳麓大道路口的DrivingScenario对象(虚幻效果);
- 进行场景的修改的监听;
- 给车辆加入默认的行驶轨迹;
- *立交桥中增加(删除)一条路,看对交通的影响;增加新的车道;
- *湖南工商大学内部星期一 9点-10点 开学(一般)一倍的场景:生成配置文件、像素流转发;
- *晚上西二环渣土车;
- 转发场景中车的声音;
- 设置仿真环境 :比如天气、雨、雾、云、太阳高度等,文件位于
matlab\toolbox\driving\driving\drivingsim3d.slx
中的Simulation 3D Scene Configuration
; - 控制相机视角变化;
一键运行大模型对话和代码生成的工具在百度网盘链接 的“学习->大模型”目录下,“WizardLM演示视频.mp4”展示了如何运行和测试这个模型的详细步骤。以下是进行代码调试的环境部署步骤:
- 将百度网盘链接 的“学习->大模型->webui”目录中的文件下载;
- 解压
python.zip
到webui/
目录,WizardCoder-15B-1.0-GPTQ.zip
和chatglm2-6b.zip
解压到webui/models
目录下; - 运行
windowsdesktop-runtime-6.0.10-win-x64.exe
安装.Net; - 点击
快速启动.exe
运行图形化界面。
在进行代码之前,请阅读 贡献指南 文档。