任务、分数与排名
结果说明机器人完成了什么、还有哪些改进空间。单次最高 100 分;任务排名需要五次运行。
一项任务,五种条件
一次上传运行同一任务五次,不是五项不同任务。地图保持一致,目标位置和路线略有变化;条件从平静海面到波浪与变化海流。所有人使用同样五个条件。每次按其实际轨迹评分,可能相同也可能不同;五次都未到达目标时可能全部为零。
查看记录路径
在结果页选择评估运行,使用播放记录和时间滑块。蓝色表示路径,绿色是目标,橙色是障碍。页面显示目标、距离、时间、位置/航向/深度误差和几何估计接触。
排行榜显示最高/最低分、平均时间和查看路径与详情。已完成的路径和分数公开;程序代码、输出日志和邮箱保持私密。邮件含每次得分、时间、目标与路径缩略图,链接打开完整回放。理解实测挑战示例提供六项任务的代码、得分和五次记录。
选择任务
图示为条件 1 的俯视图。带编号圆为目标,实心圆为浮标或柱。按顺序选择安全路线;其他条件会略微移动目标。
定点保持
surface_station · WAM-V · 120 仿真秒
到达目标 1 并对准航向,在容差内连续保持位置和航向 45 秒。离开范围会重置计时器,请缓慢接近。
通道与返回
surface_gates · WAM-V · 240 仿真秒
依次通过红绿浮标标出的门 1、2、3 中心,返回起点目标 4,朝返航航向保持 5 秒。往返都要避免接触浮标。
避障与停泊
surface_slalom · WAM-V · 300 仿真秒
绕四个浮标交替跟随目标 1–4,安全返回起点目标 5,按靠泊航向保持 10 秒。到达目标不会取消碰撞罚分。
下潜、过门与保持
underwater_gate · BlueROV2 · 180 仿真秒
下潜至 2 m 的目标 1,保持深度通过目标 2 的门柱。到达目标 3 并对准航向,保持位置和深度 15 秒。
巡检路径
underwater_path · BlueROV2 · 240 仿真秒
下潜至 3 m,依次访问海床橙色标记上方的目标 1、2、3。保持深度,标记在下方海床。返回 3 m 的目标 4,对准航向并保持 5 秒。
绕桩、返回与上浮
underwater_return · BlueROV2 · 300 仿真秒
下潜至 2 m 并访问入口门目标 1,绕水下柱跟随目标 2、3、4,再从同一门目标 5 返回,在起点目标 6 上浮并保持 5 秒。
保持需要正确位置和航向,水下还需正确深度。第一帧有效范围内实测位姿启动计时,离开则重置。仿真时限之后完成的穿越或保持不增加进度。水面保持航向逆着世界坐标海流,旋转的障碍路线也相同。
在 VS Code 读取 JSON
从邮件或我的提交 → 查看结果下载 JSON。reports 每项包含对应 report。
score:0–100;completion:按顺序完成的目标比例,0–1。position_rms_m:位置/路线误差 m;heading_rms_rad:航向误差 rad;depth_rms_m:水下深度误差。越小越好。gate_centre_rms_m:穿门时中心误差 m。best_consecutive_hold_seconds:最长连续定点保持秒数。collision_proxies:按评分几何包络判定触碰的障碍物数。invalid:无效原因;有效运行没有此原因。
在程序输出查看 Python 消息,保存结果以比较代码修改。
每次改进一项
先完成路线,再减小误差并从门中心通过,最后在安全间距下提高速度。最高配分:进度 20、精度 60、速度 10、安全 10。完成任务得到 20 进度分;误差同时降低精度、速度和安全分,因此粗略完成也可能低分。
评分器插值实测路径与两柱连线的交点。中心误差越小精度分越高;船体须容纳在门内,水下还须满足深度。每次穿越记录中心误差。定点保持按最长连续保持给予部分进度,未满 45 秒也可得分。每个碰到的障碍扣 15 分,发生碰撞总分上限 50。有效超时保留部分得分;无效或取消运行不进入正式排名。
完成五次评估不要求五次都完整完成任务,可以是五次部分结果。五个目标到达四个,其他项之前的进度分为 16。理解实测挑战示例保留了改进空间。
完成五次并查看排名
提交一项任务,服务器选择共同条件和种子。按公开昵称查找排名,再完成水面或水下组另外两项任务。
任务得分 = 五次平均分的 80% + 最低分的 20%。组别得分为三项任务平均。最新完成提交决定排名,排队或失败提交不替换已有排名。ArduPilot 少于五个种子标为暂定。未测量代表没有测量值,不是零分。比较行使用附带默认车辆配置。
进阶:公式和公平性
WWW-POSIM 自有教育评分规则参考 RobotX、VRX、RoboSub,衡量进度、精度、速度和障碍间距。得分来自服务器原生轨迹观测,客户端不能申报数字得分。
单次评分
c 为完成目标数 / 总数。路线任务 p=c;定点任务 p=min(最长连续有效保持 / 45, 1)。e_p、e_h、e_d 分别是水平/路线、偏航、深度误差的时间加权 RMS。g 为门中心 RMS 误差除以扣去浮标和船体半径后的可用半宽;未通过门时 g=0。t 为已过仿真时间,T 为时限,I 为理想完成时间。
quality = exp(-max(0,e_p-0.05)/0.6
-max(0,e_h-2π/180)/0.25
-max(0,e_d-0.02)/0.2
-(g/0.25)^2)
progress = 20 p
accuracy = 60 p quality
speed = 10 c clamp((T-t)/(T-I), 0, 1) quality
safety = 10 p clamp(minimum_hull_clearance / 2, 0, 1) quality
raw = progress + accuracy + speed + safety - 15 × struck_obstacles
score = clamp(raw, 0, 100)
无精度样本时 quality=0。从门中心到可用边缘一半处穿过,门精度因子为 exp(-4) ≈ 0.018;仅穿越不足以获得高精度分。无障碍几何时安全项为 10 p quality。
保守船体包络半径为 WAM-V 3.5 m、BlueROV2 0.5 m,并检查与各圆柱的垂直重叠。这是几何近似,不是实测接触力;可能在精确网格接触前罚分,但对所有人相同。每个障碍每次只计一次;碰撞后上限 50。不额外编造陆地/海床接触力积分项;原生地形安全和运动检查可能停止或使运行无效。
种子缩放前门宽:水面 12.4 m,水下 6.4 m。共同人工场地 2 km × 2 km,平坦海床 20 m,地理原点和水面起点 35.074899 N / 129.084759 E。物理目标 1×,步长 10 ms。
到达范围:水平误差水面 <0.8 m、水下 <0.5 m;水下深度误差 <0.2 m。保持还需偏航误差 <0.12 rad(约 6.9°)。离开范围重置连续计时。穿门须按要求方向通过平面,且船体在可用开口内;连续实测位姿插值计算中心和深度误差。
路线接近时,位置误差为到当前有界线段的距离,航向误差相对行进方向。进入最终保持目标水平半径后,使用目标位置和指定保持航向;深度和航向也约束计时。定点精度从首次进入有效范围开始,漂出后仍持续测量相对目标位置和航向的误差。
| 任务 | T / 秒 | I / 秒 | 最终保持 |
|---|---|---|---|
surface_station |
120 | 70 | 45 s |
surface_gates |
240 | 150 | 5 s |
surface_slalom |
300 | 210 | 10 s |
underwater_gate |
180 | 100 | 15 s |
underwater_path |
240 | 170 | 5 s |
underwater_return |
300 | 220 | 5 s 在水面 |
无碰撞完赛、所有精度阈值达标、门中心穿越、I 以内、船体间距 ≥2 m 可得 100。c=0.5 时只有一半进度和奖励权重。一次碰撞即使原始分更高也封顶 50。缺少有效轨迹、非有限值、仿真时间倒退或不连续、位姿跳变、所有权过期或会话改变会使运行无效。若原生数据一直有效,超时保留已获部分分。
RMS 按原生仿真时间积分,不按浏览器轮询次数。物理步长和容差属于规则版本;正式评分中不能改变波浪/物理。满分阈值严格但非零。水面船首逆海流;条件 5 跟随海流方向变化,使双推进器能抵抗水流。yaw_current_follow 标记这类目标;配置含 current_epoch_sim_time、周期、相位和摆幅。若实测模型/传感器限制导致无法达标,教师应更改规则版本并重测基准,而不是重标旧分数。
共同条件与排名
安装版练习提供同样五个条件。规则版本、任务和条件编号确定正式种子;自定义练习布局在高级选项。
| 评估 | 海况与海流 | 风 |
|---|---|---|
| 1 | 平静海面,无海流 | 3 m/s |
| 2 | 横向海流 0.20 m/s | 5 m/s |
| 3 | 强海流 0.35 m/s | 6.5 m/s |
| 4 | 波浪海面,无海流 | 8 m/s |
| 5 | 波浪海面,变化海流 0.35–0.65 m/s | 8 m/s |
海流是用于车辆流体动力学的水平水速度。条件 5 在 45 秒周期内平滑改变速度和方向,方向 ±25°。评分启动时海流开始。种子布局变化为缩放 ±10%、横向平移 ±3 m、保持航向 ±0.25 rad。风向 110–160°,变化前海流方向 75–105°。
suite_score = 0.8 × mean(five scores) + 0.2 × min(five scores);组别为三项算术平均。参赛者用最新完成提交保存的五次有效运行。ArduPilot 用每个种子最近验证结果,少于五个不同种子为暂定并显示数量。每次新提交从条件 1 开始。向组织者披露重试和计算预算;决赛可使用单独系列或规则版本。
服务器保存时间、所有者 ID、公开昵称、任务、规则、种子、原生轨迹、指标、控制器类型和基准参数哈希。公开响应排除邮箱。本地试验仅为练习:开源客户端可更改自身代码/数据。服务器观测保护分数来源,不证明代码作者或使用真实导航估计器。明确允许仿真真值里程计导航。避障练习应使用实测 LiDAR/相机;更强的纯感知约束需要单独传感器/导航配置和规则版本。
ArduPilot 基准与完整性
置顶行使用新启动的 Autopilot 世界、附带默认车辆参数和仿真导航集成。操作者执行相同有序目标,测量原生状态并记录参数摘要。修改参数的会话不能作为基准;运行中参数变化使结果无效。不假设默认感知或避障。Gazebo/SITL/外部导航设置属于附带配置,并不声称只用硬件出厂参数。
无测量显示未测量,不编造零或 100。一个真实种子仍为暂定;路线、参数、模型改变需新基准/规则。即使学生超过它,基准仍可见。
运行前后强制获取并检查完整 FCU 参数。仅从配置哈希排除 SIM_SPEEDUP(另行验证 1×)、STAT_RUNTIME/STAT_FLTTIME(只读累计时间)、BARO1_GND_PRESS/BARO2_GND_PRESS/BARO3_GND_PRESS(只读、易变自动地面气压校准)。控制参数变化使分数无效。控制器关闭、结束检查和数据库提交完成前维持 finalizing;提前释放名额会使运行无效。无效开发尝试私下保留并排除排名。置顶零分可以是一次有效但未成功的运行。
导出与本地评估
网站在隔离环境运行代码并连接专用 Gazebo 世界,先评分再运行程序,并持续检查正式物理和波浪。按安装版练习训练后,通过网站提交代码取得正式分数。
所有者可导出完成或中断的证据。释放名额后,/competition/run/export?run_id=... 仍要求相同所有者。JSON 哈希用于发现改动,不是防作弊证书。没有从本地文件授予正式分数的端点;管理员也不能通过此端点下载其他所有者的私人导出。