autonomous driving audit

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%2C%3C3.14%22%0A%23%20dependencies%20%3D%20%5B%22altair%3D%3D6.0.0%22%2C%20%22marimo%3D%3D0.25.0%22%2C%20%22pandas%3D%3D3.0.2%22%5D%0A%23%20%0A%23%20%5Btool.marimo.export%5D%0A%23%20lock_kind%20%3D%20%22resolved%22%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.25.0%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20altair%20as%20alt%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20pandas%20as%20pd%0A%0A%20%20%20%20return%20alt%2C%20mo%2C%20pd%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%20Autonomous-driving%20long-tail%20audit%0A%0A%20%20%20%20A%20compact%2C%20reproducible%20marimo%20demo%20for%20slicing%20perception%20results%20by%0A%20%20%20%20model%2C%20weather%2C%20lighting%2C%20object%20class%2C%20and%20distance.%20Change%20the%20controls%0A%20%20%20%20below%3A%20every%20metric%2C%20chart%2C%20and%20failure%20row%20updates%20reactively.%0A%0A%20%20%20%20**Evidence%20boundary%3A**%20all%2072%20rows%20are%20deterministic%20synthetic%20fixtures.%0A%20%20%20%20This%20demonstrates%20an%20audit%20workflow%2C%20not%20road%20safety%2C%20real-world%20model%0A%20%20%20%20performance%2C%20or%20deployment%20readiness.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pd)%3A%0A%20%20%20%20weather_cycle%20%3D%20%5B%22clear%22%2C%20%22rain%22%2C%20%22fog%22%5D%0A%20%20%20%20lighting_cycle%20%3D%20%5B%22day%22%2C%20%22night%22%5D%0A%20%20%20%20class_cycle%20%3D%20%5B%22vehicle%22%2C%20%22pedestrian%22%2C%20%22cyclist%22%5D%0A%20%20%20%20distance_cycle%20%3D%20%5B%22near%22%2C%20%22mid%22%2C%20%22far%22%5D%0A%0A%20%20%20%20rows%20%3D%20%5B%5D%0A%20%20%20%20for%20frame_id%20in%20range(36)%3A%0A%20%20%20%20%20%20%20%20_weather%20%3D%20weather_cycle%5Bframe_id%20%25%203%5D%0A%20%20%20%20%20%20%20%20_lighting%20%3D%20lighting_cycle%5B(frame_id%20%2F%2F%203)%20%25%202%5D%0A%20%20%20%20%20%20%20%20_object_class%20%3D%20class_cycle%5B(frame_id%20%2F%2F%202)%20%25%203%5D%0A%20%20%20%20%20%20%20%20_distance%20%3D%20distance_cycle%5B(frame_id%20%2F%2F%204)%20%25%203%5D%0A%0A%20%20%20%20%20%20%20%20for%20_model%20in%20%5B%22baseline%22%2C%20%22candidate%22%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20difficulty%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(0.10%20if%20_weather%20%3D%3D%20%22rain%22%20else%200.18%20if%20_weather%20%3D%3D%20%22fog%22%20else%200)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20(0.12%20if%20_lighting%20%3D%3D%20%22night%22%20else%200)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20(0.15%20if%20_distance%20%3D%3D%20%22far%22%20else%200.05%20if%20_distance%20%3D%3D%20%22mid%22%20else%200)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20(0.05%20if%20_object_class%20!%3D%20%22vehicle%22%20else%200)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20model_gain%20%3D%200.09%20if%20_model%20%3D%3D%20%22candidate%22%20else%200%0A%20%20%20%20%20%20%20%20%20%20%20%20jitter%20%3D%20((frame_id%20*%2017)%20%25%2013%20-%206)%20%2F%20100%0A%20%20%20%20%20%20%20%20%20%20%20%20confidence%20%3D%20max(0.12%2C%20min(0.97%2C%200.88%20-%20difficulty%20%2B%20model_gain%20%2B%20jitter))%0A%20%20%20%20%20%20%20%20%20%20%20%20detected%20%3D%20confidence%20%3E%3D%20(0.53%20if%20_model%20%3D%3D%20%22candidate%22%20else%200.56)%0A%20%20%20%20%20%20%20%20%20%20%20%20iou%20%3D%20max(0.0%2C%20min(0.92%2C%20confidence%20-%200.14%20%2B%20((frame_id%20%25%205)%20-%202)%20%2F%20100))%20if%20detected%20else%200.0%0A%20%20%20%20%20%20%20%20%20%20%20%20latency_ms%20%3D%2039%20%2B%20(7%20if%20_model%20%3D%3D%20%22candidate%22%20else%200)%20%2B%20(frame_id%20*%207)%20%25%2019%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22frame_id%22%3A%20f%22scene-%7Bframe_id%3A03d%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22model%22%3A%20_model%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22weather%22%3A%20_weather%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22lighting%22%3A%20_lighting%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22object_class%22%3A%20_object_class%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22distance%22%3A%20_distance%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22confidence%22%3A%20round(confidence%2C%202)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22detected%22%3A%20detected%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22iou%22%3A%20round(iou%2C%202)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22latency_ms%22%3A%20latency_ms%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20results%20%3D%20pd.DataFrame(rows)%0A%20%20%20%20return%20(results%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20model%20%3D%20mo.ui.dropdown(%5B%22all%22%2C%20%22baseline%22%2C%20%22candidate%22%5D%2C%20value%3D%22all%22%2C%20label%3D%22Model%22)%0A%20%20%20%20weather%20%3D%20mo.ui.dropdown(%5B%22all%22%2C%20%22clear%22%2C%20%22rain%22%2C%20%22fog%22%5D%2C%20value%3D%22all%22%2C%20label%3D%22Weather%22)%0A%20%20%20%20lighting%20%3D%20mo.ui.dropdown(%5B%22all%22%2C%20%22day%22%2C%20%22night%22%5D%2C%20value%3D%22all%22%2C%20label%3D%22Lighting%22)%0A%20%20%20%20object_class%20%3D%20mo.ui.dropdown(%5B%22all%22%2C%20%22vehicle%22%2C%20%22pedestrian%22%2C%20%22cyclist%22%5D%2C%20value%3D%22all%22%2C%20label%3D%22Object%20class%22)%0A%20%20%20%20min_confidence%20%3D%20mo.ui.slider(0.0%2C%200.9%2C%20step%3D0.05%2C%20value%3D0.0%2C%20label%3D%22Minimum%20confidence%22)%0A%20%20%20%20mo.hstack(%5Bmodel%2C%20weather%2C%20lighting%2C%20object_class%2C%20min_confidence%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%0A%20%20%20%20return%20lighting%2C%20min_confidence%2C%20model%2C%20object_class%2C%20weather%0A%0A%0A%40app.cell%0Adef%20_(lighting%2C%20min_confidence%2C%20model%2C%20object_class%2C%20results%2C%20weather)%3A%0A%20%20%20%20filtered%20%3D%20results.copy()%0A%20%20%20%20filters%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22model%22%3A%20model.value%2C%0A%20%20%20%20%20%20%20%20%22weather%22%3A%20weather.value%2C%0A%20%20%20%20%20%20%20%20%22lighting%22%3A%20lighting.value%2C%0A%20%20%20%20%20%20%20%20%22object_class%22%3A%20object_class.value%2C%0A%20%20%20%20%7D%0A%20%20%20%20for%20column%2C%20value%20in%20filters.items()%3A%0A%20%20%20%20%20%20%20%20if%20value%20!%3D%20%22all%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20filtered%20%3D%20filtered%5Bfiltered%5Bcolumn%5D%20%3D%3D%20value%5D%0A%20%20%20%20filtered%20%3D%20filtered%5Bfiltered%5B%22confidence%22%5D%20%3E%3D%20min_confidence.value%5D%0A%20%20%20%20return%20(filtered%2C)%0A%0A%0A%40app.cell%0Adef%20_(filtered%2C%20mo)%3A%0A%20%20%20%20count%20%3D%20len(filtered)%0A%20%20%20%20recall%20%3D%20filtered%5B%22detected%22%5D.mean()%20if%20count%20else%200%0A%20%20%20%20mean_iou%20%3D%20filtered.loc%5Bfiltered%5B%22detected%22%5D%2C%20%22iou%22%5D.mean()%20if%20filtered%5B%22detected%22%5D.any()%20else%200%0A%20%20%20%20latency%20%3D%20filtered%5B%22latency_ms%22%5D.mean()%20if%20count%20else%200%0A%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(value%3Df%22%7Bcount%7D%22%2C%20label%3D%22Rows%20in%20slice%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(value%3Df%22%7Brecall%3A.1%25%7D%22%2C%20label%3D%22Detection%20rate%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(value%3Df%22%7Bmean_iou%3A.2f%7D%22%2C%20label%3D%22Mean%20IoU%20(detected)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(value%3Df%22%7Blatency%3A.1f%7D%20ms%22%2C%20label%3D%22Mean%20latency%22)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20widths%3D%22equal%22%2C%0A%20%20%20%20%20%20%20%20wrap%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20filtered%2C%20mo)%3A%0A%20%20%20%20summary%20%3D%20(%0A%20%20%20%20%20%20%20%20filtered.groupby(%5B%22model%22%2C%20%22weather%22%5D%2C%20as_index%3DFalse)%0A%20%20%20%20%20%20%20%20.agg(detection_rate%3D(%22detected%22%2C%20%22mean%22)%2C%20samples%3D(%22detected%22%2C%20%22size%22))%0A%20%20%20%20)%0A%20%20%20%20chart%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(summary)%0A%20%20%20%20%20%20%20%20.mark_bar()%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22weather%3AN%22%2C%20title%3D%22Weather%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22detection_rate%3AQ%22%2C%20title%3D%22Detection%20rate%22%2C%20scale%3Dalt.Scale(domain%3D%5B0%2C%201%5D))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%22model%3AN%22%2C%20title%3D%22Model%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xOffset%3D%22model%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%22model%22%2C%20%22weather%22%2C%20alt.Tooltip(%22detection_rate%3AQ%22%2C%20format%3D%22.1%25%22)%2C%20%22samples%22%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(height%3D280%2C%20title%3D%22Detection%20rate%20by%20weather%22)%0A%20%20%20%20)%0A%20%20%20%20mo.ui.altair_chart(chart)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(filtered%2C%20mo)%3A%0A%20%20%20%20failures%20%3D%20filtered.loc%5B%0A%20%20%20%20%20%20%20%20~filtered%5B%22detected%22%5D%2C%0A%20%20%20%20%20%20%20%20%5B%22frame_id%22%2C%20%22model%22%2C%20%22weather%22%2C%20%22lighting%22%2C%20%22object_class%22%2C%20%22distance%22%2C%20%22confidence%22%2C%20%22latency_ms%22%5D%2C%0A%20%20%20%20%5D.sort_values(%5B%22confidence%22%2C%20%22frame_id%22%5D)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22%23%23%20Failure%20queue%5Cn%5Cn**%7Blen(failures)%7D**%20missed%20detections%20in%20the%20current%20slice.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.table(failures%2C%20pagination%3DTrue%2C%20page_size%3D10%2C%20selection%3DNone)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20**How%20to%20productionize%20this%3A**%20replace%20the%20fixture%20cell%20with%20a%20versioned%0A%20%20%20%20%20%20%20%20%20%20%20%20evaluation%20artifact%2C%20add%20dataset%2Fmodel%20commit%20hashes%2C%20preserve%20per-scene%0A%20%20%20%20%20%20%20%20%20%20%20%20evidence%2C%20and%20pre-register%20release%20gates.%20Aggregate%20metrics%20alone%20do%20not%0A%20%20%20%20%20%20%20%20%20%20%20%20establish%20safety.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A