您是何使海量和分否曾經為了查找一個測試文件,用軟件一個個打開數據文件查看信號?
您是工高效管理否曾經面對動輒幾百GB的測試數據,電腦卻總是具對進行報警磁盤空間不足?
您是否曾經想要將一批特定數據快速分享給同事,不得不準備移動硬盤?
您是數據否曾經想要將視頻文件或者其他格式文件和某一天測試數據關聯,而不得不手動記錄?
今天為大家介紹如何使用Vector工具對海量數據進行高效管理和分析。何使海量和分
1
Part.1
什么是工高效管理vMDM
vMDM(Vector Measurement Data Management)是端到端數據分析和管理的解決方案:
安全高效地對海量數據進行集中化管理;
根據用戶自定義的篩選條件在大數據中快速地提取特定數據;
不占用本地計算機資源進行復雜的計算和分析,實現自動化報告生成;
工程師可以根據授權級別來訪問指定測試數據,具對進行可以安全地與團隊成員進行數據分享,數據并且支持線上數據和線下分析軟件交互式分析;
良好的何使海量和分可擴展性,支持分布式計算。工高效管理
vMDM以ASAM MDF4作為存儲格式。具對進行MDF格式已作為汽車測量標定的數據實際行業標準被廣泛使用,主流工具軟件均支持該格式。何使海量和分
2
Part.2
如何上傳數據
vMDM提供多種方式來上傳數據,工高效管理用戶可以手動或者利用腳本(批處理、具對進行PowerShell等)實現自動化上傳。
場景一:從試驗車或臺架上采集的數據存儲到本地電腦指定目錄中,通過腳本不斷掃描目錄并自動上傳數據至vMDM服務器;
場景二:使用支持無線傳輸功能的數據記錄儀將數據直接上傳至vMDM服務器。
vMDM同時支持存儲附件文件,比如視頻文件、DBC文件、照片等和測量數據進行關聯,統一由vMDM進行管理。
測量數據根據用戶需求存入到指定的一個或多個集合中(Collection),集合可以近似理解為文件夾,用戶可根據具體需求創建集合來進行數據分類,例如根據測試項目、用戶、部門等。
3
Part.3
如何訪問數據
vMDM利用Elasticsearch高性能檢索功能,實現基于元數據的全文檢索。用戶可以在vSignalyzer/CANape客戶端,直接通過圖行用戶窗口自定義篩選規則,實現數據分類和瀏覽操作。例如用戶需要在數十萬的數據文件中,找到所有前驅和四驅車,并滿足EU5和EU6標準的測試數據,vMDM會在一兩秒內將滿足篩選條件的數據反饋給用戶,同時這個篩選的規則可以直接分享給其他用戶,實現團隊協作分析。
在用戶有授權的情況下,通過簡單地拖動、框選操作就能將數據從服務器直接緩存到本地進行分析。同時vMDM支持將MDF數據格式轉成ASCII、Excel和MATLAB數據格式以滿足用戶其他分析需求。
4
Part.4
如何分析數據
vSignalyzer/CANape提供類C的腳本語言CASL(Calculation And Scripting Language)用以編寫分析腳本,并上傳至服務器運行,同時支持加載Simulink、C++的動態鏈接庫。
場景一:自動分析前一天采集的數據文件,得到可視化分析報告,推送到郵箱;
場景二:自動推送統計性報告,比如耐久測試中用戶可以通過電子郵件迅速了解到車隊的路試進展,行駛了多少里程或者某特定車輛進行了多少次檔位切換等信息。
5
Part.5
支持交互式分析
利用vSignalyzer/CANape軟件,用戶除了直接瀏覽數據之外,也可以利用自定義篩選規則從服務器上抓取數據在本地計算機上進行分析。
6
Part.6
產品變體
vMDM Cloud
Vector直接為用戶提供SaaS服務,用戶不需要關心硬件資源、系統安裝維護等問題,安裝vSignalyzer/CANape option vMDM軟件后就可以直接使用。
vMDM Enterprise
企業若對數據安全和帶寬限制等有顧慮,可以選擇在公司內部服務器上安裝和使用vMDM系統。
vMDM Local
數據進行管理和分析,僅限于個人電腦上使用。
7
Part.7
應用案例
場景一:
用戶通過測量數據文件來監控關鍵傳感器信號的有效性,反饋傳感器信號是否出現缺失、漂移等異常狀態。
場景二:
用戶將分布在各個國家地區的測試臺架上獲取的二進制文件轉為MDF格式的數據文件,并上傳到vMDM服務器,高效地實現數據異地共享及分析。
場景三:
車隊在各個國家地區進行耐久性測試,測試員將采集的數據和測試數據相關的視頻、音頻文件以及數據描述信息(比如測試天氣、測試車輛排放等)上傳到vMDM。vMDM定時將統計性和功能驗證性報告推送到工程師,使工程師迅速地掌握耐久測試進展和測試數據質量。
8
Part.8
總結
vMDM為用戶提供了一套標準化的數據管理和分析流程,能高效地對海量數據進行管理、分類和評估,進行復雜地分析計算,最終為用戶提供有技術洞察價值的報告。
審核編輯:彭靜