Navistar je přední světový výrobce užitkových nákladních vozidel. S vozovým parkem 350 000 vozidel způsobila neplánovaná údržba a poruchy vozidel pokračující narušení jejich podnikání. Navistar požadoval diagnostickou platformu, která by jim pomohla předvídat, kdy vozidlo potřebuje údržbu, aby se minimalizovaly prostoje. Tato platforma musela být schopna shromažďovat, analyzovat a obsluhovat data z více než 70 telematických a senzorových datových zdrojů z každého vozidla v jejich vozovém parku, včetně dat měření výkonu motoru, teploty chladicí kapaliny, rychlosti nákladního vozidla a opotřebení brzd. Společnost Navistar se obrátila na Cloudera, aby pomohla vybudovat platformu pro vzdálenou diagnostiku s podporou IoT, nazvanou OnCommand® Connection, která bude monitorovat stav jejich vozidel a zvýšit jejich provozuschopnost.
Tento blog demonstruje použití podobných technologií k řešení problémů mnohem menšího rozsahu, ale s paralelami s těmi, kterým čelí Navistar. Data byla stažena z vysoce upravené, vysoce výkonné Corvette (viz obr. 1), aby se ukázaly kroky načítání dat z externího zdroje, jejich formátování pomocí Apache NiFi, vkládání do zdroje datového proudu přes Apache Kafka a jejich ukládání pomocí Apache HBase pro další analýzu.
Obr 1. Corvette z roku 2008 s upraveným motorem 6,8L
U tohoto konkrétního příkladu si dotyčná Corvette nechala vyměnit všechny původní tovární součásti motoru ve prospěch dílů s vyšším výkonem. Motor byl stržen až do pláště, válce vyvrtány, klikový a vačkový hřídel vyměněny a byly instalovány nové písty a ojnice, honba za cílem ~600 koňských sil (viz obr. 2). Aby tato nová konfigurace motoru správně fungovala, prošel software motoru kompletní revizí. Zatímco sešlápnutí plynu se výrazně zdramatizovalo, nechtěným důsledkem bylo, že původní diagnostické a chybové systémy vozu již nebyly přesné, a proto musely být deaktivovány.
Obr. 2. Rekonstrukce středu motoru se všemi novými lesklými vnitřky
K zachycení a analýze dat senzorů Corvette byla potřeba cesta, aby data proudila z vozu do alternativní analytické a diagnostické platformy. Prvním krokem bylo připojení notebooku k diagnostickému portu Corvette (viz obr. 3), aby bylo možné importovat data ze senzorů do cloudového úložiště. Pro tento projekt byl použit S3.
Obr. 3. Laptop připojený k diagnostickému portu přes USB
Dalším krokem bylo použití Cloudera Data Platform (CDP), multifunkční, multi-analytické platformy Cloudera, pro přístup ke službám potřebným k přesunu dat do konečného úložiště pro další analýzu. Pomocí CDP Public Cloud byly nastaveny 3 datové uzly, z nichž každý hostuje sadu předem zabalených služeb s otevřeným zdrojovým kódem (viz obr. 4):
- Prvním nastavením byla služba NiFi, která slouží k automatizaci a správě toku dat. NiFi bylo použito k importu, formátování a přesunutí dat Corvette ze zdroje do konečného úložiště.
- Dalším bylo nastavení služby Kafka, streamovací služby v reálném čase, která umožňuje, aby byly jako stream k dispozici velké objemy dat. Kafka poskytuje možnost streamového zpracování dat a zároveň umožňuje ostatním uživatelům možnost přihlásit se k odběru datových proudů. V tomto příkladu nejsou žádní předplatitelé; jde však o důležitý koncept, který si zaslouží ukázku, jak jej nastavit.
- Konečným nastavením byla HBase, vysoce škálovatelná operační databáze orientovaná na sloupce, která poskytuje přístup pro čtení/zápis v reálném čase. Jakmile byla data importována do HBase, Phoenix by byl použit k dotazování a načítání dat.
Obr 4. Diagram toku dat Corvette od zdroje k dotazu.
Vybudování diagnostické platformy pomocí CDP ke sledování zdraví a výkonu Corvette bylo úspěšné cvičení. Použití NiFi a Kafka k formátování a streamování dat senzoru do HBase nyní umožňuje provádět pokročilé inženýrství a zpracování dat bez ohledu na to, jak velký soubor dat roste.
Další kroky
Chcete-li to všechno vidět v akci, podívejte se níže na odkazy na několik různých zdrojů představujících proces, který byl vytvořen.
- Video – Pokud byste chtěli vidět a slyšet, jak to bylo postaveno, podívejte se na rychlé 5minutové video ukazující navigaci CDP s NiFi v reálném čase, Kafka a HBase.
- Výukové programy – Pokud to chcete udělat svým vlastním tempem, prohlédněte si podrobný návod se snímky obrazovky a pokyny k nastavení řádek po řádku.
- MeetUps – Pokud si chcete promluvit přímo s odborníky z Cloudery a dokonce i s majitelem této Corvette, připojte se prosím k virtuálnímu setkání, kde uvidíte jeho živou prezentaci. Na konci bude čas na přímé otázky a odpovědi.
- Stránka uživatelů CDP – Chcete-li se dozvědět o dalších zdrojích CDP vytvořených pro uživatele, včetně dalších videí, výukových programů, blogů a událostí, klikněte na odkaz.