Spark-on-HBase:Konektor HBase založený na DataFrame

Použití

Níže je uveden základní postup použití konektoru. Další podrobnosti a pokročilé případy použití, jako je Avro a podpora kompozitních klíčů, najdete v příkladech v úložišti.

1) Definujte katalog pro mapování schématu:

[code language="scala"]def Catalog =s"""{        |"table":{"namespace":"default", "name":"table1"},        |"rowkey":"key" ,        |"columns":{          |"col0":{"cf":"rowkey", "col":"key", "type":"string"},           |"col1":{"cf":"cf1 ", "col":"col1", "type":"boolean"},          |"col2":{"cf":"cf2", "col":"col2", "type":"double"}, |"col3":{"cf":"cf3", "col":"col3", "type":"float"},          |"col4":{"cf":"cf4", "col":" col4", "type":"int"},          |"col5":{"cf":"cf5", "col":"col5", "type":"bigint"},          |"col6":{" cf":"cf6", "col":"col6", "type":"smallint"},          |"col7":{"cf":"cf7", "col":"col7", "type":"string"},          |"col8":{"cf":"cf8", "col":"col8", "type":"tinyint"}         |}      |}""".stripMargin[/code] 

 
 

 2) Připravte data a naplňte tabulku HBase: 
třída case HBaseRecord(col0:String, col1:Boolean,col2:Double, col3:Float,col4:Int,       col5:Long, col6:Short, col7:String, col8:Byte)
 

 objekt HBaseRecord {def apply(i:Int, t:String):HBaseRecord ={ val s =s”””row${“%03d”.format(i)}”””       HBaseRecord(s, i % 2 ==0, i.toDouble, i.toFloat,  i, i.toLong, i.toShort,  s”String$i:$t”,      i.toByte) }}
 

 val data =(0 až 255).map { i =>  HBaseRecord(i, “extra”)}
 

 sc.parallelize(data).toDF.write.options(
  Map(HBaseTableCatalog.tableCatalog -> katalog, HBaseTableCatalog.newTable -> “5”))
  .format(“org.apache.spark. sql.execution.datasources.hbase”)
  .save()
 
3) Načtěte DataFrame: 
def withCatalog(cat:String):DataFrame ={
  sqlContext
 .read
  .options(Map(HBaseTableCatalog.tableCatalog->cat))
  .format( “org.apache.spark.sql.execution.datasources.hbase”)
  .load()
}
 

 val df =withCatalog(katalog)
 

 4) Jazyk integrovaný dotaz: 
val s =df.filter((($”col0″ <=“řádek050″ &&$”col0”> “řádek040”) ||
  $”col0″ ===“řádek005” || 
  $”col0″ ===“řádek020” ||
  $”col0″ === ”r20” ||
  $”col0″ <=“řádek005”) &&
  ($”col4″ ===1 ||
  $”col4″ ===42))
  .select(“col0”, “col1”, “col4”)
s .ukázat
 

 5) SQL dotaz: 
df.registerTempTable(“table”)
sqlContext.sql(“select count(col1) from table”).show
 
Konfigurace Spark-Package 
 

 Uživatelé mohou používat konektor Spark-on-HBase jako standardní balíček Spark. K zahrnutí balíčku do vaší aplikace Spark použijte:
 

 spark-shell, pyspark nebo spark-submit
 

> $SPARK_HOME/bin/spark-shell –balíčky zhzhan:shc:0.0.11-1.6.1-s_2.10
 

 Uživatelé mohou balíček zahrnout také jako závislost do vašeho souboru SBT. Formát je spark-package-name:version
 

 spDependencies +=“zhzhan/shc:0.0.11-1.6.1-s_2.10” 
 
Spuštění v zabezpečeném clusteru 
 

 Pro spuštění v clusteru s podporou Kerberos musí uživatel zahrnout jar související s HBase do cesty třídy, protože načítání a obnovování tokenu HBase provádí Spark a je nezávislé na konektoru. Jinými slovy, uživatel potřebuje iniciovat prostředí normálním způsobem, buď prostřednictvím kinit nebo poskytnutím principu/klíčové tabulky. Následující příklady ukazují, jak spustit v zabezpečeném clusteru s režimem yarn-client i yarn-cluster. Pamatujte, že SPARK_CLASSPATH musí být nastaven pro oba režimy a ukázkový jar je pouze zástupný symbol pro Spark.
 

 export SPARK_CLASSPATH=/usr/hdp/current/hbase-client/lib/hbase-common.jar:/usr/hdp/current/hbase-client/lib/hbase-client.jar:/usr/hdp/current/hbase- client/lib/hbase-server.jar:/usr/hdp/current/hbase-client/lib/hbase-protocol.jar:/usr/hdp/current/hbase-client/lib/guava-12.0.1.jar
 

 Předpokládejme, že hrt_qa je bezhlavý účet, uživatel může použít následující příkaz pro kinit:
 

 kinit -k -t /tmp/hrt_qa.headless.keytab hrt_qa
 

 /usr/hdp/current/spark-client/bin/spark-submit –class org.apache.spark.sql.execution.datasources.hbase.examples.HBaseSource –master yarn-client –packages zhzhan:shc:0.0.11- 1.6.1-s_2.10 –počet-exekutorů 4 –ovladač-paměť 512m –exekutor-paměť 512m –exekutorská jádra 1 /usr/hdp/current/spark-client/lib/spark-examples-1.6.1.2.4.2. 0-106-hadoop2.7.1.2.4.2.0-106.jar
 

 /usr/hdp/current/spark-client/bin/spark-submit –class org.apache.spark.sql.execution.datasources.hbase.examples.HBaseSource –master yarn-cluster –files /etc/hbase/conf/hbase -site.xml –balíčky zhzhan:shc:0.0.11-1.6.1-s_2.10 –počet-exekutorů 4 –ovladač-paměť 512m –exekutor-paměť 512m –exekutorská-jádra 1 /usr/hdp/current/spark- client/lib/spark-examples-1.6.1.2.4.2.0-106-hadoop2.7.1.2.4.2.0-106.jar
 
Spojení všeho dohromady 
 

 Právě jsme poskytli rychlý přehled o tom, jak HBase podporuje Spark na úrovni DataFrame. S DataFrame API mohou aplikace Spark pracovat s daty uloženými v tabulce HBase stejně snadno jako s jakýmikoli daty uloženými v jiných zdrojích dat. Díky této nové funkci mohou být data v tabulkách HBase snadno spotřebována aplikacemi Spark a dalšími interaktivními nástroji, např. uživatelé mohou spustit složitý SQL dotaz nad tabulkou HBase uvnitř Sparku, provést spojení tabulky s Dataframe nebo integrovat se Spark Streaming a implementovat složitější systém. 
 
Co bude dál? 
 

 V současné době je konektor hostován v repozitáři Hortonworks a je publikován jako balíček Spark. Probíhá migrace do kmene Apache HBase. Během migrace jsme identifikovali některé kritické chyby v kmeni HBase a budou opraveny spolu se sloučením. Práce komunity je sledována zastřešujícím HBase JIRA HBASE-14789, včetně HBASE-14795 a HBASE-14796  za účelem optimalizace základní výpočetní architektury pro skenování a BulkGet,  HBASE-14801 poskytuje uživatelské rozhraní JSON pro snadné použití, HBASE-15336 cesta zápisu DataFrame, HBASE-15334 pro podporu Avro, HBASE-15333  pro podporu primitivních typů Java, jako je short, int, long, float a double atd., HBASE-15335 pro podporu složeného klíče řádku a HBASE-15572 přidat volitelnou sémantiku časového razítka. Těšíme se na výrobu budoucí verze konektoru, se kterou se s konektorem bude pracovat ještě snadněji.
 
Poděkování
 

 Chceme poděkovat Hamel Kothari, Sudarshan Kadambi a týmu Bloomberg za to, že nás vedli v této práci a také nám pomohli tuto práci ověřit. Chceme také poděkovat komunitě HBase za poskytnutí zpětné vazby a zlepšení. A konečně, tato práce využila lekce z dřívějších integrací Spark HBase a chceme poděkovat jejich vývojářům za vydláždění cesty.
 
Odkaz:
 

 SHC:https://github.com/hortonworks/shc-release
 

 Spark-package:http://spark-packages.org/package/zhzhan/shc
 

 Apache HBase: https://hbase.apache.org/
 

 Apache Spark:http://spark.apache.org/