SparkSQL對于批流支持的特性及批流一體化支持框架的難點
二、基于SparkSQL－Flow的
分析框架
何為 SparkSQL－Flow
1．一個由普元技術部提供的基于 SparkSQL 的開發(fā)模型；
2．一個可二次定制開發(fā)的大數據開發(fā)框架，提供了靈活的可擴展 API；
3．一個提供了 對文件，數據庫，NoSQL、流處理等統(tǒng)一的數據開發(fā)模式；
4．基于 SQL 的開發(fā)語言和 XML 的模板配置，支持 SparkSQL UDF 的擴展管理；
5．支持基于 Spark Standlone，Yarn，Mesos 資源管理平臺；
6．支持多種平臺Kerberos認證（開源、華為、星環(huán)）等平臺統(tǒng)一認證；
SparkSQL Flow XML 概覽
用戶只需要定義 Source，Transformer，Target 幾個核心組件：
1．Source 數據源：支持Data、DB、File、NoSQL、MQ 等眾多源；
2．Transformer 為上述定義的數據源和已有的Transformer 間的組合操作，一般為SQL；
3．Target 為輸出目標，支持show、DB、File、NoSQL、MQ 等眾多目標，支持類型基本和源相同；
4．用戶可以在Properties定義一些變量，作為Source／Transformer／Target 的宏替換；
SparkSQL Flow 適合的場景
1．批量 ETL；
2．非實時分析服務；
3．流式 ETL；
支持從多種獲得數據源：
1．支持文件：JSON、TextFile（CSV）、ParquetFile、AvroFile
2．大數據：Hive、HDFS
3．支持RDBMS數據庫：PostgreSQL、 MySQL、Oracle
4．支持 NOSQL 數據庫：Hbase、MongoDB、Redis
5．Streaming：JMS、AMQP、Kafka、Socket
分享
請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
- 1 GPT-6要來了，但AI行業(yè)早不跟 OpenAI玩了
- 2 騰訊「龍蝦」QClaw體驗：AI能連微信干活了，但整體還很粗糙
- 3 龍蝦的鰲收緊了
- 4 產業(yè)丨算電協(xié)同+Token出海，中國電力與算力全球化雙引擎
- 5 火爆的“Token經濟學”，關乎你的錢包、職場和未來消費 | 人人能懂的產業(yè)報告
- 6 漲價！漲價！漲價！一場由AI引發(fā)的全球算力與存儲“地震”
- 7 資本巨頭紛紛抽身，為何中小投資者仍為AI狂熱加碼？
- 8 大廠財報中的AI圖鑒：營收單列、玩杠桿、商業(yè)畫餅
- 9 從百度到Meta，科技巨頭的 AI 組織戰(zhàn)，開打了
- 10 華勤財報發(fā)布：收入規(guī)模破1700億，利潤增長近40%
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)（光器件） 北京市/海淀區(qū)
- 激光器高級銷售經理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結構工程師 廣東省/深圳市
