大数據产业链和数據收集刘宝强.ppt

不管你現在做什麼行業，未來都是數據生意 ——凱文凱利 大數據產業鏈 大數據平臺 八爪魚大數據收集系統 目錄 1.產業鏈背景 數據不是一個新的概念，但沒有雲計算的成熟，就沒有真正的大數據。雲計算為大數據提供了硬體和框架。 傳統的數據處理是利用因果關係，當無法依靠因果關係處理數據時，就需要用關聯關係，分析關聯關係而不是因果關係為大數據提供了理論方向。 大數據怎麼產生的？ 用大數據認識世界——無數據，難以看清世界的真相和細節！ 用大數據預測未來——無數據，難以看清數據之間的關聯及背後的價值！ 用大數據引領創新管理——無數據，難以做到跨界融合，易紙上談兵！ 大數據有什麼用？ 美國大數據產業鏈 中國大數據產業鏈 共用、交易、眾包、訂閱 行業及具體場景應用 大數據產業環節及分層 2.大數據平臺 內部數據 關聯數據 其他數據 互聯網數據 數據搜集 數據清洗 數據建模 數據分析 數據倉庫 業務分析平臺 分析 決策 監測 預測 3.大數據收集系統 垂直， 行業門戶 企業 情報系統 資訊 研究諮詢 應用場景 輿情監控 預警 資訊採集 發佈 電子商務 數據服務 知識， 數據倉庫 科研 電子商務網路行銷 公司企業 政府機關 各類網站 數據自動化 系統集成 數據獲取的用途 應用行業 數據庫 Excel BI平臺 八爪魚數據獲取系統 八爪魚·大數據，通過自主創新研發，以分散式雲平臺架構為產品核心，説明客戶通過在極短的時間內，通過簡單操作即可獲取想要的數據，並以結構化數據展示，為企業數據採擷與數據分析提供基礎數據來源。 四大特色 1、通用性數據獲取系統 視覺化操作 任何網站都可以採集 輕鬆應對各種反爬蟲措施 2、 集群化分散式雲採集模式 雲服務穩定運行模式 分散式高效採集 定時控制計畫 3、通用的數據API介面 實現數據自動入庫，安全高效 支援二次開發，實現企業內部系統無縫對接 4、企業級多用戶協作管理平臺 支援多用戶操作 雲端調度和雲進程實施監控 數據獲取架構方案 八爪魚內置數據獲取系統，數據倉庫，數據整合介面為一體化的解決方案，可進行內外網抓取。同時八爪魚採集系統還支援二次開發，可以實現與企業內部系統的無縫對接。 數據採集系統 網頁 數據倉庫 企業內部系統 數據整合介面 數據採集系統 網頁 分散式雲集群部署，海量數據處理能力 八爪魚通過一套中央控制處理機制連接了使用者端和雲集群服務端。中央控制器接收使用者指令，把任務分派到雲端的各個節點進行工作，實現自動負載均衡，動態伸縮，日均數據千萬數據輕鬆搞定。 雲採集集群 (自動負載均衡，可動態伸縮，熱插拔) 中央控制 終端用戶