http://www.oschina.net/p/tensorflowonspark?fromerr=IaM8unP7

TensorFlowOnSpark 將 TensorFlow 帶到 Apache Spark 集群上,，由 Yahoo 開源。

TensorFlowOnSpark 為 Apache Hadoop 和 Apache Spark 集群帶來可擴展的深度學習。 通過結合深入學習框架 TensorFlow 和大數(shù)據(jù)框架 Apache Spark ,、Apache Hadoop 的顯著特征,，TensorFlowOnSpark 能夠在 GPU 和 CPU 服務器集群上實現(xiàn)分布式深度學習。

TensorFlowOnSpark 支持對 Apache Spark 集群進行分布式 TensorFlow 訓練和推斷,。它試圖最小化在共享網(wǎng)格上運行現(xiàn)有 TensorFlow 程序所需的代碼更改量,。 它的 Spark 兼容 API 通過以下步驟來管理 TensorFlow 集群：

1. 預留 - 為每個執(zhí)行程序保留 TensorFlow 進程的端口，并啟動數(shù)據(jù)/控制消息的偵聽器,。

2. 啟動 - 在執(zhí)行器上啟動 Tensorflow 主函數(shù),。

3. 數(shù)據(jù)攝取

1. Readers & QueueRunners - 利用 TensorFlow 的 Reader 機制直接從 HDFS 讀取數(shù)據(jù)文件。

2. Feeding - 使用 feed_dict 機制將 Spark RDD 數(shù)據(jù)發(fā)送到 TensorFlow 節(jié)點。 請注意，需利用 Hadoop 輸入/輸出格式訪問 HDFS 上的 TFRecords,。

4. 關閉 - 關閉執(zhí)行器上的 Tensorflow 工作線程和 PS 節(jié)點,。