数据并行化
整个计算图被保存在一个或多个参数服务器(ps)中。训练操作在多个机器上被执行,这些机器被称作worker。这些worker读取不同的数据(data batches),计算梯度,并将更新操作发送给参数服务器。
数据并行化有两种主要的方案:
- 同步训练:所有的worker服务器同时读取参数,执行训练操作,等待所有的worker服务器都完成当前训练操作后,梯度被平均后变成一个单独的更新请求并被发送到参数服务器中。所以在任何时候,每个worker服务器看到的计算图参数都是相同的。
让希望永驻
数据并行化
整个计算图被保存在一个或多个参数服务器(ps)中。训练操作在多个机器上被执行,这些机器被称作worker。这些worker读取不同的数据(data batches),计算梯度,并将更新操作发送给参数服务器。
数据并行化有两种主要的方案:
What is the difference between keras.evaluate() and keras.predict()?
model.predict
的结果是模型的输出y_pred
,而model.evaluate
返回根据y_pred
设置的metrics
。
The model.evaluate
function predicts the output for the given input and then computes the metrics function specified in themodel.compile
and based on y_true
and y_pred
and returns the computed metric value as the output.
@tf.function
弥补Eager execution带来的效率问题:
@tf.function
.tf.function
works best with TensorFlow ops; NumPy and Python calls are converted to constants.1 | discriminator = keras.Sequential( |
Estimator封装了四个主要功能:
Esitmator提供了现在tf.keras
正在构建中的功能:
今天创建了名为《世界》的文件夹,把我想记录的,包括看过的电影,书籍,旅游等等,都放在这里。
1、麦克·柯里昂:
Docker架构:客户端——服务器模式
客户端 + 服务器(守护进程) + 注册处(可选)
注册处:存储Docker映像和映像的元数据。
服务器(守护进程):可以在任意多个服务器中运行,作用是构建、运行、管理容器。
客户端:告诉服务器做什么
Docker 包括三个基本概念:
镜像(Image):一种底层定义,指明把什么放入容器中,是容器的文件系统。
可以使用远程仓库中别人制作好的镜像文件,也可以自己制作镜像文件。要制作镜像文件就要编写 Dockerfile 文件,其类似于 Makefile 文件。
1 | # 列出本机的所有image文件 |