ParameterServer Design Doc #1964

dzhwinter · 2017-05-02T18:21:06Z

ParameterServer Design Doc

dzhwinter · 2017-05-02T18:24:15Z

here is more clear https://github.com/dzhwinter/Paddle/blob/develop/doc/design/cluster_train/PServer_design_doc.md

helinwang · 2017-05-02T20:19:42Z

.ycm_extra_conf.py

@@ -0,0 +1,133 @@
+import os, sys


这个文件是做什么的？

already delete, done.

It seems this files has not been deleted.

helinwang · 2017-05-02T20:21:20Z

doc/design/cluster_train/PServer_design_doc.md

+- parameters: 神经网络中的参数，包括权重w和偏置b。一个神经网络的模型由大量的参数组成
+- shard: 分片，通常指将一个整体拆分成多份的其中的一份。
+- parameter block: 多个parameter block构成一个model shard(现存的model并行策略是parameter block based，在新架构中继续沿用)
+- 单点故障: 任意时刻只可能同时有一台服务器故障。由于集群中同时存在两台机器故障的概率极低（（平均故障率*平均故障修复时间）^2）只对特殊在线系统考虑两台以上同时故障的容灾。


这一条普通情况是没有问题的，但是一个节点出问题不一定是由于故障造成的，可能是维护，比如说kernel更新rolling update。考虑两台以上同时容灾跟一台容灾有区别吗？（如果没有的话，感觉这一点就可以删掉了）

helinwang · 2017-05-02T20:29:29Z

doc/design/cluster_train/PServer_design_doc.md

+
+Optimizer需要支持的优化算法
+
+L-BFGS，owlqn，ftrl, TODO：在Paddle中owlqn等需要参数更新方式不同，支持接口是否相同？


Paddle（非容错版本）现在支持这些优化算法吗？接口是怎么样的？

helinwang · 2017-05-02T20:32:52Z

doc/design/cluster_train/PServer_design_doc.md

+发送接收数据和命令都使用rpc 接口，例如golang rpc
+
+```c++
+class Evaluator;


这一大段代码是Paddle目前代码的节选，还是design的parameter server库的接口？

helinwang · 2017-05-02T20:37:09Z

doc/design/cluster_train/PServer_design_doc.md

+PClient功能是否已经包含在trainer中？PClient 负责parameter balancer，打包rpc请求转发PServer。
+
+```c++
+class ParameterPartitioner;


目前Paddle是怎么做parameter partition的？
这里提出的ParameterPartitioner的对象是什么？是以每个layer中的矩阵为单位来partition吗？

helinwang · 2017-05-02T20:45:28Z

doc/design/cluster_train/PServer_design_doc.md

+  static createRequest(RPCRequest*, RPCResponse);
+  static AsyncRPCServer& singleton();
+  // send rpc call asynchronize
+  void send_async(); 


为什么send_async和send_sync是AsyncRPCServer的函数，而不是RPCRequest的函数？

helinwang · 2017-05-02T20:47:00Z

doc/design/cluster_train/PServer_design_doc.md

+
+- 启动和运行参数包括：
+
+`/PS_DESIRED`:, 启动PServer instance个数，etcd存储格式 `/PS_DESIRED:3`


PS_DESIRED以后支持扩容之后是可变的，可能需要从etcd里读，而不是启动parameter server的时候作为命令行参数。

支持etcd读取和命令行读取两种方式，之后规定的 ·etcd存储格式· 表示运行时候将会存储于etcd中，重启或者re-scaling时候会用到该信息

helinwang · 2017-05-02T20:50:46Z

doc/design/cluster_train/PServer_design_doc.md

+```c++
+// Used for request, package up request into binary
+struct RpcRequest {
+    uint64_t _request_id;


需要写明一下每个参数是做什么，直接看无法完全看明白。

typhoonzero · 2017-05-03T04:49:01Z

doc/design/cluster_train/PServer_design_doc.md

+
+PServer负责:
+
+模型存储，模型更新，注册服务并监听端口事件，PServer个数的动态扩张收缩，负责序列化传输数据。


目前的版本应该还没有考虑PServer个数的动态扩张收缩，如果要支持这个功能，需要引入在增减PServer时需要完成的parameters等数据的re-hash工作

已在PClient design部分有考虑，属于slicer划分模块

typhoonzero · 2017-05-03T04:50:22Z

doc/design/cluster_train/PServer_design_doc.md

+}
+```
+
+<img src="src/hashring.png" width="300"/>


这个图并没有文字说明其含义

typhoonzero · 2017-05-03T04:52:16Z

doc/design/cluster_train/PServer_design_doc.md

+
+sgd (momentum, adagram, adadelta, adam)，pass based
+
+async-sgd


以上的优化算法是否使用相同的一套通信API，还是选择不同的优化算法会对应不同的API和trainer通信？

由于实现上的差异，对于owlqn等算法API应不同。目前支持sgd类优化算法，该接口简化

typhoonzero · 2017-05-03T04:55:54Z

doc/design/cluster_train/PServer_design_doc.md

+
+## PClient
+
+PClient功能是否已经包含在trainer中？PClient 负责parameter balancer，打包rpc请求转发PServer。


Design doc中不应该有“？”，应该都是陈述句的描述。有不确定的问题可以提issue来讨论获得结论。

typhoonzero · 2017-05-03T04:58:24Z

doc/design/cluster_train/PServer_design_doc.md

+
+etcd存储格式 `ROOT_PORT:8000, /PS/0:8000，/PS/1:8001 `
+
+`/CHECKPOINT_PERIOD`:PServer运行保存快照存储的时间间隔，default filled


此项配置应该不需要存在etcd，从命令行传入参数就行。

CHECKPOINT_PERIOD 是从RPC Call 的方式请求过来的，因为提供灵活性的话需要用户event_handler去指定一个check_point时间去save 某个pass_id 的模型。考虑到CHECKPOINT_PERIOD是PServerConfig的一部分，因此存储在etcd，该参数单独存与不存都可以

如果是为了能让client设置pserver保存checkpoint的时间，为什么不直接让trainer调用RPC直接触发一次checkpoint呢？CHECKPOINT_PERIOD我理解也没有需要在训练过程中修改的需求。

[reply]为什么不直接让trainer调用RPC直接触发一次checkpoint呢
现在就是trainer调用RPC触发一次checkpoint的额。。，准确的说，是由用户的python程序制定event_handler，设定CHECKPOINT_DIR, CHECKPOINT_PERIOD，传递到trainer，trainer以RPC调用的方式传到PServer。
[reply]CHECKPOINT_PERIOD我理解也没有需要在训练过程中修改的需求。
之前考虑的情况是，某个PServer恢复/新增需要这个参数。。。

delete it

Yancey1989 · 2017-05-03T08:01:23Z

doc/design/cluster_train/PServer_design_doc.md

+
+- PServer: Parameter Server 服务器
+- PClient: Parameter Server Client
+- PServerController：PServer管理员，启动Server，动态扩容，容灾等


这一版不考虑动态扩容就先不写了？

这一版暂不实现该功能，design doc写出来评估功能划分

Yancey1989 · 2017-05-03T08:01:50Z

doc/design/cluster_train/PServer_design_doc.md

+## 术语
+
+- PServer: Parameter Server 服务器
+- PClient: Parameter Server Client


统一一下吧？Parameter Server服务器，Parameter Server 客户端？

Yancey1989 · 2017-05-03T08:02:58Z

doc/design/cluster_train/PServer_design_doc.md

+- PServerController：PServer管理员，启动Server，动态扩容，容灾等
+- model: 指深度学习训练之后得到的所有参数，使用这个神经网络可以完成对新数据的预测
+- parameters: 神经网络中的参数，包括权重w和偏置b。一个神经网络的模型由大量的参数组成
+- shard: 分片，通常指将一个整体拆分成多份的其中的一份。


这里的shard和下一行中的model shard是同一个东西么？

Yancey1989 · 2017-05-03T08:18:06Z

doc/design/cluster_train/PServer_design_doc.md

+
+## PServerController
+
+根据ParameterServer参数创建和管理PServer instance，从命令行读取参数，从etcd读取参数，运行开始将存活的PServer instance配置存储在etcd中


这是一个独立的进程吗？和PServer是1:1还是1:n的关系呢？

是1：n的关联，是一个独立进程。暂时没考虑它挂了会怎么样。。。

Yancey1989 · 2017-05-03T08:18:39Z

doc/design/cluster_train/PServer_design_doc.md

+
+- 启动和运行参数包括：
+
+`/PS_DESIRED`:, 启动PServer instance个数，etcd存储格式 `/PS_DESIRED:3`


多了一个，

Yancey1989 · 2017-05-03T08:21:08Z

doc/design/cluster_train/PServer_design_doc.md

+
+`/PS_DESIRED`:, 启动PServer instance个数，etcd存储格式 `/PS_DESIRED:3`
+
+`/ROOT_PORT`：显式指定根端口，PServer端口从PORT+1开始，直到找到可用端口，例如ROOT_PORT=8000, 则PServer0_Port=8000，PServer0_Port=8001,…，当前存在的PServer实例配置以etcd实时存储为准


从PORT+1开始=>从PORT开始，递增+1？另外如果启动在Container中应该不存在端口冲突的问题。

PServer0_Port=8000，PServer0_Port=8001* => * PServer0_Port=8000，PServer1_Port=8001*

@Yancey1989 Good question! 昨晚跟志宏还有龙飞的讨论中决定只用一个port。

@helinwang 明白了👍

dzhwinter · 2017-05-09T17:56:04Z

https://github.com/dzhwinter/Paddle/blob/develop/doc/design/cluster_train/PServer_design_doc.md may be more clear to review.

wangkuiyi · 2017-05-09T18:59:18Z

.ycm_extra_conf.py

@@ -0,0 +1,133 @@
+import os, sys


It seems this files has not been deleted.

wangkuiyi · 2017-05-09T19:00:08Z

doc/design/cluster_train/PServer_design_doc.md

@@ -0,0 +1,261 @@
+# Design Doc: Parameter Server Process


We are not designing a process, but designing a server program. Therefore the title should be

Design Doc: Parameter Server

wangkuiyi · 2017-05-09T19:00:36Z

doc/design/cluster_train/PServer_design_doc.md

@@ -0,0 +1,261 @@
+# Design Doc: Parameter Server Process
+
+Parameter Server process 是Paddle中负责模型的存储，更新和模型分片一致性的组件，在整个系统中的作用请参考 [distributed training design doc](./README.md) ，本文档包含PServer，PClient，PServerContoller等，涉及到的配置参数均使用大写字母


A server is a program. A server instance is a process.

wangkuiyi · 2017-05-09T19:03:54Z

doc/design/cluster_train/PServer_design_doc.md

@@ -0,0 +1,261 @@
+# Design Doc: Parameter Server Process
+
+Parameter Server process 是Paddle中负责模型的存储，更新和模型分片一致性的组件，在整个系统中的作用请参考 [distributed training design doc](./README.md) ，本文档包含PServer，PClient，PServerContoller等，涉及到的配置参数均使用大写字母


“存储”，“更新”，“分片”不是并列的概念。不应该这样罗列在一起。

Parameter server 的唯一的用途是分布式训练时更新模型。基于 parameter server的分布式模型更新算法要求 parameter server上存储一份模型。为了让 trainers 访问这份模型的效率比较高，我们要分片。实际上，用户是可以不分片的，只需要仅仅启动一个 parameter server instance。

恩恩，这么写概念的确不准确，对一个parameter server instance不成立。之前考虑和下文中的设计一致。fix it

wangkuiyi · 2017-05-09T19:04:42Z

doc/design/cluster_train/PServer_design_doc.md

+- PServer: Parameter Server Server，负责模型存储，调用分布式更新，响应PClient请求
+- PClient: Parameter Server Client，负责均衡PServer请求，打包并转发RPC请求
+- PServerController：负责启动Server，动态扩容，容灾等
+- model: 指深度学习训练之后得到的所有参数，使用这个神经网络可以完成对新数据的预测


model = topology + parameters, model != parameters

wangkuiyi · 2017-05-09T19:08:49Z

doc/design/cluster_train/PServer_design_doc.md

+
+1、模型存储，2、注册服务并监听端口事件，3、PServer个数的动态扩张收缩，4、负责序列化传输数据。
+
+发送接收调用都使用rpc 接口，见下文中的RPCServer，例如使用golang rpc实现对应的接口


英语里，缩写应该都是大写字母。RPC = remote procedure call

sorry, fix these typo....

wangkuiyi · 2017-05-09T19:09:23Z

doc/design/cluster_train/PServer_design_doc.md

+
+1、模型存储，2、注册服务并监听端口事件，3、PServer个数的动态扩张收缩，4、负责序列化传输数据。
+
+发送接收调用都使用rpc 接口，见下文中的RPCServer，例如使用golang rpc实现对应的接口


golang ==> Go

golang 只是一个域名（golang.org），因为go.org已经被注册了。语言的名字叫Go。

wangkuiyi · 2017-05-09T19:11:07Z

doc/design/cluster_train/PServer_design_doc.md

+
+发送接收调用都使用rpc 接口，见下文中的RPCServer，例如使用golang rpc实现对应的接口
+
+```c++


It was aforementioned that we are going to write the parameter server in Go, why here pastes some C++ code?

这个只是描述接口，用于讨论。写初稿时候对Go还不熟

wangkuiyi · 2017-05-09T19:11:35Z

doc/design/cluster_train/PServer_design_doc.md

+class SparseParameterUpdater {
+
+}
+/* 目前支持sgd 类算法，不支持owlqn, L-BFGS等算法


sgd ==> SGD (Stochastic Gradient Descent)

wangkuiyi · 2017-05-09T19:12:02Z

doc/design/cluster_train/PServer_design_doc.md

+class SparseParameterUpdater {
+
+}
+/* 目前支持sgd 类算法，不支持owlqn, L-BFGS等算法


owlqn ==> OWLQN (Orthant-Wise Limited-memory Quasi-Newton)

helinwang · 2017-05-09T20:40:52Z

doc/design/cluster_train/PServer_design_doc.md

+- PClient: Parameter Server Client，负责均衡PServer请求，打包并转发RPC请求
+- PServerController：负责启动Server，动态扩容，容灾等
+- model: 指深度学习训练之后得到的所有参数，使用这个神经网络可以完成对新数据的预测
+- Tensor: 一个NDArray结构，Trainer与PServer, PClient交互的基本数据结构


Paddle需要把一个Tensor切成小片，然后发给PServer，所以基本单位应该是array of float32 / int32。（以前代码的parameter block就是做这个的）

对ParameterServer的确是array of float32 / int32，统一概念写成Tensor

typedef 1-d Tensor就是array of float32 / int32

helinwang · 2017-05-09T20:44:03Z

doc/design/cluster_train/PServer_design_doc.md

+发送接收调用都使用rpc 接口，见下文中的RPCServer，例如使用golang rpc实现对应的接口
+
+```c++
+class Evaluator;


Design Doc只要说明接口就好了。这里的private变量／method都写出来了，第一是实现的时候基本不会按照暴露出来的细节实现（会用Go语言实现RPC Server），第二是把这么多细节写出来读者就晕了。Design Doc需要简练。

typhoonzero · 2017-05-10T00:16:41Z

doc/design/cluster_train/PServer_design_doc.md

+/* part 3.a. Trainer/worker auto scaling insert or remove during training */
+ unordered_map<string/*trainer name*/, Trainer*>
+/* part 3.b. PServer auto scaling during training */
+rehash key based on Pserver, see PClient Part


这行应该是注释？

typhoonzero · 2017-05-10T00:17:58Z

doc/design/cluster_train/PServer_design_doc.md

+- shard: 全量模型在某个PServer上的局部分片，通常指将一个Model整体拆分成多份的其中的一份。
+- parameter block: 多个parameter block构成一个model shard(现存的model并行策略是parameter block based，在新架构中继续沿用)
+
+##  PServer


PServer, PClient, RPCServer, PServerController是指程序中的多个module或class么？

是的，名字容易混淆，已经rename

gongweibao · 2017-05-10T01:30:08Z

doc/design/cluster_train/PServer_design_doc.md

+
+`/CHECKPOINT_DIR`:保存快照的路径，default filled
+
+- 创建PServer接口


如果要贴接口代码，建议和 @helinwang 的Trainer Library一样，单独列一个ISSUE为接口设计

👌，是个好办法

Yancey1989 · 2017-05-10T02:28:51Z

doc/design/cluster_train/PServer_design_doc.md

+
+RWLock lock;
+/* ParameterServer_id used by checkpoint */
+int32_t ParameterServer_id;


根据Camel case的习惯，ParameterServer_id => ParameterServerID

Yancey1989 · 2017-05-10T02:39:43Z

doc/design/cluster_train/PServer_design_doc.md

+## 术语
+
+- ParameterServer: ParameterServer Server，负责模型存储，调用分布式更新，响应ParameterClient请求
+- ParameterClient: ParameterServer Client，负责均衡ParameterServer请求，打包并转发RPC请求


没太理解均衡ParameterServer请求是什么意思，是说ParameterServer需要处理来自多个Trainer的并发请求么？

均衡请求这个词有误会，和Trainer无关。是将请求的Tensor切分，去不同的ParameterServer instance上update，保证各个instance压力差不多

Yancey1989 · 2017-05-10T02:41:47Z

doc/design/cluster_train/PServer_design_doc.md

+
+- ParameterServer: ParameterServer Server，负责模型存储，调用分布式更新，响应ParameterClient请求
+- ParameterClient: ParameterServer Client，负责均衡ParameterServer请求，打包并转发RPC请求
+- ParameterServerController：负责启动Server，动态扩容，容灾等


我不太确定这部分要在哪里做，因为启动PServer Instance可能和不同的集群调度机制有关，例如Kubernetes会提交YAML，MPI需要提交MPI的任务等。

更新etcd这些操作是否要统一放在Master节点来完成呢，PServer，Trainer与Master节点进行RPC通信而不直接更新etcd？
也请 @typhoonzero @helinwang 关注一下，多谢！

ParameterServerController 是一个独立模块，目的就是屏蔽不同的集群调度机制。
@helinwang 第二点实现在Master节点如何？

@Yancey1989 @dzhwinter @typhoonzero 昨晚跟志宏讨论结果：启动Server应该是cluster management system来做（比如Kubernetes）。这个版本不考虑动态调节pserver个数，怎么更新etcd就先不要设计了吧。

明白了，👍

luotao1 · 2019-02-01T05:32:53Z

感谢您给PaddlePaddle贡献文档。由于文档已迁移至FluidDoc repo，因此关闭您的PR，欢迎您向FluidDoc Repo贡献文档。
Thanks for contributing to PaddlePaddle! Since documents have been moved to FluidDoc repo, we close this PR. Welcome to contribute to FluidDoc repo.

dzhwinter requested review from a user, Yancey1989, helinwang, jacquesqiao, gongweibao and typhoonzero May 2, 2017 18:22

helinwang reviewed May 2, 2017

View reviewed changes

typhoonzero requested changes May 3, 2017

View reviewed changes

Yancey1989 reviewed May 3, 2017

View reviewed changes

dzhwinter added 5 commits May 10, 2017 01:34

local ycm include config

ef2371e

PServer design doc

68573bd

update pserver design doc

565b3a8

"ignore the local ycm configuration file"

56fda16

"update design doc"

fecee4c

dzhwinter force-pushed the develop branch from 4f8fea2 to fecee4c Compare May 9, 2017 17:37

dzhwinter added 2 commits May 10, 2017 01:40

"format design doc"

dd19380

"format design doc"

fcc598f

wangkuiyi requested changes May 9, 2017

View reviewed changes

helinwang reviewed May 9, 2017

View reviewed changes

typhoonzero reviewed May 10, 2017

View reviewed changes

rm cached config. gitignore take effect

9137e8d

gongweibao requested changes May 10, 2017

View reviewed changes

typhoonzero mentioned this pull request May 10, 2017

Design Doc: The Client Library of Parameter Server #2075

Merged

"fix a lot typo"

711eefd

Yancey1989 reviewed May 10, 2017

View reviewed changes

dzhwinter changed the title ~~PServer Design Doc from scratch, will profile under review~~ ParameterServer Design Doc May 10, 2017

dzhwinter mentioned this pull request May 16, 2017

RPC interface C_API #2169

Closed

luotao1 closed this Feb 1, 2019


		Optimizer需要支持的优化算法

		L-BFGS，owlqn，ftrl, TODO：在Paddle中owlqn等需要参数更新方式不同，支持接口是否相同？


		- 启动和运行参数包括：

		`/PS_DESIRED`:, 启动PServer instance个数，etcd存储格式 `/PS_DESIRED:3`


		PServer负责:

		模型存储，模型更新，注册服务并监听端口事件，PServer个数的动态扩张收缩，负责序列化传输数据。


		sgd (momentum, adagram, adadelta, adam)，pass based

		async-sgd


		## PClient

		PClient功能是否已经包含在trainer中？PClient 负责parameter balancer，打包rpc请求转发PServer。


		etcd存储格式 `ROOT_PORT:8000, /PS/0:8000，/PS/1:8001 `

		`/CHECKPOINT_PERIOD`:PServer运行保存快照存储的时间间隔，default filled


		## PServerController

		根据ParameterServer参数创建和管理PServer instance，从命令行读取参数，从etcd读取参数，运行开始将存活的PServer instance配置存储在etcd中


		`/PS_DESIRED`:, 启动PServer instance个数，etcd存储格式 `/PS_DESIRED:3`

		`/ROOT_PORT`：显式指定根端口，PServer端口从PORT+1开始，直到找到可用端口，例如ROOT_PORT=8000, 则PServer0_Port=8000，PServer0_Port=8001,…，当前存在的PServer实例配置以etcd实时存储为准

		@@ -0,0 +1,261 @@
		# Design Doc: Parameter Server Process

		Parameter Server process 是Paddle中负责模型的存储，更新和模型分片一致性的组件，在整个系统中的作用请参考 [distributed training design doc](./README.md) ，本文档包含PServer，PClient，PServerContoller等，涉及到的配置参数均使用大写字母


		1、模型存储，2、注册服务并监听端口事件，3、PServer个数的动态扩张收缩，4、负责序列化传输数据。

		发送接收调用都使用rpc 接口，见下文中的RPCServer，例如使用golang rpc实现对应的接口


		发送接收调用都使用rpc 接口，见下文中的RPCServer，例如使用golang rpc实现对应的接口

		```c++


		`/CHECKPOINT_DIR`:保存快照的路径，default filled

		- 创建PServer接口

ParameterServer Design Doc #1964

ParameterServer Design Doc #1964

Conversation

dzhwinter commented May 2, 2017 • edited Loading

dzhwinter commented May 2, 2017

helinwang May 2, 2017 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

dzhwinter May 10, 2017 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Yancey1989 May 3, 2017 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Yancey1989 May 3, 2017 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

helinwang May 3, 2017 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

dzhwinter commented May 9, 2017 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

helinwang May 9, 2017 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

dzhwinter commented May 2, 2017 •

edited

Loading

helinwang May 2, 2017 •

edited

Loading

dzhwinter May 10, 2017 •

edited

Loading

Yancey1989 May 3, 2017 •

edited

Loading

Yancey1989 May 3, 2017 •

edited

Loading

helinwang May 3, 2017 •

edited

Loading

dzhwinter commented May 9, 2017 •

edited

Loading

helinwang May 9, 2017 •

edited

Loading