动转静单测时间统计和优化专项

[ooooo-create]

背景

如 #58356 所述，动转静单测是现有静态图子图级别验证的主要入口，因此我们在动转静单测上开启了「AST」、「SOT」 2 种动转静模式 +「LEGACY_IR」、「PT 中间态」、「PIR 理想态」 3 种 IR 模式共 2x3=6 种组合的单测。而且在 #59191 添加了「SOT MIN_GRAPH_SIZE=10 + LEGACY_IR」一种 case，也就是单测组合达到了 7 种。

虽然目前大多数单测还没有开启所有组合，但是预期未来会达到最高 7 种组合的，这会导致单测时间大幅增加，因此我们需要前置考虑单测时间上的优化方案。

为了方便表示，这里我们将动转静模式系数表示为 $t_{d2s}$，将 IR 模式系数表示为 $t_{ir}$，我们预期最大的时间为 $t_{d2s} = 2$ 、 $t_{ir} = 3$ 、 $t_{extra} = 1$，总时间为 $t_{d2s} \times t_{ir} + t_{extra} = 7$。

这里是一些关键单测时间发生变化的时间节点：

• PT 单测推全， $t_{ir} = 1 \to >1$
• [SOT] merge PaddleSOT into Paddle #57824 SOT 合入 Paddle，动转静同时开启 SOT 和 AST 单测 $t_{d2s} = 1 \to 2$
• PIR 单测推全， $t_{ir} = >1 \to <2$
• [SOT] Add MIN_GRAPH_SIZE=10 test in dy2st tests #59191 增加 SOT + MIN_GRAPH_SIZE=10 单测，增加额外系数 $t_{extra} = 0 \to 1$
• （即将合入）[Dy2St] Enable legacy IR dy2st test #59312 将默认 IR 模式从 LEGACY_IR 改为 LEGACY_IR + PT 中间态， $t_{ir} = <2 \to >2$

所以短短几个月过去动转静单测已经从 1 倍变成了接近 6 倍的时间，而且接下来我们还会继续增加到 7 倍……

本任务为 #58633 子项

任务细节

学习和了解动转静单测机制，分析动转静单测时间

首先可以通过 #57824 和 #58356 了解单测生成机制，学习了解整个单测机制。

之后修改单测机制，让单测恢复到 1x1+0 的状态以统计单测时间（注意本 PR 只用来测试 CI 时间，不会合入），这里可以考虑直接修改生成 case 部分完成：

Paddle/test/dygraph_to_static/dygraph_to_static_utils_new.py

Lines 235 to 246 in 959f0c2

	for to_static_mode, ir_mode in to_static_with_ir_modes:
	if (
	to_static_mode == ToStaticMode.SOT_MGS10
	and ir_mode != IrMode.LEGACY_IR
	):
	# SOT_MGS10 only test with LEGACY_IR
	continue
	new_attrs[
	Dy2StTestMeta.test_case_name(
	fn_name, to_static_mode, ir_mode
	)
	] = Dy2StTestMeta.convert_test_case(fn, to_static_mode, ir_mode)

提交 PR 后触发 CI，使用脚本统计 Download 下来的 PR-CI-Py3 log 中的单测时间（仅动转静目录）。

统计后在本 issue 中产出一份单测时间统计表格。

根据统计的单测时间设计和调整单测策略

根据单测时间来设计对单测时长的优化策略（同 @SigureMo 一起），细节待数据产出后再说

任务进展

test in dygraph_to_static	是否有单测（每次 ci 中是否都有）	1x1(sec)	time2(sec)	倍数	last_time	last_倍数
test_assert	有	3.77	3.28	0.87	5.60	1.49
test_ast_util	有	2.40	2.46	1.03	2.53	1.05
test_backward_without_params	有	2.93	3.50	1.19	3.57	1.22
test_basic_api_transformation	有	30.12	104.18	3.46	16.53	0.55
test_bert	无
test_bmn	无
test_break_continue	有	9.63	23.00	2.39	21.99	2.28
test_build_strategy	无	65.57	106.53	1.62
test_cache_program	无
test_cast	有	2.50	2.55	1.02	2.67	1.07
test_cinn	有	2.60	3.26	1.25	2.76	1.06
test_cinn_prim	有	2.47	3.59	1.45	3.66	1.48
test_cinn_prim_gelu	有	2.51	2.90	1.16	2.85	1.14
test_cinn_prim_layer_norm	有	2.48	2.08	0.84	2.29	0.92
test_cinn_prim_mean	有	2.70	3.17	1.17	3.37	1.25
test_closure_analysis	有	2.93	4.87	1.66	4.77	1.63
test_container	有	4.04	7.39	1.83	7.52	1.86
test_convert_call	有	2.90	3.27	1.13	3.71	1.28
test_convert_call_generator	有	2.83	2.90	1.02	3.38	1.19
test_convert_operators	有	4.00	5.83	1.46	6.76	1.69
test_cpu_cuda_to_tensor	有	2.60	2.66	1.02	2.58	0.99
test_cycle_gan	无
test_declarative	有	3.32	3.21	0.97	3.57	1.08
test_decorator_transform	有	7.54	20.88	2.77	20.46	2.71
test_deepcopy	有	2.51	2.60	1.04	3.13	1.25
test_dict	有	7.85	23.25	2.96	13.27	1.69
test_drop_path	有	2.60	3.06	1.18	2.61	1.00
test_duplicate_output	有	2.64	2.80	1.06	2.61	0.99
test_error	有	2.92	2.43	0.83	2.71	0.93
test_eval_frame	有	2.01	2.09	1.04	2.19	1.09
test_fallback	有	5.55	9.02	1.63	8.61	1.55
test_fetch_feed	有	2.71	2.89	1.07	3.18	1.17
test_for_enumerate	有	14.56	30.75	2.11	53.97	3.71
test_full_name_usage	有	2.46	2.00	0.81	2.44	0.99
test_function_spec	有	2.13	1.68	0.79	1.76	0.83
test_grad	无
test_gradient_aggregation	有	2.33	2.24	0.96	2.62	1.12
test_gradname_parse	有	2.65	2.64	1.00	2.42	0.91
test_grid_generator	有	2.66	2.61	0.98	2.43	0.91
test_ifelse	有	11.88	26.11	2.20	34.90	2.94
test_ignore_module	有	2.53	1.85	0.73	1.70	0.67
test_inplace_assign	有	2.76	2.54	0.92	2.38	0.86
test_isinstance	有	3.71	5.03	1.36	4.82	1.30
test_jit_property_save	有	2.83	2.38	0.84	1.89	0.67
test_jit_setitem	有	6.60	9.51	1.44	13.24	2.01
test_lac	无
test_lambda	有	4.26	8.25	1.94	8.36	1.96
test_layer_hook	有	3.36	5.59	1.66	5.01	1.49
test_len	无	2.97	3.46	1.16
test_list	有	9.69	14.48	1.49	20.11	2.08
test_load_transformer	无	2.43	3.10	1.28
test_local_cast	无	2.20	2.39	1.09
test_logging_utils	有	2.28	2.19	0.96	2.48	1.09
test_logical	有	4.97	8.83	1.78	9.45	1.90
test_loop	有	29.66	67.01	2.26	71.17	2.40
test_lstm	有	4.25	4.22	0.99	4.92	1.16
test_mnist	有	27.81	18.84	0.68	40.11	1.44
test_mnist_amp	有	12.98	42.34	3.26	47.87	3.69
test_mnist_pure_fp16	有	2.20	1.92	0.87	1.82	0.83
test_mobile_net	无
test_multi_forward	有	2.62	2.38	0.91	2.81	1.07
test_no_gradient	有	2.47	2.01	0.81	2.39	0.97
test_op_attr	有	2.24	1.76	0.79	2.57	1.15
test_origin_info	有	2.78	1.94	0.70	1.91	0.69
test_params_no_grad	有	2.94	1.96	0.67	1.73	0.59
test_param_guard	有	3.70	4.33	1.17	5.33	1.44
test_partial_program	有	3.18	2.41	0.76	3.03	0.95
test_partial_program_hook	有	3.35	1.86	0.56	2.12	0.63
test_pir_selectedrows	有	4.81	8.66	1.80	5.32	1.11
test_place	有	2.65	2.02	0.76	2.02	0.76
test_print	有	4.47	8.34	1.87	8.45	1.89
test_program_translator	无
test_ptb_lm	有	6.36	17.52	2.75	12.33	1.94
test_ptb_lm_v2	有	4.93	10.91	2.21	12.68	2.57
test_pylayer	有	3.95	3.45	0.87	3.41	0.86
test_reinforcement_learning	有	3.46	7.40	2.14	8.86	2.56
test_resnet	无
test_resnet_amp	无
test_resnet_pure_fp16	有	1.96	1.62	0.83	2.02	1.03
test_resnet_v2	无
test_return	有	3.69	3.21	0.87	4.43	1.20
test_rollback	有	2.72	2.09	0.77	2.64	0.97
test_save_inference_model	有	3.76	2.48	0.66	2.69	0.72
test_save_load	有	3.23	3.07	0.95	3.12	0.97
test_sentiment	无
test_seq2seq	有	175.53	242.77	1.38	152.55	0.87
test_setter_helper	有	2.18	1.87	0.86	2.16	0.99
test_set_dynamic_shape	有	2.22	2.17	0.98	2.29	1.03
test_se_resnet	有	347.43	652.07	1.88	160.95	0.46
test_simnet	有	2.76	3.20	1.16	4.49	1.63
test_simnet_v2	有	2.78	3.02	1.09	4.40	1.58
test_slice	有	6.53	11.60	1.78	19.29	2.95
test_spec_names	有	2.38	2.05	0.86	2.25	0.95
test_static_analysis	有	2.19	1.88	0.86	1.84	0.84
test_tensor_hook	有	3.19	3.76	1.18	3.91	1.23
test_tensor_memcpy_on_cpu	有	2.39	2.38	1.00	2.68	1.12
test_tensor_memcpy_on_gpu	有	1.96	1.82	0.93	1.81	0.92
test_tensor_methods	有	2.83	3.42	1.21	4.40	1.55
test_tensor_shape	有	9.62	18.08	1.88	21.96	2.28
test_to_tensor	有	3.63	7.07	1.95	8.47	2.33
test_train_step	无
test_train_step_resnet18_adam	无
test_train_step_resnet18_sgd	无
test_transformer	无
test_tsm	有	105.61	495.14	4.69	90.82	0.86
test_typehint	有	2.15	1.97	0.92	2.10	0.98
test_typing	有	2.45	2.19	0.89	2.79	1.14
test_unuseful_inputs	有	2.13	1.83	0.86	2.30	1.08
test_utils	有	2.21	1.62	0.73	1.92	0.87
test_variable_trans_func	有	2.34	1.65	0.71	1.90	0.81
test_warning	有	2.48	2.09	0.84	2.10	0.85
test_word2vec	有	4.12	7.16	1.74	12.58	3.05
test_write_python_container	有	4.03	6.13	1.52	7.25	1.80
test_yolov3	有	106.65	475.92	4.46	85.14	0.80
sum	94/114	1152.68	2558.41	2.22	1186.96	1.03

说明

对要优化的文件进行搜索 def test_.*: 并且定义在 Dy2StTestBase 的子类中

• 特殊单测文件
  • 对于禁用检查的单测，在表格备注，暂时先不优化
  • 如图的表格可能也需要备注

• 对于没有跑 pir 的单测，默认使用 sot + pt 的模式
  • 仅 ast 模式时，添加仅 pt 模式
  • 其余，使用 default 模式
• 对于支持 pir 的单测，默认使用 sot + pt and sot +pir 的模式
  • 仅 ast 模式时，保留原有装饰器（test_pir_only, test_legacy_and_pt_and_pir）
  • 其余使用 test_default_and_pir 来装饰

[SigureMo]

以只跑 1 次为基线时间，本 PR 从 2.22 倍时间（42 min）优化到了 1.03 倍时间（20 min），大幅缩短了 CI 时间，节省了 CI 资源～

感谢 @ooooo-create～