李宏毅2023机器学习HW2解析 炒外汇能用保险保底交易吗安全吗可靠吗知乎

Boss Baseline (acc>0.82324): concat_nframes参数设置+batch_size+BiLSTM-CRF网络架构+余弦退火学习率。

BiLSTM-CRF网络结构是序列标注中的经典模型，该结构可以综合考虑lstm的输出结果和标签顺序分布，可参考pytorch官方样例：https://pytorch.org/tutorials/beginner/nlp/advanced_tutorial.html，或者使用pytorchcrf库。在使用BiLSTM-CRF架构的时候，需要修改数据的产生方式，之前每个sample的feature和label size分别是（batch_size, 39*concat_nframes)和（batch_size，)，现在是（batch_size，concat_nframes, 39)和（batch_size，concat_nframes），最后做推理的时候也需要相应的改变。同时因为BiLSTM和CRF的收敛速度一般是不一样的，CRF的学习率要设置的大些，运行代码提交后，分数是：0.79449，还没到boss baseline，想得到更好的结果需要进行精细调参，另外可以尝试Transfromer-CRF或Bert-CRF结构。