URIS Project Log
3/2025 3/20/2025 基本上忙完了期中，终于可以重启URIS，但是距离和Bonnie的见面似乎时间不多了 最新进展：之前似乎整个2月到3月都卡在pip install magenta的一步。一开始尝试在Google Colab上创建虚拟环境，但是Colab能支持的最低版本有下限，失败。新电脑到了之后就在Vscode上尝试，装了两个编译器，分别是python3.11和python3.13，不仅要改exe文件名非常麻烦，而且3.11版本也太新了，失败。今天下载了anaconda用于创建虚拟环境和python版本管理，创建了python==3.8的虚拟环境，最终成功。可是另一惊喜确实pytorch最新需要至少3python==3.9，令人哭笑不得。无奈之下只得尝试把magenta与pytorch的部分分开。Data_Processing的部分在python==3.8的虚拟环境中单独处理，之后的用我自己的python==3.13。 3/25/2025 (其实是27号写的，25号写的的忘了保存） 最新进展：在使用了anaconda的虚拟环境之后，import magenta没有报错，可是之后还是有error。一气之下去找了magenta的库然后把要用的类和函数全部都copy了过来，放在文件夹下直接自己import。终于解决。至此data_preprocessing的部分成功搞定。接着就是如何取用把处理好的数据丢到music VAE中训练，获得latent space然后cross_modal learning获得feature，再放回music VAE。好处是VAE应该只用训练一次，坏处是contrastive learning的部分我还没有研究清楚。 3/27/2025 今天周四。记得这周一data_processing就跑动了。但是周二周三又再处理一些小细节和小报错上耽误了好久。因为我把原始的processing的部分拆成了两个file，在一些list和array类型之间又有转换。但是总算存下了npy文件。今天尝试开始训练VAE，本来想重新整理整个项目的，但是似乎是来不及了。在源代码上修改了一下一些函数和路径，然后开始训练！成功跑起来了。接着准备随便跑几个epoch保存pt，然后进行下一步。 3/30/2025 前两天因为忙pitch competition没有推进。明天就要见到导师。目前的musicVAE已经跑起来了，然后textVAE储存的text的latent space以也有，现在最大的问题就是修改cross-model projector来适配我的两个latent space的一些参数。但是这一部分估计要大概。适配之后就可以利用利用文字提取music的latent space。然后因为musicVAE是已经训练好了，这样至少就可以把基本的模型跑通了，用于明天交差。现在是下午五点半，明天早上11：30交差。 4/2025 上次见完导师之后，就忙着课内还有pitch competition了。pitch那两周小摆了一下，直到今天才正式开始URIS。 5/2025 四月其实又忙又摆，中上旬忙商赛之后心灰意冷，end-of-term都考得不好。中下旬授课周结束，一直或go或旅游或回家。五月痛下决心抓紧时间，于是五月初猛肝几天。此为背景。 5/6/2025 目前的进度是把musicVAE又进一步加深了理解，并且更改，精炼了一些地方。TextVAE重新implement了一个更加复杂的版本。昨天跑了一下，一开始似乎过拟合（val loss不下降），后来又发现欠拟合（train loss和val loss)都不下降。今天继续调试。Cross-Modal Contrastive Learning的部门应该需要的改动不大。所以目前主要剩下四件事： 目前计划：5/6，5/7完成前三项任务，做多少算多少吧。5/8-5/10考试+复习，5/11-5/13考试+复习。5/13之后就是大概做一周的VR设备。我准备5/13-5/20除了VR之外开始做Data Eye的实习项目，20号-30号更改URIS和写Report。目前就先这样吧。五月忙完6月初好好休息一下。 6/2025 最新进展： 5月份textVAE并没有调试好。5/8-5/13忙着final考试，之后做VR设备，忙碌到了5/22号。5/21后太过劳累，于5/21号回到了家中。 期间把URIS progress report完成，此外dataset的分隔在五月初就已经完成。目前计划是在6/15之前把text VAE解决。之后暑假结束URIS这个项目。