跑了4天终于把数据清洗完成了!

续下载了一点点的数据集,准备搓一个小的模型玩玩(约 270 GB) - 科技与创作 / AI - NodeLoc的4天后,也就是今天,终于清洗完成了!

AAI_IndustryCorpus_literature: 176 GB (2832 万条)
sedthh_gutenberg_english: 28 GB (~4.6 万条)
HiTZ_Multilingual-Medical-Corpus: 3.5 GB
stjiris_portuguese-legal-sentences-v0: 7.9 GB (部分)
BEE-spoke-data_gutenberg-en-v1-clean: 1.6 GB
sedthh_gutenberg_multilang: 1.7 GB
joelniklaus_legal-mc4: 545 MB
AI-team-UoA_greek_legal_code: 254 MB
BEE-spoke-data_fineweb-literature-100k: 424 MB (部分)
rzgar_kurdish_sorani_literatures: ~13 MB, 22727 条
rzgar_kurdish_sorani_literatures_it: 894 MB
izumi-lab_open-text-books: 87 MB
CalvinU_project-gutenberg: 25569 条
Medilora_us_medical_license_exam_textbooks_en: 23 MB
QingHong258_Ancient-Chinese-Language-CUZ: 24 MB
Yotam_economics-textbook: 255 条
总产出约 220+ GB,约 3500 万条记录。

4 个赞

虽然我看不懂, 但是我觉得你很强

1 个赞

安装容易,清理是最折磨。永远不知道什么地方还有它的足迹

你有什么显卡

huh?我在说什么,你在说什么

很垃的,可能又得训练好几天了

说一下吧

或者告诉我显存多少

如果不好的话可以到网上有免费的

好吧,我理解错了。在训练模型?

额。。。。真不是ai?

好啦,咱知道了。佬厉害,手搓ai

不是,我是说前面你那个回复不能是aigc吧

显存总共
128GB

算力100 TFlops

还是有点慢的…

太大了

比我的好(

你的是啥

说出来你可能不信,我准备白嫖modelscope的免费notebook来训练(

huh?不至于吧?
买一卡时也就5-6块而已
那你得等到猴年马月啊

也可以(