机器学习跑分神器上线了:连接GitHub就能免费用,集成各大数据集

0 Comments

机器学习跑分神器上线了:连接GitHub就能免费用,集成各大数据集
栗子 鱼羊 发自 凹非寺量子位 报导 | 大众号 QbitAI搞机器学习的小伙伴们,免不了要在各种数据集上,给AI模型跑分。现在,Papers with Code (那个以论文搜代码的神器) 团队,推出了主动跑分服务,名叫sotabench,以跑遍一切开源模型为己任。有了它,不必上传代码,只需衔接GitHub项目,就有云端GPU帮你跑分;每次提交了新的commit,体系又会主动更新跑分。还有国际排行榜,能够调查各路强手的成果。除了支撑各大干流数据集,还支撑用户上传自己的数据集。也能够看看,他人的论文成果,究竟靠谱不靠谱。比方说,fork一下Facebook的FixRes这个项目,装备一下评价文件:然后一键相关,让Sotabench的GPU跑一下ImageNet的图画分类测验。就能得到这样的成果:Top-1准确率,Top-5准确率,跟论文的成果有何距离(见注),运转速度,全球排名,悉数一望而知。注:ε-REPR,成果与论文成果距离在0.3%以内时打勾,距离≥0.3%且比论文成果差闪现为红叉,比论文成果好闪现为勾+这个免费的跑分神器,发布一天,便遭到热烈欢迎:推特色赞600+,Reddit热度270+。网友纷繁表明:这对开发者社区来说太有用了!那么,先来看一下sotabench的功用和用法吧。用法简略,海纳百川团队说,sotabench便是Papers with Code的双胞胎姐妹:Papers with Code我们很熟悉了,它调查的是论文陈述的跑分。能够用来寻觅高分模型对应的代码,是个造福人类的东西。与之互补,sotabench调查的是开源项目,代码实践运转的成果。能够测验自己的模型,也能验证别家的模型,是不是真有论文说的那么强。它支撑跟其他模型的比照,支撑检查速度和准确率的取舍状况。那么,sotabench怎样用?简略,只需两步。第一步,先在本地评价一下模型:在GitHub项目的根目录里,创立一个sotabench.py文件。里边能够包括:加载、处理数据集和从中得出猜测所需的逻辑。每提交一个commit,这个文件都会运转。然后,用个开源的基准测验库来跑你的模型。这个库能够是sotabench-eval,这个库不问结构,里边有ImageNet等等数据集;也能够是torchbench,这是个PyTorch库,和PyTorch数据集加载器调配食用更简略。一旦成功跑起来,就能够进入下一步。第二步,衔接GitHub项目,sotabench会帮你跑:点击这个按钮,连到你的GitHub账号,各种项目就闪现了。挑选你要测验的那个项目来衔接。连好之后,体系会主动测验你的master,然后记载官方成果,一切都是跑在云端GPU上。测验环境是依据requirement.txt文件设置的,所以要把这个文件加进repo,让体系捕捉到你用的依靠项。从此,每逢你提交一次commit,体系都会帮你从头跑分,来保证分数是最新的,也保证更新的模型仍然在作业。这样一来,模型出了bug,也能及时知晓。假如要跑他人家的模型,fork到自己那里就好啦。现在,sotabench现已支撑了一些干流数据集:列表还在继续更新中,团队也在美意约请各路好汉,一起充分benchmark我们庭。既支撑创立一个新的benchmark,也支撑为现有benchmark增加新的完成。你能够给sotabench-eval或torchbench项目提交PR,也能够直接创立新的Python包。一旦准备就绪,就在sotabench官网的论坛上,发布新论题,团队会把你的benchmark加进去的:好评如潮这样的一项服务推出,网友们纷繁点赞,好评如潮,推特色赞600+。有网友表明:太棒了!对刚入门的新手来说,数据集获取、预处理和评价的主动化和标准化很有用。经过剖析不同模型及其超参数成果,来评价这些模型,自身是挺困难的一件事,你得在各种论文中查阅很多的非结构化数据。有了这个,这件事就轻松多了。(部分意译)许多网友对这个项目进行了友爱的讨论及主张,而开发人员也在线活跃回应。比方这位网友主张:能在每次提交的时分陈述模型的超参数吗?作者很快回复说:英雄所见略同。下次更新就加上!而且,他们还考虑在将来的更新中,让使用者把链接增加到生成模型的练习参数中。传送门sotabench官网:https://sotabench.com/基准测验库通用版:https://github.com/paperswithcode/sotabench-eval基准测验库PyTorch版:https://github.com/paperswithcode/torchbench— 完 —


这是水淼·WordPress站群文章更新器的试用版本发布的文章,故有此标记(2019-10-13 17:02:34)

发表评论

电子邮件地址不会被公开。 必填项已用*标注