美国与法国研究人员开发出自动化数据管理技术,可帮助AI自监督预训练

2024-06-07  美国 来源:其他 作者:唐乾琛 领域:信息

关键词:

据TechXplore网6月3日消息,美国谷歌、Meta公司、法国国家信息与自动化研究所(INRIA)和巴黎萨克雷大学联合研究团队开发出一种人工智能数据集自监督预训练的自动化数据管理方法。这种技术包括3个步骤:使用特征提取模型计算高质量数据点嵌入位置、使用连续K均值聚类来分组数据点,以及使用多步分层K值聚类来确保数据聚类平衡。这种技术可以生成更加多样化和平衡的数据集,并且在经过训练后的视觉模型上表现优于未经处理的数据集,有时甚至与手动整理的数据集训练的模型相媲美。尽管需要进一步测试,但这项研究为自动化数据集整理提供了一个潜在的解决方案,有望提高人工智能系统的性能。

消息来源:https://techxplore.com/news/2024-06-technique-automate-curation-pre-ai.html