雅虎公开13.5TB用户数据 参与人工智能

蒹葭

雅虎公开13.5TB用户数据 参与人工智能

　　北京时间1月15日上午消息，雅虎周四公布了关于用户如何使用该公司服务，例如雅虎新闻和雅虎财经的大量数据。此举是为了给学术界的机器学习研究者提供素材。

　　这并不是雅虎首次公布这样的数据。在雅虎实验室的Webscope项目中，雅虎曾56次发布这样的数据，其中涉及广告、图片、社交媒体和评级等。此次公布的数据来自2015年的4个月时间，覆盖了2000万人，其中包括用户访问雅虎网站所使用的设备类型、文章的阅读情况，以及文章的主题。其他数据还包括用户的位置、年龄和性别，但这些数据都经过了匿名化处理。

　　不过值得指出的是，雅虎此次提供的数据集规模庞大，多达13.5TB。而雅虎此前提供的数据集通常只有1TB。

　　加州大学圣迭戈分校电气和计算机工程教授格特·兰克利特(Gert Lanckriet)表示：“我对此感到兴奋。这是因为，学术界和工业界的这类合作对于更强大人工智能和机器学习技术的研究、设计和开发，现实世界中的大数据处理至关重要。”

　　近期，雅虎正在采取措施吸引开发者。例如，雅虎开源了一些算法。这些算法用于对流数据的计算和网页爬虫，处理网站上的结构化数据。雅虎此次公布的数据将帮助学术界进一步了解用户的阅读习惯，进而对自己的算法进行优化。

　　雅虎提供了100行的数据范例，其中包含多种类型的数据，例如股票、学校、政治、体育和明星等。

　　雅虎实际上还有更多数据可以分享。雅虎实验室个性化科学研究总监苏吉·拉简(Suju Rajan)表示，她常常需要与PB(1PB=1000TB)级别的数据量打交道，而对雅虎这样的互联网公司来说并不少见。不过，PB级别的数据对单一研究者来说很难处理，即使是13TB的数据都已显得十分庞大。

　　雅虎实验室研究副总裁里卡多·贝扎-耶茨(Ricardo Baeza-Yates)表示：“许多人都没有能力使用这一数据，但我们认为，通过这种方式我们可以推进相关研究。”


　　来源：新浪科技