分类100万多个帖子？

[phanipurcau1978]

我在一个测试网站上生成了大约100万篇文章。问题是我正在寻找最好的程序化分类它们的想法，手动分类可能需要很长时间（即使我每天分类1000篇文章，也需要近3年）。

 

[cenraiproser1974]

也许可以使用Mysql？更大的问题是，您如何知道哪篇文章属于哪个类别？

 

[ilholtike1973]

是的，这是我的问题。我已经将它们存储在mongodb中，我将每篇文章都用标签标记了，但现在我有成千上万的标签，因此我正在寻找一种将它们归类的方法。

 

[maolennesska1978]

哼，也许可以尝试制作一个node.js脚本，在帖子描述，短描述（如果有的话）和标题中查找特定关键字…如果找到关键字，就调用mongodb并更新记录，并分配相关类别（你可以有一个类别与关键字的地图）。尽管这样说容易，但实现起来并不容易。

 

[renhierodi1971]

这听起来像一个不错的计划，这样我的“未分类”帖子就不会那么多了，我可以手动分类。谢谢！

 

[linworltusour1970]

如果你知道如何制作一个，我建议使用MySQL数据库，如果你不确定，你可以雇用一些人来帮助你，这比购买某些工具更便宜，而且能获得更准确的结果。

 

[kingverscomli1978]

使用具有自然语言处理（NLP）的Python脚本，你可以使用诸如NLTK之类的库提取关键字并根据最显着的关键字进行分类。

 

[rossculpopan1978]

“这真的是一个非常有趣的图书馆，感谢你的建议！”

 

[egdodeli1978]

“你是如何生成一百万篇文章的？需要多少天时间才能完成？”

 

[sosikunsni1978]

“试着编写一个脚本，在每篇文章内容中查找关键词密度（不包括“the”、“or”等）然后为某些关键词分配分类，或者基本上创建那些特定关键词的类别，这些关键词在整个文章中具有最高密度。在我看来，这是最好的方法，或者像某人已经说的那样，试着用自然语言处理(NLP)来实现这个想法。”

 

[emmolisa1985]

Necro bump 即将来袭，但我认为这是一个好帖子。你似乎在 ML / NLP 领域特别有知识。

 

[clubfircuelen1976]

你将使用 AI 生成内容并通过帖子发布？

 

[misbaynaatrep1972]

你实际上可以编写一个脚本，将帖子提取并将其添加到特定类别中，如果它与分组标签的好比例匹配。因此，你的第一步是对标签进行分组，使每个标签可以匹配一个类别。然后，你将收集每个博客文章中的标签，如果它们与特定分组标签的60％匹配，则将其添加到该类别中。如果它匹配不同组的标签，则同时将其添加到第二级类别中。我不知道我是否解释清楚了，但我希望你能理解！

 

[duderdayster1978]

上个月，我正启动一个新的50万篇文章试验性网站时，遇到了类似的挑战！我运行了一个自然语言处理(NLP)的Python脚本，对所有文章进行分类和添加标签。它做得非常出色，让我节省了几天，甚至几个月的努力。点击这里，获取一个简要的实现方法；或者，如果你对Python不是很熟悉，你可以请人来完成这项工作。

 

[riotactnextdun1984]

谢谢你的建议。

 

[ziepubtedi1973]

我希望能够做到！我现在的兴趣和工作都涉及到了自然语言处理(NLP)。

 

[ermasicbai1978]

考虑到Google索引你的100万篇文章的可能性几乎为0%，你最好手动设置一些分类，然后随机分配你的文章到这些分类中。

 

[diodiarano1981]

我将把所有东西都转换为mysql数据库。虽然我对php不是很熟悉，但我看了上面的python示例，感觉足够简单。祝好运。附言：使用Python进行自然语言处理（NLP）-教程在本文中，我们探索自然语言处理（NLP）的基础知识，并提供代码示例。我们深入探究自然语言工具包（NLTK）库，展示它在处理与自然语言相关的任务中有多么有用。之后，我们将讨论其他自然语言的基础知识......towardsai.net从上面看起来很棒。