如何审核大量网站数据

无论是赶集网、58同城等分类信息网站，还是慧聪网、1688等大型B2B电子商务网站，每天更新的数据都是海量的。赶集网淘宝相关职位招聘页面，北京地区仅一天发布的淘宝相关职位就有20页之多，要依靠人工审核每条数据是不可能完成的。
这就需要建立一个强大的机审规则来代替人工审核工作量。具体操作步骤如下:
(1)短信验证码确认发布。利用短信验证码可以有效避免机器发布海量垃圾内容，如果有短信验证码，就能确定是人为发布。
(2)建立违禁词库。网民发布信息的内容不可控，可能会触及到黄赌毒等法律法规禁止的相关内容，因此需要违禁词库来做初级筛选屏蔽相关内容。当网民发送的内容包含违禁词库
信息时，自动触发删除或者人工审核程序。违禁词库应根据法律法规政策和时代变化一直不断地更新、增加内容，在最初设计时需要有足够多的容量和算法来保证短时间能完成这个审核。
(3)UGC网站内容页一般都设有投诉举报入口。当有其他用户投诉举报该信息时，立即触发人工审核机制，对该信息重新审核。
网站建设SEO人员在优化UGC网站时，想要快速审核海量数据，可以参考上述方法。