DataVisor大数据独创算法，实现真正智能的反欺诈预警

本篇文章2162字，读完约5分钟

随着互联网的发展，在线服务爆炸式增长，导致数亿互联网用户的身份标签。如今，社交网站、电子商务和互联网金融变得越来越活跃。互联网带来了便利和风险。各种欺诈活动层出不穷，如社交网络上的假屏幕、电子商务中的薅羊毛和票据、身份盗窃、虚假开户、信用卡交易欺诈、银行转账欺诈、洗钱等。归根结底，它们都是属于恶意账户的活动。

如今，基于大数据分析的欺诈预警和检测已经成为互联网必不可少的手段。然而，传统的数据分析使用安全监控手段，例如建模、数据表示和监督，并且它们都需要提供现有的监控算法、人工标签或训练数据来建立监控并发现已知的恶意活动。然而，欺诈行业有其特殊性，即它面临着不断变化的欺诈者和不断变化的欺诈手段。同时，知道你的防御线和你的防御可以绕过一些已经在这些平台上采取的探测手段，所以它总是有一些敌人和我之间的相互博弈的情况。包括早期的规则系统，包括下一代有监督的机器学习，但是这些方法都有局限性。

但我们知道，各种欺诈的源头是代表数亿互联网用户身份的数字账户。如果能在账户建立之初就进行预警和检测，就能最大限度地减少用户的损失。最近，包括支钉在内的媒体采访了DataVisor首席执行官兼联合创始人连赢·谢。详细介绍了datavisor利用先进的人工智能技术开发的基于spark大数据平台的无监督欺诈检测服务算法平台，该平台为面向用户的网站提供包括个人欺诈和分布式群体欺诈在内的高级反欺诈检测服务。

连赢谢(音译)是一家成立于2013年的硅谷初创科技创新企业。谢表示，公司的愿景是利用最先进的人工智能技术，结合大数据应用，最大限度地保护用户的数字资产。

对数字用户的保护与对真实用户的保护基本相同。正如你想了解一个人一样，你不仅要了解他自己，还要了解他周围的环境。数字用户也是如此。数字用户主要基于数据判断。数据有两个不同的维度。一个维度是每个用户可以有一个非常详细的肖像，这是一个维度。目前，许多大数据分析公司都采用这种维度，因此用户行为越详细和充分，就越容易判断。除了这个维度，datavisor还提出了另一个维度，即挖掘用户之间的垂直关系。当成千上万的人把它和注册放在一起看时，他们可以通过以不同的方式挖掘数据来提供对恶意活动和欺诈的不同程度的预测。这需要更具挑战性和复杂的算法。

Datavisor是一种基于spark大数据平台的无监督欺诈检测算法。它不同于基于既定规则或监督学习模型的传统算法。该算法不需要客户提供标注数据，每小时可以分析数十亿个新事件，对新出现的各种欺诈行为进行预警，并提前自动发现未知的恶意欺诈行为，从而为网络欺诈和金融犯罪提供检测服务。

基于海量用户账户的行为、设备和ip地址，进行高纬度用户肖像和全方位的相关性和相似性分析。Datavisor大数据系统将自动挖掘各种潜在的隐藏欺诈(手动操作或基于自动作弊脚本)。谢说，这种算法技术不需要训练数据或标签。例如，发现了一种新类型的欺诈用户组。尽管欺诈用户群在实施欺诈和恶意攻击之前会休眠一段时间，这是传统检测方法难以发现的，但datavisor的无监督用户分析服务可以自动发现用户和整个组织的异常行为之间的相似性，例如，在发起攻击之前会进行一些非常相似的交易测试。Datavisor可以做出判断，大大提高自动银行或人工审计的效率。

具体来说，datavisor的无监督用户分析服务有几个特点:首先，它实现了预警，并且datavisor可以在欺诈用户发起攻击之前给出预警。90%的欺诈交易或恶意用户可以提前或实时检测到。在用户的实际损失得到保证之前，会检测到恶意用户或欺诈帐户。

第二是高覆盖率和准确性。Datavisor可以检测整个攻击产业链。例如，发现了一种新类型的欺诈用户组。尽管欺诈用户群在实施欺诈和恶意攻击之前会休眠一段时间，这是传统检测方法难以发现的，但datavisor的无监督用户分析服务可以自动发现用户和整个组织的异常行为之间的相似性，例如，在发起攻击之前会进行一些非常相似的交易测试。Datavisor可以做出判断，大大提高自动银行或人工审计的效率。

第三，无监督检测可以自动发现未知攻击，无需人工标记和训练数据。每天检测500，000多个恶意帐户。第四，可扩展性，每小时分析数十亿个事件日志。每天护送4亿多用户。

Datavisor无监督用户分析服务不同于传统的事件级检测或用户级检测，它以无监督反欺诈检测算法(目前正在申请专利)为核心技术，并结合其他检测和分析技术，如有监督的机器学习、自动规则引擎和全局智能信誉数据库。同时，datavisor支持各种大数据处理框架，如spark、hadoop、hbase、es等。并且具有高计算效率。它可以同时处理数十亿的事件数据分析，对所有用户进行全局分析，识别用户之间隐藏的关联，并对异常用户账户进行预警。

目前，datavisor已经处理了6000多亿用户事件，发现了超过1.3亿不良用户，保护了来自全球大型互联网公司的超过20亿用户，包括阿里巴巴、猎豹移动、莫莫、豆瓣等。例如，在Momo采用datavisor提供的解决方案后，Momo平台上的垃圾邮件、网络钓鱼、非法广告和黑客行为大大减少。Momo不受各种欺诈和垃圾邮件的干扰，可以更加专注于业务发展，确保用户群和服务的增长。