欢迎光临散文网 会员登陆 & 注册

网络流量应用标注数据集

2023-01-10 12:36 作者:跨象乘云  | 我要投稿

这个数据集包含了 350万 以上实例的 87 个特征,这些实例被收集并存储在 CSV(逗号分隔值)文件中。它是通过在六天的上午和下午的不同时间段进行数据包捕获而获得的。每个实例都有网络设备产生的 IP 流的信息,即源和目的 IP 地址、端口、到达时间、在该流上使用的七层协议(应用)作为类别,等等。大多数属性是数字类型,但也有名义类型和由于时间戳而产生的日期类型。

考虑到大多数网络流量分类数据集的目的只是为了识别IP流量的应用类型(WWW、DNS、FTP、P2P、Telnet 等),这个数据集更进一步,生成了能够从 IP 流量统计中检测到特定应用的机器学习模型,如 Facebook、YouTube、Instagram 等(目前有 75 个应用)。

采集工具:ISCXFlowMeter

它可以用来生成双向流量,其中第一个数据包决定了前向(源头到目的地)和后向(目的地到源头)方向,因此80多个统计网络流量特征,如持续时间、数据包数量、字节数、数据包长度等都可以在前向和后向分别计算。

其他功能包括,从现有的特征列表中选择特征,添加新的特征,以及控制流量超时的持续时间。该应用程序的输出是CSV格式的文件,每个流量有六列标签(FlowID、SourceIP、DestinationIP、SourcePort、DestinationPort和Protocol),有80多个网络流量分析特征。

请注意,TCP流量通常在连接断开时终止(通过FIN包),而UDP流量则通过流量超时终止。流量超时值可以由个别方案任意指定,例如,TCP和UDP都是600秒。

采集工具:ntopng

ntopng是原始ntp的下一代版本,它是一个监控网络使用情况的网络流量探测器。ntpng基于libpcap/PF_RING,它以一种可移植的方式编写,以便实际上在每个Unix平台、MacOS和Windows上运行。

  • 根据许多标准对网络流量进行分类,包括IP地址、端口、第七层(L7)应用协议、吞吐量、自治系统(ASs)。

  • 显示实时网络流量和活动主机

  • 生成若干网络指标的长期报告,包括吞吐量和L7应用协议

  • 最多谈话者(发送者/接收者)、最多AS、最多L7应用协议

  • 监测和报告实时吞吐量、网络和应用延迟、往返时间(RTT)、TCP统计数据(重传、失序数据包、数据包丢失)、以及传输的字节和数据包。

  • 在磁盘上存储持久的流量统计数据,以便将来进行探索和事后分析

  • 在地理地图中对主机进行地理定位和叠加

  • 通过利用nDPI、ntop深度包检测(DPI)技术,发现第七层应用协议(Facebook、YouTube、BitTorrent等)。

  • 分析IP流量并根据来源/目的地进行分类

  • 报告IP协议使用情况,按协议类型排序

  • 生成HTML5/AJAX网络流量统计数据

  • 完全支持IPv4和IPv6

  • 完全支持第2层(包括ARP统计)。

  • GTP/GRE分离

  • 支持ClickHouse、MySQL、ElasticSearch的监测数据导出

  • 对导出到ClickHouse的监测数据进行交互式历史探索

  • 灵活的警报处理

  • 支持SNMP v1/v2c/v3,对SNMP设备进行持续监控

  • 身份管理,包括VPN用户与流量的关联性

  • 专注于流量可见性和网络安全。

  • 行为流量分析,如横向移动和定期流量检测

  • REST API,方便与第三方的集成。

  • 本地nTap支持从云、虚拟机、容器和物理主机收集流量。

欢迎通过微信搜索【跨象乘云】公众号(kxcy_ai)或扫描下方二维码,关注后发送关键字【230110】,免费获取 网络流量应用标注数据集。跨象乘云™ 原创实验演示视频内全部代码、数据集仅授权予个人用户学习与实验使用。禁止用于二次销售、分发传播、课堂教学及培训用途。校企用户采购请通过公众号菜单【了解我们】->【商务咨询】联系。 

跨象乘云公众号:kxcy_ai


网络流量应用标注数据集的评论 (共 条)

分享到微博请遵守国家法律