虫虫首页| 资源下载| 资源专辑| 精品软件
登录| 注册

网络数据

网络(图)数据是现实世界中最常用的数据类型之一。人与人之间的关系、城市之间的道路连接、科研论文之间的引用都组成了网络。
  • MCGS组态软件的网络设备硬件驱动

    MCGS组态软件的网络设备硬件驱动,包括网络事件处理、网络数据库同步和网络数据同步!可实现网络设备与上位机的连接

    标签: MCGS 组态软件 硬件 网络设备

    上传时间: 2014-01-05

    上传用户:xinyuzhiqiwuwu

  • 《从零开始学Python网络爬虫》

    Python是数据分析的首*语言,而网络中的数据和信息很多,如何从中获取需要的数据和信息呢?简单、直接的方法就是用爬虫技术来解决。本书是一本教初学者学习如何爬取网络数据和信息的入门读物。书中不仅有Python的相关内容,而且还有数据处理和数据挖掘等方面的内容。本书内容非常实用,讲解时穿插了22个爬虫实战案例,可以大大提高读者的实际动手能力。本书共分12章,核心主题包括Python零基础语法入门、爬虫原理和网页构造、第*个爬虫程序、正则表达式、Lxml库与Xpath语法、使用API、数据库存储、多进程爬虫、异步加载、表单交互与模拟登录、Selenium模拟浏览器、Scrapy爬虫框架。此外,书中通过一些典型爬虫案例,讲解了有经纬信息的地图图表和词云的制作方法,让读者体验数据背后的乐趣。本书适合爬虫技术初学者、爱好者及高等院校的相关学生,也适合数据爬虫工程师作为参考读物,同时也适合各大Python数据分析的培训机构作为教材使用。详解网络爬虫的原理、工具、框架和方法,内容新,实战案例多详解从简单网页到异步加载网页,从简单存储到数据库存储,从简单爬虫到框架爬虫等技术22个网络爬虫综合实战案例、30个网站信息提取、2500余行代码详解爬虫的3大方法:正则表达式、BeautifulSoup 4库和Lxml库详解爬取数据的4大存储方式:TXT、CSV、MongoDB和MySQL详解Scrapy爬虫框架的安装、项目创建、文件使用及爬取数据的存储

    标签: python 网络爬虫

    上传时间: 2022-05-22

    上传用户:

  • 用Python写网络爬虫

    作为一种便捷地收集网上信息并从中抽取出可用信息的方式,网络爬虫技术变得越来越有用。使用Python这样的简单编程语言,你可以使用少量编程技能就可以爬取复杂的网站。《用Python写网络爬虫》作为使用Python来爬取网络数据的杰出指南,讲解了从静态页面爬取数据的方法以及使用缓存来管理服务器负载的方法。此外,本书还介绍了如何使用AJAX URL和Firebug扩展来爬取数据,以及有关爬取技术的更多真相,比如使用浏览器渲染、管理cookie、通过提交表单从受验证码保护的复杂网站中抽取数据等。本书使用Scrapy创建了一个高级网络爬虫,并对一些真实的网站进行了爬取。

    标签: python 网络爬虫

    上传时间: 2022-06-16

    上传用户:xsr1983

  • 基于ZIGBEE的嵌入式自动抄表系统的研究.rar

    近年来,近距离无线传输技术是发展最快、最引入注目的技术,而ZigBee恰恰是填补了低速率无线通信技术的空缺,与其他标准在应用上相得益彰。它专注于近距离传输,成本低、同时入门槛也低,虽然其出现较晚,但目前已经得到人们越来越多的关注,成为无线技术研究的一个新热点。 本文在详细分析了传统的抄表方式和无线抄表系统的发展状况以及相关的无线数据传输技术的基础上,提出了基于ZigBee技术的无线抄表系统的方案。论文在研究ZigBee组网技术的基础上,设计了基于ZigBee开发平台的无线嵌入式抄表系统,编写了相应的软件,完成了相应的调试和分析,并进行了系统的可靠性、实时性和安全性等问题分析。为了减少系统由于节点路由而造成的功耗损耗过大的问题,本文在组网应用过程中采用Tree+AODVjr的路由算法,从而保持系统能够保持较小功耗的情况下进行数据的多跳路由,同时以ARM S3C2410为核心实现了基站设计,实现小区电表数据的集中采集,并通过GPRS/GSM模块实现基站和抄表中心的数据传输和实时控制,在此基础上,对抄表系统软件也进行了相应的设计。 通过单点对单点、星形网络数据传输实验,取得了相应的实验数据,对于协议的特点、系统可靠性和功耗情况有了整体把握,为今后ZigBee技术的进一步研究和应用打下了坚实基础。 实验结果显示,本文提出的方案切实可行,并且采用ZigBee技术具有节约资源、操作方便、可靠性高而且易于管理等特点,基站和系统利用较为成熟的GPRS/GSM网络技术进行通讯,既满足了实时性要求,又降低了成本。

    标签: ZIGBEE 嵌入式 自动抄表系统

    上传时间: 2013-06-27

    上传用户:kjgkadjg

  • 基于单片机的嵌入式WEB服务器设计.rar

    本文主要研究采用以太网接口芯片RTL8019AS和TCP/IP协议实现嵌入式WEB服务器,此服务器可以使各种带串口的工控设备和数据采集设备很容易地连接到Internet,这样就能够利用Internet实现对各种嵌入式设备的低成本远程访问和资源共享。 本研究实现的嵌入式WEB服务器以STC89C51系列单片机为核心,用其串口作为与嵌入式设备的接口,用RTL8019AS芯片和RJ-45作为以太网接口,并通过软件实现RS-232与TCP/IP协议的转换,通过以太网实现嵌入式设备与远程计算机之间的双向数据通信,给出了硬件设计和软件实现方案。硬件主要研究微控制器和以太网控制芯片之间的接口设计和以太网控制芯片RTL8019AS的驱动。软件部分研究实现了TCP/IP的各层协议,包含了ARP、IP、ICMP、UDP、TCP、HTTP等,在实际中得以应用,如对于蓄电池电压的远程检测等。 研究结果表明,利用嵌入式WEB服务器将嵌入式设备连入Internet网络是切实可行的。经实验测试整个系统占用资源少,成本较低、移植性较好,能够完成常用的相关网络通讯功能,网络数据传输可靠性较好。

    标签: WEB 单片机 嵌入式

    上传时间: 2013-04-24

    上传用户:liucf

  • 基于FPGA的硬件防火墙设计和实现.rar

    本文提出了一种基于FPGA的硬件防火墙的实现方案,采用了FPGA来实现千兆线速的防火墙。传统的基于X86等通用CPU的防火墙无法支撑快速增长的网络速度,无法实现线速过滤和转发。本文在采用FPGA可编程器件+通用CPU模式下,快速处理网络数据网络数据在建立连接跟踪后,直接由FPGA实现的快速处理板直接转发,实现了网络数据的线速处理,通用CPU在操作系统支持下,完成网络数据的连接跟踪的创建、维护,对网络规则表的维护等工作。FPGA硬件板和CPU各司所长,实现快速转发的目的。 本文设计了基于FPGA的硬件板的硬件规格,提出了硬件连接跟踪表的存储模式,以及规则表的存储模式和定义等; 防火墙系统软件采用NetBSD操作系统,完成了硬件板的NetBSD的驱动;在软件系统完成了新建连接的建立、下发、老化等工作;在连接跟踪上完成了规则的建立、删除、修改等工作。 本文完成了防火墙的实现。实现了基于连接跟踪的包过滤、地址转换(NAT),设计了连接跟踪的关键数据结构,包过滤的关键数据结构等,重用了NetBSD操作系统的路由。本文针对地址转换应用程序的穿透问题,新增了部分实现。 在DoS攻击是一种比较常见的攻击网络手段,本文采用了软硬件结合的方法,不仅在软件部分做了完善,也在硬件部分采取了相应的措施,测试数据表明,对常见的Syn洪水攻击效果明显。 在实践过程中,我们发现了NetBSD操作系统内核的软件缺陷,做了修正,使之更完善。 经过测试分析,本方案不仅明显的优于X86方案,和基于NP方案、基于ASIC方案比较,具有灵活、可配置、易升级的优点。

    标签: FPGA 硬件 防火墙

    上传时间: 2013-06-21

    上传用户:zxh1986123

  • 基于FPGA的以太网络接口的设计及实现

    本文的主要研究内容是利用FPGA平台实现以太网络接口。 首先,对论文的大致内容和组织结构做了简要介绍,并且比较分析了目前比较流行的网络接口实现的三种方法,并以此为基础提出了本文中重点介绍的基于FPGA 的网络接口实现方法。 其次,介绍采用以FPGA 做为主控芯片控制8019AS 网络控制芯片来实现从网络上接收数据帧的功能。FPGA 需要在上电时完成对于8019AS的初始化设置。在接收和发送数据报文时,对相应的寄存器进行控制和操作以完成网络数据帧的接收。对FPGA 与8019AS 之间的接口实现进行了详细的描述。 最后,介绍了在FPGA 内部对于接收到的网络数据帧进行TCP/IP协议分析的具体过程和实现方法。分别详细介绍了接收模块、发送模块以及其中子模块具体功能和实现方法。说明了模块之间相互触发的具体关系。现有的网络接口一般是采用MCU 或者ARM 等专用控制芯片来实现的,而此次课题以FPGA 作为主控芯片来实现网络接口以及部分TCP/IP 协议分析是一个创意。而且由于FPGA 多管脚可以灵活配置,也使得系统的可扩展性有了很大的提高。

    标签: FPGA 以太网络 接口的设计

    上传时间: 2013-06-09

    上传用户:huazi

  • 基于ARMLinux的烟草零售信息终端的设计与实现

    本文针对国家烟草局关于以信息化带动烟草行业现代化建设的要求,密切结合“烟草销售业务管理系统”科研项目进行研究开发,设计了一个基于ARM-Linux的烟草零售信息终端。零售商户可以在此终端上完成商品零售的整个过程,并可通过终端完成订货预测和订货确认的操作,同时可以下载和浏览各种烟草商品信息、订货、查看历史营销记录、浏览各种通知广告,并与烟草公司互动操作。 本文首先分析了课题的研究背景及烟草零售信息终端的国内外现状,给出了一个基于ARM-Linux、GPRS无线网络的烟草销售业务管理系统的总体结构;然后根据烟草零售信息终端的功能需求构建了基于ARM9的硬件平台的整体设计方案;介绍了基于ARM9内核的微处理器S3C2440A及关键外围模块,设计了各模块的硬件接口电路;并在硬件平台上成功移植实现了一个基本的嵌入式Linux系统的软件平台;随后深入研究了Linux2.6引入的platform driver机制下的字符设备驱动程序的开发方法,在全面分析了汉王手写芯片HW006的通信协议的基础上,开发了汉王手写芯片的触摸屏驱动程序,实现了在触摸屏上的点击与汉字手写识别;最后研究了Linux中的串口操作编程,完成了基于华为GTM900B GPRS模块的数据通信程序设计和条形码扫描程序模块的开发,并研究了多线程编程技术在网络数据收发中的应用方法,设计了烟草零售信息终端所需的数据库和图形界面。 所研制的烟草零售信息终端已成功应用于山西省某市的各个烟草零售点,运行结果表明,该终端运行稳定可靠,与用户的交互方便快捷,采集到的各类数据能够及时、有效、准确地传输到应用管理系统,各方面性能都达到了课题的要求,为烟草销售市场预测、货物配送和营销推广提供了一种有效的手段。

    标签: ARMLinux 信息终端

    上传时间: 2013-05-23

    上传用户:CSUSheep

  • 基于ARM的硬件防火墙系统的研究

    作为在保障网络安全方面扮演着至关重要角色的防火墙技术从出现到发展至今一直是网络安全研究中的关键技术之一,随着互联网的迅猛发展,它在信息化、网络化的过程中也变的越来越重要。为了使防火墙能快速且深入地对网络数据传输过程中的海量信息进行安全检测,并能应对来自各个网络层的威胁,将传统的基于软件的防火墙转向硬件平台实现是不可阻挡的发展趋势。 首先阐述了网络安全的现状、网络安全研究的重大意义、防火墙目前的发展状况及未来的发展趋势,然后介绍了防火墙的概念、功能和分类。重点分析了著名的开源入侵检测系统Snort的功能实现及数据结构,对Linux中自带的网络安全工具Iptables/Netfilter的工作原理做了简要介绍,然后对现在较流行的基于软件的字符串匹配算法和硬件实现方法进行对比分析,通过对已存在的解决方法的深入研究,提出了基于ARM处理器并采用内容可寻址存储器(CAM)的硬件防火墙系统设计方案。将Snort中对数据包载荷检测部分中的顺序检测替换为由CAM结合Wu-Manbcr多模式匹配算法实现,其中CAM完成短模式匹配,Wu-Manber算法完成长模式匹配,并将Snort与Iptables/Netfilter有机结合移植到基于ARM的嵌入式平台中,系统可以通过主机对防火墙的状态进行实时监控和规则更新。 设计了防火墙的整个硬件电路,其中重点分析了CAM模块的设计。通过对Sourcefire的Snort VRT2.4版免费规则库的统计分析和计算模拟得出了对规则集的最佳划分长度;在软件部分研究了Bootloader制作、Linux内核的裁减与移植及根文件系统制作等内容。重点分析了摩托罗拉公司的专用CAM芯片MCM69C432的驱动程序设计和相应的调用方法,并结合主机软件部分的功能分析了双方的通信协议及实现,最后通过程序对系统仿真并选用林肯数据集进行模拟测试,测试结果表明系统比以前效率有了大幅提高,过滤速度已达到最初设计目标,证明了此硬件防火墙方案的可行性。 最后总结了本人的工作并指出此种方案的硬件防火墙的不足、需要改进之处和它的良好应用前景。

    标签: ARM 硬件 防火墙

    上传时间: 2013-07-24

    上传用户:lanwei

  • 单片机多功能调试助手V1.1.9

    特色在于为之量身定制了一款多功能调试软件,不仅含有串口调试功能、而且该软件强大之处支持USB数据收发、网络数据收发、51/AVR单片机波特率计算、数码管字型码生成、进制转换、点阵生成、校验值(奇偶校验/校验和/CRC冗余循环校验)/BMP转16进制、服务器、在线更新等功能。

    标签: 单片机 多功能 调试助手

    上传时间: 2013-06-17

    上传用户:梧桐