Python是数据分析的首*语言，而网络中的数据和信息很多，如何从中获取需要的数据和信息呢？简单、直接的方法就是用爬虫技术来解决。本书是一本教初学者学习如何爬取网络数据和信息的入门读物。书中不仅有Python的相关内容，而且还有数据处理和数据挖掘等方面的内容。本书内容非常实用，讲解时穿插了22个爬虫实战案例，可以大大提高读者的实际动手能力。本书共分12章，核心主题包括Python零基础语法入门、爬虫原理和网页构造、第*个爬虫程序、正则表达式、Lxml库与Xpath语法、使用API、数据库存储、多进程爬虫、异步加载、表单交互与模拟登录、Selenium模拟浏览器、Scrapy爬虫框架。此外，书中通过一些典型爬虫案例，讲解了有经纬信息的地图图表和词云的制作方法，让读者体验数据背后的乐趣。本书适合爬虫技术初学者、爱好者及高等院校的相关学生，也适合数据爬虫工程师作为参考读物，同时也适合各大Python数据分析的培训机构作为教材使用。详解网络爬虫的原理、工具、框架和方法，内容新，实战案例多详解从简单网页到异步加载网页，从简单存储到数据库存储，从简单爬虫到框架爬虫等技术22个网络爬虫综合实战案例、30个网站信息提取、2500余行代码详解爬虫的3大方法：正则表达式、BeautifulSoup 4库和Lxml库详解爬取数据的4大存储方式：TXT、CSV、MongoDB和MySQL详解Scrapy爬虫框架的安装、项目创建、文件使用及爬取数据的存储
上传时间： 2022-05-22
上传用户：
温度、湿度检测在工农业生产、医学研究等科研工作中具有非常重要的地位。温度、湿度是科研工作中相当重要的参数，如何准确地测量、并且进行数据分析、统计，对科研工作的开展和科研结果的发布有着极其重要的影响。本论文就实际工作需要，解决工作中的实际问题，希望能够利用虚拟仪器构建一套远程温、湿度控制系统。文中首先简要介绍虚拟仪器的概念、特点，概述了虚拟仪器的现状及其未来的发展，并将它与传统的仪器进行了比较，突出了虚拟仪器的优点，同时也涉及了目前应用最广泛，最具有优势的虚拟仪器编程软件LabVIEW的特点及编程方法。 为了能够构建一套稳定可靠的温、湿度控制系统，确保实验数据的准确性和统计的方便与合理，本文重点介绍利用LabVIEW语言开发出一套温、湿度控制系统，该系统以铂电阻作为温度传感器；电容式传感器作为湿度敏感元件，采用美国的NI公司的数据采集卡USB-6008采集温度、湿度信号，通过Internet网络可以实时的监测和控制温、湿度的变化，通过对采集到的数据进行分析和处理，实现数据的报表打印、数据的远程共享，温、湿度的上、下限报警等等。 利用温、湿度传感器和数据采集卡检测温室内温度和湿度参数变化，实现了实验数据的自动采集。针对温室控制过程中温度和湿度存在耦合问题，运用了模糊解耦控制。在模糊解耦控制过程中，根据长期的实践经验总结，制定出了较为合理的温湿度隶属度函数表和模糊解耦控制规则输出表。在去模糊化的过程中，为了便于软件实现，根据Mamdani型模糊推理算法用MATLAB语言编写出了模糊决策表的输出程序。采用目前国际上流行的虚拟仪器技术，进行了计算机测控系统的设计，与传统测试中采用的多参数分别用单个仪器检测、数据单独汇总处理的方式，或基于单片机的数据采集处理系统相比，虚拟仪器技术的应用大大提高了检测和控制的精度，提高了数据处理的速度，并增强了系统的通用性、可靠性、可维护性和可扩展性。采用LabVIEW虚拟仪器开发平台和模块化设计方法，实现了环境参数的实时获取、采集信息的实时显示、控制信号的准确输出及数据的自动处理，减少了人为干预，增加了测控过程的稳定性，避免人为的读数误差和计算误差。在系统试验研究阶段，对系统温湿度参数的自动采集进行试验设计和试验结果分析，从数...
上传时间： 2022-05-25
上传用户：
随着工业控制对可靠性与实时性要求不断提高,传统总线因无法突破实时性,通信效率及总线供电等技术瓶颈而逐渐被一些新的技术所替代。在国内外,一种将以太网应用于工业控制的新兴工业以太网技术引起了越来越多的关注。EtherCAT是一种基于改进的以太网帧结构的工业以太网协议,是目前可靠性和实时性最高的工业以太网协议之一。 本文提出一种基于STM32处理器的EtherCAT从站协议栈的实现方法。首先从物理层、数据链路层及应用层研究分析了 EtherCAT协议。其次,重点设计开发基于STM32处理器的EtherCAT从站设备的协议软件,设计并实现了从站状态机、周期性过程数据及邮箱数据三大通信任务的软件代码。在已搭建的 EtherCAT主从站运行平台验证了系统的可靠与实时性。EtherCAT报文的一次发送和接收共需2ms,该时间随着从站个数的增加变化不大。最后,本文创新点是设计一种基于 EtherCAT实时通信协议栈的智能家居网络控制系统,比以往采用单片机作为终端控制器的控制系统在扩展能力,数据处理能力,实时性方面都有显著优势,实现了智能家居中智能开关与人脸识别门禁两部分应用控制任务,该系统提高了家居控制的安全性及实时性,是目前最有发展前景的工业以太网应用技术之一。 从站协议栈实现EtherCAT的从站功能,并且运行于STM32处理器上,提高了从站运行速度,保证整个EtherCAT系统的实时性。
上传时间： 2022-05-27
上传用户：得之我幸78
心电信号是最早应用于医学的人体生物电信号之一，如今已经可以通过心电信号的分析研究来对心血管相关病变做出预测和诊断。常规心电图机对病人实行检测，由于时间和环境的限制,往往得不到有确切意义的结果。人们一直致力于在非医院环境中进行长程动态心电系统(Holter)的研制工作。 传统的动态心电监护仪(Holter)常受处理器性能或存储空间大小的限制，不能完成大规模的数据处理，以及多生理参数的采集存储。嵌入式技术具有结构简单、性能稳定、能耗低、使用灵活等特点，已应用到各个领域。为此，我们提出了基于嵌入式技术的便携式心电血氧监护系统的设计方案。系统除了具有记录24小时的心电数据功能之外，还同步的记录了患者的血氧饱和度。为临床诊断提供了更多的依据。此外和常规的Holter机相比，还具有体积小、存储容量大、数据处理能力强的特点。 本文对基于高性能嵌入式微处理器的便携式动态心电血氧饱和度监护仪的构成进行了讨论。包括：心电放大电路模块的设计；采用TI公司的低功耗单片机MSP430作为主处理器的血氧饱和度模块设计；选用高性能、低功耗的ARM微处理器EP7312设计中央处理模块；大容量FLASH作为存储模块设计；高速USB数据传输模块设计。 本文对以上各项做了详细的阐述，通过实验测试，可在便携式心电血氧监护仪上较好的显示心电波形、血氧饱和度值，并在上位机上通过相应软件对信号进行分析。为产品的开发和应用奠定了基础。
标签： arm
上传时间： 2022-05-29
上传用户：kingwide
虚拟仪器技术发展日趋成熟，凭借着其在智能化程度、处理能力、性价比和可操作性等方面的明显优势，已经被广泛应用到各个研究领域。随着气象事业的逐步发展，气象要素的数据测量也步入自动化。将虚拟仪器和气象站相结合，具有很大的研究空间。 在这个系统中，采用了硬件和软件相结合的方式。在硬件部分，设计了温湿度传感器和气压传感器与单片机MSP430F135的接口电路，并利用单片机控制进行数据测量，得到了各要素数据并进行了相应的数据处理和温度补偿，由无线发送模块进行传输。无线接收模块通过RS-232总线与计算机相连接，把接收到的数据送入计算机。在软件方面，利用LabVIEW强大的仪器控制功能，轻松地实现了与硬件进行通信交换数据，并将数据以Excel的格式存储在计算机中。使用LabVIEW开发用户控制界面，提供了系统时间显示和数据显示，并且提供历史数据的查询，用户可以输入日期或通过第三方软件(Excel)进行历史数据的查看。此外系统设计中还具有数据超限提示功能，用户可以在前面板根据自身需要设置超限值，若测量到的数值超过用户定义的值，将在前面板进行警告提示。 该系统具有开发周期短、成本低和高效性等特点，将虚拟仪器技术和气象相结合，可以节省大量的人力、物力和时间。然而虚拟仪器技术与气象测量的结合才刚刚起步，今后还需要更深入地研究。
标签： 虚拟仪器
上传时间： 2022-05-30
上传用户：aben
蔬菜大棚温度湿度自动控制系统由主控制器AT89C51单片机、并行口扩展芯片255，74LS373，AD转换器0809、湿度传感器、温度传感器DS1820、固态继电器、RAM6264、掉电保护和LED显示器和报警电路等构成，实现对蔬菜大棚温湿度的检测与控制，从而有效提高蔬菜的产量。文中提出了具体设计方案，讨论了蔬菜大棚温湿度巡回检测与控制的基本原理，进行了可行性论证。给出了电路图和程序流程图并附有源星序。由于利用了单片机及数字控制系统的优点，系统的各方面性能得到了显著的提高。关键词：温湿度传感器；湿度传感器；快速检测；A/D转换器：LED显示器；报警电路；固态继电器；温室环境测控，即根据植物生长发育的需要，自动调节温室内环境条件的总称。现代化温室，通过传感器技术、微型计算机及单片机技术和人工智能技术，能自动测控温室的环境，其中包括温度、湿度、光照、co2浓度等，使作物在不适宜生长发育的反季节中，获得比室外生长更优的环境条件，达到早熟、优质、高产的目的。在农业种植问题中，温室环境与生物的生长、发育、能量交换密切相关，进行环境测控是实现温室生产管理自动化、科学化的基本保证，通过对监测数据的分析，结合作物生长发育规律，控制环境条件，达到作物优质、高产、高效盼栽培目的。传统的环境测控管理采用模拟控制仪表和人工管理方法，工作效率低。随着微机技术的发展，逐步采用配置灵活、开放式结构、运算能力较强、高可靠性、完善的开发手段及具有数据处理、统计分析、打印报表等功能的测控系统所代替，取得了较好的经济效益。随着国民经济的迅速增长，现代农业得到长足发展，受控农业的研究和应用技术越来越受到重视，特别是温室工程已成为工厂化高效农业的一个重要组成部分。支持温室工程的相关技术，如温室环境复杂系统的建模技术与专家决策支持系统、温室环境智能测控技术研究与系统开发、温室环境调配工程技术与设施研究等已成为当前该领域的关键技术和研究热点问题。研究温室环境信息进行模拟、分析、预测，研究开发基于作物成长栽培环境的温室环境多因子智能化综合测控系统，研究高效生产的温室环境综合测控模式与配套设施等将是今后主要研究内容。
上传时间： 2022-05-30
上传用户：jiabin
一、 实验目的使用 51单片机的八位数码管顺序显示自己的学号。掌握 C 语言、汇编语言两种编程单片机控制程序的方法。掌握使用 Keil 4 或 Keil 5 软件编写、编译、调试程序的方法。掌握使用 Proteus 软件绘制电路原理图、硬件仿真和程序调试。二、实验设备笔记本电脑51 单片机（普中科技）八位数码管（单片机上已集成）应用程序：Proteus 8.0、Keil uVision5、stc-isp-v6.88E三、实验原理（1）数码管数码管按段数可分为七段数码管和 8 段数码管，八段数码管比七段数码管多一个发光二极管单元，也就是多一个小数点(DP)，这个小数点可以更精确的表示数码管想要显示的内容。按能显示多少个(8)，可分为 1 位、2位、3位、4位、5 位、6位、7 位等数码管。按发光二极管单元连接方式可分为共阳极数码管和共阴极数码管。共阳数码管是指将所有发光二极管的阳极接到一起形成公共阳极(COM)的数码管，共阳数码管在应用时将公共极 COM 接到+5V，当某一字段发光二极管的阴极为低电平时，相应字段就点亮，当某一字段的阴极为高电平时，相应字段就不亮。共阴数码管是指将所有发光二极管的阴极接到一起形成公共阴极(COM)的数码管，共阴数码管在应用时应将公共极 COM 接到地线 GND上，当某一字段发光二极管的阳极为高电平时，相应字段就点亮，当某一字段的阳极为低电平时，相应字段就不亮。（2）51单片机单片机（Microcontrollers）是一种集成电路芯片，是采用超大规模集成电路技术把具有数据处理能力的中央处理器 CPU、随机存储器 RAM、只读存储器ROM、多种 I/O口和中断系统、定时器/计数器等功能集成到一块硅片上构成的一个小而完善的微型计算机系统，在工业控制领域广泛应用。MSC-51 单片机指以 8051为核心的单片机，由美国的 Intel 公司在 1980 年推出，80C51 是 MCS-51系列中的一个典型品种；其它厂商以 8051为基核开发出的CMOS 工艺单片机产品统称为 80C51 系列。本实验中我使用普中科技的 51 单片机来点亮八位数码管并使其显示我的学号（20198043）。四、 实验 过程（1）熟悉数码管使用 Proteus 软件构建电路图，学会如何点亮数码管，熟悉如何使数码管显示不同的数字（0-9）。我们可以按照上面的原理图让对应的段导通，以显示数字。对于共阳数码管，若显示数字 0，可以让标号为 A，B，C，D，E，F 的段导通，标号为 G，H 的段不导通，然后将阳极通入高电压，即显示数字 0。代码举例如下：最后效果如下，成功点亮一个数码管。经过更多尝试和学习，学会使多位数码管显示多位数字。结果举例如下：（2）多位数码管显示学号为了显示我们学号，就不能只使用一位数码管，需要使用八位数码管，相较于单位数码管，多位数码管更加复杂，驱动函数有很大区别。多位数码管使用同一组段选，不同的位选，因此就不能够一对一地固定显示，这就需要动态扫描。动态扫描：利用人眼视觉暂留，多位数码管每次只显示一位数字，但是切换频率大于 200HZ（50 × 4），这样就能让人产生同时显示多个数字的错觉。具体操作是轮流向数码管送字形码和相应的位选。一个完整的驱动程序不只以上这些，一个完整的数码管驱动有 6部分：1. 码表（ROM）：存储段码（一般放在 ROM中，节省 RAM空间），例如数字 0的段码就是 0xC0，码表则包含 0-9的段码2. 显存（RAM）：保存要显示的数字，取连续地址（便于查表）3. 段选赋值：通过查表（码表）操作，将显存映射到段码4. 位选切换：切换显示的位置5. 延时：显示的数字短暂保持，提升亮度6. 消影：消除切换时不同位置互相影响而产生的残影
上传时间： 2022-06-08
上传用户：canderile
研究开发一个基于Android系统的远程多人监控智能家居系统.系统包括智能家居控制台终端、后端云数据处理平台、智能家居移动终端三大部分组成.智能家居移动终端使用Android 5.1系统,后端云数据处理平台使用Bmob后端云平台,智能家居控制台终端使用Android 4.0系统.智能家居控制台终端获取家具状态,通过网络传输模块将家具状态数据上传到Bmob后端云平台和获取Bmob后端云平台上智能家居移动终端的请求信息,智能家居移动终端获取Bmob后端云平台的数据和发送请求数据到Bmob后端云平台,从而可实现多台智能家居移动端实时远程监控家居状态.
上传时间： 2022-06-13
上传用户：ttalli
本文论述的蓝牙射频自动测试系统，以Visa构架的远程控制技术为理论基础，依据蓝牙国际标准和国家无线电管理委员会发布的蓝牙技术测试标准，基于Visual Basic环境，集成测试T控机、频谱分析仪Agilent E4440、蓝牙综测仪Agilent 4010、射频切换单元等测试仪器，实现蓝牙终端型号核准射频性能的自动化测试。本测试系统由用户在工控机上操作自动化测试软件进行测试，包含数据采集、数据处理、测试结果显示和自动生成测试报告等功能。1本文从理论入手，首先介绍了测试技术的国内外现状和发展方向，然后介绍了自动测试系统的设计原则和总体结构，接下来着重论述了蓝牙射频自动测试系统的硬件选择和软件开发。软件开发部分主要分为以下几项工作：1，上层操作界面的编写：2.底层仪表驱动函数的编写；3.测试用例的编写：4.后台数据库的编写。软件设计过程中充分利用虑拟仪器技术和平台化模块化设计方案保证系统的扩展性，移柏性和重用性。最后，本文给出了实际测试过程中测试结果的分析，可以看出，本蓝牙射频自动测试系统具有极强的稳定度和准确性，并且极大的提高了测试效率，节省了大量的人力资源和时间资源，符合现代化测试的需求。
上传时间： 2022-06-20
上传用户：
针对现有家庭网关设备使用过程中出现的诸多问题，本文使用OpenWRT开源路由器技术，结合众多家庭网络中常用传感器设备，组建了一个家庭网络硬件平台，并在此基础上研究了基于OpenWRT无线路由器的智能网关（OWIG）系统的设计与实现。本文首先阐述了家庭网关技术在智能家居解决方案中的应用现状，然后分别介绍了本文中用到的家庭网关技术、开源路由器技术以及LuCI WEB技术。接着，本文探讨了在OpenWRT路由器上搭建智能家庭网关的需求，并以此为基础设计了OwIG系统。该系统由以开源路由器为核心的硬件平台以及以LuCI为基础架构的软件平台两个部分组成。其中，硬件平台用于搭建智能网关所在网络环境：软件应用平台用于负责OWIG系统的数据处理以及业务逻辑处理。在实现环节，本文首先设计了OwiG系统的硬件平台，讨论了诸多传感器设备的连接与传输问题。然后设计了OWG系统应用服务框架，并根据软件应用框架设计了数据预处理模块和业务逻辑模块。在数据预处理模块详细设计了WEB界面与OpenWRT系统之间的消息处理过程，重点讲述了Lua本与OpenwRT内部UCI按口交互的执行流程。在业务逻辑模块设计过程中，将业务需求划分成用户管理模块、设备管理模块、文件管理模块以及应用服务模块四个部分，然后分别针对各个业务逻辑模块进行了详细地实现。特别地，针对现有家庭网关流量控制不足的问题，本文在软件应用平台设计过程中，结合Linux NETFILTER/IPTABLES防火墙技术和TC流量管理技术，详细阐述并设计了家长控制功能以及访客网络技术的实现。
上传时间： 2022-06-22
上传用户：fliang
