常用大数据***集工具,常用大数据***集工具有哪些

1. 股票数据信息收集工具网友们有好的推荐吗？
2. 公共事业管理运用了哪些大数据的采集方法？
3. 空间数据的获取方式有哪些？

股票数据信息收集工具网友们有好的推荐吗？

可以自己开发，通过新浪或者腾讯股票接口提取数据。用php编程基本能实现6秒内提取一次全部的股票数据，python速度比php慢一些。自己编程可以实现个股快速拉升的及时提醒，触发止盈止损价位的提醒，个性化K线形态的盘后收集，历史交易数据的大数据整理。对复盘及盯盘还是挺有用的。

其实Python就可以，而且非常简单，Python自带有一个第三方模块—tushare，专门用于免费获取股票等金融财经数据，自动完成了从数据采集、清洗到存储的全过程，下面我简单介绍一下这个模块的安装和使用，实验环境Win10+Python3.6+PyCharm5.0，主要内容如下：

1.首先，安装tushare模块，这个直接在cmd窗口输入命令“pip install tushare”就行，如下，很快就能安装成功：

2.安装完成后，我们就可以直接编写代码来免费获取股票数据了，非常简单，主要代码及截图如下：

• 获取历史行情：主要用到get_hist_data这个函数，输入参数为股票代码、开始日期、结束日期，输出为开盘价、最高价、最低价、收盘价、成交量等，测试代码如下：

程序运行截图如下，已经成功打印出股票历史行情数据：

• 获取实时行情：主要用到get_today_all这个函数，输入参数为股票代码、开始日期、结束日期等，输出为股票名称、涨跌幅、现价、开盘价、最高价、成交量、换手率等，测试代码如下：

程序运行截图如下，已经成功获取到数据：

• 获取历史分笔：这里主要用到get_tick_data这个函数，输入参数股票代码、日期等，输出为时间、成交价格、价格变动、成交金额、买卖类型等，测试代码如下：

  
  （图片来源网络，侵删）

程序运行截图如下，已经成功获取到历史分笔数据：

• 获取实时分笔：这里主要用到get_realtime_quotes这个函数，输入参数为股票代码，输出为股票名称、当前价格、成交量、成交金额等，测试代码如下：

程序行截图如下，已经成功获取到数据：

更多功能的话，可以参考tushare***，介绍的非常详细。

3.这里你也可以直接将获取到的数据保存为excel，只需一行代码就可搞定，如下，非常方便，主要用到to_excel这个函数：

Excel保存的股票数据如（部分截图数据）：

4.最后，你也可以借助mpl_finance模块对股票数据进行可视化，安装的话，也直接输入命令“pip install mpl_finance”就行，测试代码如下，绘制股票K线图：

程序运行截图如下，还不错：

至此，我们就完成了利用Python来免费获取股票数据。总的来说，tushare这个模块使用起来非常方便，只要你有一定的Python基础，熟悉一下***教程和文档，很快就能掌握使用的，后期也可以借助于pandas、matplotlib等模块进行股票数据处理和可视化，非常方便，希望以上分享的内容能对你有所帮助吧，也欢迎大家评论、留言。

公共事业管理运用了哪些大数据的采集方法？

大数据的***集方法

1）数据库***集

Redis、MongoDB和HBase等NoSQL数据库常用于数据的***集。企业通过在***集端部署大量数据库，并在这些数据库之间进行负载均衡和分片，来完成大数据***集工作。

2）系统日志***集

系统日志***集主要是手机公司业务平台日常产生的大量日志数据，供离线和在线的大数据分析系统使用。高可用性、高可靠性、可扩展性是日志收集系统所具有的基本特征。系统日志***集工具均***用分布式架构，能够满足每秒数百MB的日志数据***集和传输需求。

3）网络数据***集

网络数据***集是指通过网络爬虫或网站公开API等方式从网站上获取数据信息的过程。

4）感知设备数据***集

感知设备数据***集是指通过传感器、摄像头和其他智能终端自动***集信号、图片或录像来获取数据。

空间数据的获取方式有哪些？

获取方法：野外数据***集，手工输入数据，地图数字化遥感测量，摄影通过数据库。

获取方式:一个数据本身就带有的,通过查看它的元数据就可以得知的
另外就是向提供数据的单位索要

拓展资料：

空间数据是指用来表示空间实体的位置、形状、大小及其分布特征诸多方面信息的数据，它可以用来描述来自现实世界的目标，它具有定位、定性、时间和空间关系等特性。空间数据是一种用点、线、面以及实体等基本空间数据结构来表示人们赖以生存的自然世界的数据。