访问官网
Github
文档PyStore - Pandas 时间序列数据的快速数据存储
.. image:: https://img.shields.io/badge/python-2.7,%203.5+-blue.svg?style=flat :target: https://pypi.python.org/pypi/pystore :alt: Python 版本
.. image:: https://img.shields.io/pypi/v/pystore.svg?maxAge=60 :target: https://pypi.python.org/pypi/pystore :alt: PyPi 版本
.. image:: https://img.shields.io/pypi/status/pystore.svg?maxAge=60 :target: https://pypi.python.org/pypi/pystore :alt: PyPi 状态
.. image:: https://img.shields.io/travis/ranaroussi/pystore/master.svg?maxAge=1 :target: https://travis-ci.com/ranaroussi/pystore :alt: Travis-CI 构建状态
.. image:: https://www.codefactor.io/repository/github/ranaroussi/pystore/badge :target: https://www.codefactor.io/repository/github/ranaroussi/pystore :alt: CodeFactor
.. image:: https://img.shields.io/github/stars/ranaroussi/pystore.svg?style=social&label=Star&maxAge=60 :target: https://github.com/ranaroussi/pystore :alt: 为此仓库加星
.. image:: https://img.shields.io/twitter/follow/aroussi.svg?style=social&label=Follow&maxAge=60 :target: https://twitter.com/aroussi :alt: 在 Twitter 上关注我
\
PyStore <https://github.com/ranaroussi/pystore>_ 是一个简单（但功能强大）的 Pandas 数据框存储系统，尽管它可以存储任何 Pandas 对象，但它是专为存储时间序列数据而设计的。
它基于 Pandas <http://pandas.pydata.org>、Numpy <http://numpy.pydata.org>、Dask <http://dask.pydata.org>_ 和 Parquet <http://parquet.apache.org>（通过 pyarrow <https://github.com/apache/arrow>）构建，为 Python 开发者提供了一个易于使用的数据存储系统，每个客户端每秒可以轻松查询数百万行数据。
==> 查看 这篇博客文章 <https://medium.com/@aroussi/fast-data-store-for-pandas-time-series-data-using-pystore-89d9caeef4e2>_ 了解 PyStore 背后的原理和理念，以及包含代码示例的详细教程。
==> 按照 这个 PyStore 教程 <https://github.com/ranaroussi/pystore/blob/master/examples/pystore-tutorial.ipynb>_ 以 Jupyter 笔记本格式进行学习。
快速入门
安装 PyStore
使用 pip 安装：
.. code:: bash
$ pip install pystore --upgrade --no-cache-dir
使用 conda 安装：
.. code:: bash
$ conda install -c ranaroussi pystore
安装注意事项：
如果您尚未安装 Snappy（压缩/解压缩库），您需要 先安装它 <https://github.com/ranaroussi/pystore#dependencies>_。
使用 PyStore
.. code:: python
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import pystore
import quandl
# 设置存储路径（可选）
# 默认为 `~/pystore` 或 `PYSTORE_PATH` 环境变量（如果已设置）
pystore.set_path("~/pystore")
# 列出存储
pystore.list_stores()
# 连接到数据存储（如果不存在则创建）
store = pystore.store('mydatastore')
# 列出现有集合
store.list_collections()
# 访问集合（如果不存在则创建）
collection = store.collection('NASDAQ')
# 列出集合中的项目
collection.list_items()
# 从 Quandl 加载一些数据
aapl = quandl.get("WIKI/AAPL", authtoken="您的令牌")
# 将数据的前 100 行存储在集合中，名为 "AAPL"
collection.write('AAPL', aapl[:100], metadata={'source': 'Quandl'})
# 读取项目的数据
item = collection.item('AAPL')
data = item.data # <-- Dask 数据框（参见 dask.pydata.org）
metadata = item.metadata
df = item.to_pandas()
# 将剩余的行追加到 "AAPL" 项目
collection.append('AAPL', aapl[100:])
# 读取项目的数据
item = collection.item('AAPL')
data = item.data
metadata = item.metadata
df = item.to_pandas()
# --- 查询功能 ---
# 基于元数据查询可用符号
collection.list_items(some_key='some_value', other_key='other_value')
# --- 快照功能 ---
# 创建集合快照
# （集合中所有当前符号的时间点命名引用）
collection.create_snapshot('snapshot_name')
# 列出可用快照
collection.list_snapshots()
# 获取给定快照名称的符号版本
collection.item('AAPL', snapshot='snapshot_name')
# 删除集合快照
collection.delete_snapshot('snapshot_name')
# ...
# 从当前版本删除项目
collection.delete_item('AAPL')
# 删除集合
store.delete_collection('NASDAQ')
使用 Dask 调度器
PyStore 0.1.18+ 支持使用 Dask 分布式。
要使用本地 Dask 调度器，请在代码中添加以下内容：
.. code:: python
from dask.distributed import LocalCluster
pystore.set_client(LocalCluster())
要使用分布式 Dask 调度器，请在代码中添加以下内容：
.. code:: python
pystore.set_client("tcp://xxx.xxx.xxx.xxx:xxxx")
pystore.set_path("/path/to/shared/volume/all/workers/can/access")
概念
PyStore 提供了命名空间化的数据集合。 这些集合允许通过来源、用户或其他指标（例如频率：日终数据、分钟线等）对数据进行分类。 每个集合（或命名空间）对应一个目录，其中包含每个项目（例如股票代码）的分区 parquet 文件。
创建集合的一个良好做法可能如下所示：
- collection.EOD
- collection.ONEMINUTE
要求
- Python 2.7 或 Python > 3.5
- Pandas
- Numpy
- Dask
- Pyarrow
Snappy <http://google.github.io/snappy/>_（Google 的压缩/解压库）- multitasking
PyStore 已在类 *nix 系统（包括 macOS）上测试通过。
依赖项：
PyStore 使用 Snappy <http://google.github.io/snappy/>_，
这是 Google 开发的一个快速高效的压缩/解压库。
在安装 PyStore 之前，您需要先在系统上安装 Snappy。
* 更多信息请参见 python-snappy 的 Github 仓库 <https://github.com/andrix/python-snappy#dependencies>_。
*nix 系统：
- APT：
sudo apt-get install libsnappy-dev - RPM：
sudo yum install libsnappy-devel
macOS：
首先，使用 Homebrew <https://brew.sh>_ 安装 Snappy 的 C 库：
.. code::
$ brew install snappy
然后，使用 conda 安装 Python 的 snappy：
.. code::
$ conda install python-snappy -c conda-forge
...或者，使用 pip：
.. code::
$ CPPFLAGS="-I/usr/local/include -L/usr/local/lib" pip install python-snappy
Windows：
Windows 用户可以查看 Snappy for Windows <https://snappy.machinezoo.com>_ 和 这个 Stackoverflow 帖子 <https://stackoverflow.com/a/43756412/1783569>_ 以获取有关安装 Snappy 和 python-snappy 的帮助。
路线图
PyStore 目前支持本地文件系统（包括连接的网络驱动器）。
我计划在未来添加对 Amazon S3（通过 s3fs <http://s3fs.readthedocs.io/>）、
Google Cloud Storage（通过 gcsfs <https://github.com/dask/gcsfs/>）
和 Hadoop 分布式文件系统（通过 hdfs3 <http://hdfs3.readthedocs.io/>_）的支持。
致谢
PyStore 的灵感主要来自 Man AHL <http://www.ahl.com/>_ 的
Arctic <https://github.com/manahl/arctic>_，后者使用
MongoDB 进行存储，并支持版本控制等功能。
我强烈建议您去了解一下。
许可证
PyStore 采用 Apache License, Version 2.0 许可。许可证副本包含在 LICENSE.txt 文件中。
我非常关心您使用 PyStore 的体验。 请随时与我分享您的任何反馈。
欢迎贡献！
- Ran Aroussi
