# Swifterとかで移動平均を計算
fanannanです。この記事はfintalk Advent Calendar 2019の18日目です。
ここのボスになんか書けと言われたので書きました。基本的には@drillerせんせいの記事のぱくりです（申請済）。

swifterとは、pandasのようなテーブルデータ（DataFrame）に関数を適用する（apply）速度を速くできるライブラリです。ノーマルのpandasをちょっと変更するだけで扱えるのが特徴です。

pandasの代替ライブラリのなかには、高速化を謳っているものても、使いみちによってはpandasよりもむしろ遅くなってしまうものも多いようですが、swifterは（swifterが使える場面では）ほぼどんなケースでもちゃんと速くなるらしいです。気になったのでちょろっと試してみました。金融ネタということで、今回は移動平均を算出してみます。

## インストール

swifterは、pandasの代替ではなく、pandasに追加して使うライブラリなので、pandasが入っていない場合には、pandasもインストールする必要があります。

$ pip install -U pandas
$ pip install -U swifter

condaをお使いのかたはこちらでいけます。

conda install -c conda-forge swifter

## サンプルデータ
時系列データを用意するのが大変なので、今回は乱数で代用することにします。

import numpy as np
import pandas as pd
import swifter

t = np.arange("1900-01-01", "2019-12-25", dtype=np.datetime64)
np.random.seed(seed=0)
y = np.random.rand(len(t))

これで日付時系列tと乱数列y が用意できたので、これらから pandasのDataFrameを作成します。

df_pd = pd.DataFrame({"t": t, "y": y})
df_pd.head()

:::info
||t|y
|-|-|-
|0| 1900-01-01| 0.548814
|1| 1900-01-02| 0.715189
|2| 1900-01-03| 0.602763
|3| 1900-01-04| 0.544883
|4| 1900-01-05| 0.423655
:::

## 速度比較

まずは、pandasで5日間の移動平均を算出してみます。

%timeit df_pd.rolling(5).mean()

:::info
997 µs ± 5.87 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
:::

ここで念のため、計算結果も確認しておきます。

df_pd.rolling(5).mean().tail()

:::info
||y
|-|-
|43817| 0.581484
|43818| 0.483147
|43819| 0.460279
|43820| 0.409074
|43821| 0.329882
:::

つぎは、swifterを使う場合です。

%timeit df_pd.swifter.rolling(5).apply(np.mean)

:::info
321 ms ± 3.81 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
:::

一瞬眼を疑いました。桁が違いますね。µs ではなくmsです。全然ダメですね。期待はずれです。

ちなみに、こんな風に書くと余計な表示を消したり、スレッド数を変えたりできます。

df_pd.swifter.set_npartitions(npartitions=8).progress_bar(False).rolling(5).apply(np.mean, raw=False)

いろいろ条件を変えてやってみましたが、徒労に終わりました。データフレームのサイズを大きくしたら良くなるかと思いましたが、却ってひどくなりました。
ということで、ほかの実験は省略します。

そういえば、移動平均ではrollingを使っていますが、そうではないものでもやってみましょう。

%timeit df_pd.apply(lambda x:x)

:::info
329 ms ± 10.5 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
:::

%timeit df_pd.swifter.apply(lambda x:x)

:::info
1.44 ms ± 38.3 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
:::

んむむ？
では、データフレームのサイズを100倍にしてみます。

%timeit df_pd100.apply(lambda x:x)

:::info
31.4 s ± 441 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
:::

%timeit df_pd100.swifter.apply(lambda x:x)

:::info
1.62 ms ± 50 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
:::
なんだ、圧倒的じゃないか、我が軍は。

Vaexではpandasの置き換えになるので、pandasとの機能の違いで困ることもあるようですが、swifterの場合は、必要に応じてpandasに付加するだけなので、pandasの機能はそのままに使えます。お手軽にapplyを速くしたいときに使うのが良さそうです。

おしまい。