甲府歩行量調査データとWi-Fiデータとの解析¶
データの読み込み¶
2018年の歩行量調査データから地点別２０か所の日別、種別（歩行者、自転車、バイク）とWi-Fiパケットのdwell_timeデー(全アドレス Wi-Fi, 固定アドレスのみWi-Fi0）の一覧
wifi及びwifi0のデータは、~raspimngr/wifi_csv/kofu/summary_kofu/count及びcount0より10時から20時未満のデータを総計
- 設置場所の感度のよさ（屋内外）をp-factor
- 交通量の多さをv-factor
として加えてみた。（が、あまりよくないので下記では入れてみてない。）
In [18]:
import pandas as pd
import numpy as np
import matplotlib
pedes_data = pd.read_csv("handCount-WiFi0_reg_a.csv", sep=",")
pedes_data.head()
Out[18]:
自転車とバイクの総数を列に加える (bike_total)¶
In [19]:
pedes_data["bike_total"] = pedes_data["bicycle"]+pedes_data["moterbike"]
pedes_data.head()
Out[19]:
scikit-learnによる重回帰分析¶
$$ Y = a_1 x_1 + a_2 x_2 + a_3 x_3 + c$$
$Y$として、Wi-Fi(全アドレス）あるいはWi-Fi0（固定アドレスのみ） $x_1$, $x_2$として、歩行者数(pedestrian), 自転車(bicycle)とバイク(bike)を採用
In [20]:
# sklearn.linear_model.LinearRegression クラスを読み込み
from sklearn import linear_model
clf = linear_model.LinearRegression()
Y = pedes_data['wifi0'].as_matrix()
df_X = pedes_data[["pedestrian","bicycle","moterbike"]]
X = df_X.as_matrix()
clf.fit(X,Y)
print(pd.DataFrame({"Name":df_X.columns,
"Coefficients":clf.coef_}).sort_values(by='Coefficients'))
print(clf.intercept_)
moterbikeの相関がわるい。→ バイク進入禁止の地点もあるためだろう
自転車とバイクの総和(bike_total)を説明変数としてみる。
In [21]:
df_X = pedes_data[["pedestrian","bike_total"]]
X = df_X.as_matrix()
clf.fit(X,Y)
print(pd.DataFrame({"Name":df_X.columns,
"Coefficients":clf.coef_}).sort_values(by='Coefficients'))
print(clf.intercept_)
こちらの方がよさそう。
$$ ({\rm wifi0}) = 0.72 * ({\rm bike\_total}) + 1.12 * ({\rm pedestrian}) + 1729 $$
つまり、スマホを持っていない人も含め歩行者はほぼ１回のパケット、バイクはほぼ0.7回のパケットを出しているというのはうなずける。 （約半数くらい？の人がWi-Fiをオンにした固定アドレス端末を持っているとして、歩行者は２回程度パケットを出す。）
定数項は周辺の家屋や滞在者と考える。（ちょっと多すぎる？）
statmodelsの利用¶
R由来のstatmodelsを用いてみる。
P値など統計的な諸量が表示される。
標準では定数項（切片）をゼロにしてフィッティングを行うので、切片をゼロではいようにするため、データ列に全部1の列を入れる。→ add_constant()
In [22]:
import statsmodels.api as sm
X1 = sm.add_constant(X) # 1列めに1.0を入れるだけ
model = sm.OLS(Y,X1)
result = model.fit()
result.summary()
Out[22]:
- 当然だが、係数はscikit-learnのと同じ結果になる。
- P値は歩行者についてはOKだがバイク・自転車については大きすぎる（説明変数としては疑問という結果。1以下なので、ダメではないが。）
切片をゼロに取ってみると、（statmodels.formula.apiを利用)
In [23]:
# 切片無しで計算
import statsmodels.formula.api as smf
model = smf.OLS(Y,X)
result = model.fit()
result.summary()
Out[23]:
P値はよいが、バイク・自転車のほうが係数が大きいのは解釈が困難。
全パケットに対する重回帰¶
In [24]:
Y1 = pedes_data['wifi'].as_matrix()
# 切片付きの計算
model = smf.OLS(Y1,X1)
result = model.fit()
result.summary()
Out[24]:
全アドレスに対しては、歩行者の寄与が大きく、バイクの寄与は小さくなる。移動スピードの違いであると一応解釈できる。 しかし、p値はめちゃくちゃ悪い
In [25]:
import matplotlib.pyplot as plt
fig, axes = plt.subplots(nrows=1, ncols=2, figsize=(20, 10))
pedes_data["mixed_by_coef0"] = pedes_data["pedestrian"]*1.119 + pedes_data["bike_total"]*0.7216 + 1728.69
pedes_data["mixed_by_coef"] = pedes_data["pedestrian"]*3.2 + pedes_data["bike_total"]*0.33 + 2243.375
g = pedes_data.plot.scatter(x="mixed_by_coef0", y="wifi0", ax=axes[0])
g.set_xlabel("通行者（歩行者とバイク＋自転車を回帰係数で補正）", fontsize=14)
g.set_ylabel("固定アドレス数", fontsize=14)
for k, v in pedes_data.iterrows():
g.annotate(v["short_name"], xy=(v["mixed_by_coef0"]+50,v["wifi0"]), size=12)
g2 = pedes_data.plot.scatter(x="mixed_by_coef", y="wifi", ax=axes[1])
g2.set_xlabel("通行者（歩行者とバイク＋自転車を回帰係数で補正）", fontsize=14)
g2.set_ylabel("全アドレス数", fontsize=14)
for k, v in pedes_data.iterrows():
g2.annotate(v["short_name"], xy=(v["mixed_by_coef"]+50,v["wifi"]), size=12)
歩行者、バイク・自転車ともほぼ同じ係数なので、単純合計でもほぼ同じ散布図になる。
外れ値の地点を除外した評価¶
- パケット数が過多 kofu3(風月堂）、kofu12(「鷹の」)、kofu9（防災新館): 建物内の来訪者・居住者などを拾っている？
- パケットが過多 kofu23（六曜館）：車からのパケットを拾っている？
In [26]:
selected_data = pedes_data[pedes_data["sensorID"].isin(["kofu3","kofu9","kofu12","kofu23"])==False]
Y = selected_data['wifi0'].as_matrix()
df_X = selected_data[["pedestrian","bike_total"]]
# df_X = selected_data[["pedestrian","bicycle","moterbike"]]
X = df_X.as_matrix()
clf.fit(X,Y)
print(pd.DataFrame({"Name":df_X.columns,
"Coefficients":clf.coef_}).sort_values(by='Coefficients'))
print(clf.intercept_)
X1 = sm.add_constant(X)
model = smf.OLS(Y,X1)
result = model.fit()
result.summary()
Out[26]:
バイクの係数が大きいのは解釈が困難だが、フィッティングはよい。（バイク・自転車の何倍かの車が計測されていると解釈することができるか？）
In [29]:
pedes_data["temp"] = pedes_data["pedestrian"]*1.244 + pedes_data["bike_total"]*1.69 # selected_dataはpedes_dataの"view"と解すべき
selected_data = pedes_data[pedes_data["sensorID"].isin(["kofu3","kofu9","kofu12","kofu23"])==False]
g = selected_data.plot.scatter(x="temp", y="wifi0", figsize=(10,10))
g.set_xlabel("通行者（歩行者とバイク＋自転車を回帰係数で補正）", fontsize=14)
g.set_ylabel("固定アドレス数", fontsize=14)
for k, v in selected_data.iterrows():
g.annotate(v["short_name"], xy=(v["temp"],v["wifi0"]), size=12)
- 車道近くのダン珈琲店（kofu17）、カフェ・キュイエール（kofu18）、奥藤(kofu22）が上振れ
- 銀座通り(ブラザー(kofu13)、ルパン(kofu24)）が上振れ（住民？）
- 車が通らないクラフトラボ(kofu16）、Hechima（kofu5）が下振れ
歩行者のみでの回帰
In [30]:
selected_data = pedes_data[pedes_data["sensorID"].isin(["kofu24","kofu13","kofu9"])==False]
Y = selected_data['wifi'].as_matrix()
df_X = selected_data[["pedestrian"]]
X = df_X.as_matrix()
clf.fit(X,Y)
print(pd.DataFrame({"Name":df_X.columns,
"Coefficients":clf.coef_}).sort_values(by='Coefficients'))
print(clf.intercept_)
X1 = sm.add_constant(X)
model = smf.OLS(Y,X1)
result = model.fit()
result.summary()
Out[30]:
In [31]:
data1 = pedes_data[pedes_data["sensorID"].isin(["kofu3", "kofu9", "kofu17","kofu18","kofu21","kofu22","kofu23"])]
Y = data1['wifi0'].as_matrix()
df_X = data1[["pedestrian","bike_total"]]
X = df_X.as_matrix()
clf.fit(X,Y)
print(pd.DataFrame({"Name":df_X.columns,
"Coefficients":clf.coef_}).sort_values(by='Coefficients'))
print(clf.intercept_)
X1 = sm.add_constant(X)
model = smf.OLS(Y,X1)
result = model.fit()
result.summary()
Out[31]:
小括¶
- 固定アドレス(wifi0)を目的変数に、歩行者(pedestrian)と自転車・バイク(bike_total)を説明変数として、切片付きで重回帰をしたものは、解釈しやすい。（切片は、バックグラウンド＝屋内・来訪者）ただし、自転車・バイクに対するp値は大きい
- 切片無しで計算すると、p値はよくなるが、自転車・バイクの係数が大きくなる。自転車・バイクには、本来、車も含むべきと考えれば、理解できないこともない。
- 全アドレスを目的変数にしたときは、自転車・バイクに対するp値が大きくなる。
- 外れ値となっている４地点（車あるいは居住者・来店者が多そうな場所）を除くと、p値は改善。自転車・バイクの係数は下がるが、車の影響を除いたことと考え合わせれば妥当
車の影響及び屋内者（来店者・居住者）の影響を、現在の説明変数で組み込むことは困難だが、通行者と全アドレスとはかなりの相関があると言える。
MACアドレスの比率¶
In [32]:
g = pedes_data.plot.scatter(x="wifi", y="wifi0", figsize=(10,10))
g.set_xlabel("全アドレス数", fontsize=14)
g.set_ylabel("固定アドレス数", fontsize=14)
for k, v in pedes_data.iterrows():
g.annotate(v["short_name"], xy=(v["wifi"]+50,v["wifi0"]), size=12)
In [35]:
pedes_data["addr_ratio"] = pedes_data["wifi0"]/pedes_data["wifi"]
a = pedes_data[pedes_data["mon-day"]=="11-30"]["addr_ratio"].reset_index()["addr_ratio"]
b = pedes_data[pedes_data["mon-day"]=="12-01"]["addr_ratio"].reset_index()["addr_ratio"]
c = pedes_data[pedes_data["mon-day"]=="12-02"]["addr_ratio"].reset_index()["addr_ratio"]
name = pedes_data[pedes_data["mon-day"]=="11-30"]["short_name"].reset_index()["short_name"]
data = pd.DataFrame({"short_name": name, "11/30": a, "12/01": b.values, "12/02": c})
g = data.plot.bar(x="short_name", figsize=(10,5))
g.set_xlabel("地点", fontsize=12)
g.set_ylabel("固定アドレス数／全アドレス数", fontsize=12)
Out[35]:
