アジャイルな見積りと計画づくり読書会でもやもや

第何回だかのアジャイルな見積りと計画づくり読書会に行ってきてもやもやするところがあったので、書きなぐっておきます。
16 章「ベロシティの見積り」という章で、最終手段としてベロシティを予測する、というのが紹介されています。
で、これが最終手段と言いつつ一番詳しく解説されているんですけど、そこは置いておいて、この章の最後の「話し合ってみよう」にこんなのが書いてあります。

表 16.2 では、同じストーリーポイントで見積もられているストーリーをタスクに分解しても、タスクの見積り時間の合計は同じではない。これはなぜだろうか？

表 16.2 はこんな感じ。

ストーリー	ストーリーポイント	タスクに必要な時間
コーチとして、チームのすべての選手の名前とプロフィールを入力できる	3	24
コーチとして、練習を設定できる	5	45
水泳選手として、ある競泳種目について、自分のタイムをすべて見ることができる	2	18
選手として、自分のプロフィールを変更できる	1	14
水泳選手として、指定した競泳種目の記録を折れ線グラフで見ることができる	2	14
コーチとして、指定した競泳種目について、全選手の進歩の様子を折れ線グラフで見ることができる	3	30
水泳選手として、いままでに 1 位、2 位、3 位、それ以下の順位になった回数を円グラフで見ることができる	2	12
コーチとして、選手の最高記録を競泳種目ごとにテキストで見ることができる	2	14
コーチとして、計測システムから取り出した大会の結果ファイルをアップロードすることができる	5	50
合計	25	221

でですね。
「話し合ってみよう」の内容自体はいいんですよ。1 ストーリーポイントが実際にどれくらいの時間で完了できるかは幅があるので。
問題は、「あくまで予想とはいえ、ストーリーをタスクまで分解して実際に現実の時間に落とし込んだ結果、ストーリーポイントをそこで見直すべきなのかどうか」です。
例えば上の表だと、ストーリーポイントとしては 1 だけど、タスクに必要な時間は ストーリーポイント 2 としたものと同程度になっています。
ここでストーリーポイントを全体的に見直すのがいいのか、あくまでベロシティを決めるための予想と割り切って見直さずに進むのがいいのか・・・

うーん、どうすればいいんだろう・・・