2009-05-09
_ [研究] 査読システムの破綻
もっと緻密な議論が他にあるはずですし、当たり前の結論になってしまうのですが一応書いてみます。100人の研究者コミュニティがあったとしましょう。1人の研究者が年間平均k本の査読付き論文を投稿するとします。論文1本の採否を判定するためには査読が平均s本必要です。コミュニティの中で実際に査読をしている人の割合はaだとしてみましょうか。さて、1人の査読者が年間に行う査読本数は何本になるでしょうか（単位をサドークとでもしてみましょうか）。単純に計算すると k * s / aですね。実際の数値はなかなか推測しにくいのですが、乱暴にk=4, s=2.5, a=.3としてみます。結果は約33サドークです（もっとしてるぞという方もいるかと思いますが。。。）10日に1本は査読している計算ですね。これが意味するところは、1人の研究者が3カ月以上かけた仕事を10日をはるかに下回る時間で評価しなくてはならないような重い負荷がまじめな査読者に圧し掛かっているということです。査読者の割合が増えたとしても、仕事にかけた時間に対してかなり少ない時間で評価をしなくてはいけないことに変わりはありません。という訳で現状の査読システムはもうこれ以上持ちません。さっさと次世代の論文評価システムを構築するか、論文の本数で研究者を評価する風潮を改めないと（査読をしている）研究者は死んでしまいます。
READMEと日記の書き方
数年前と比べてもかなり大変になりましたね．理由を考えると，<br>1) 情報分野に関していえば，コアの部分は衰退気味であるため，ウェブなどの分野に研究者が流入している．<br>2) 中国を中心に研究者が増加している．<br>3) ネットのお陰でリアルタイムに情報がやりとりでき，研究・査読のスピードが増している：僕が学生のころはProceedings（いまに比べると薄い）が船便で何ヶ月かかかって届くくらいだったのに．<br>あたりかと思います．<br><br>最近だと，求められる実験の量とクオリティもだいぶ変わってきましたね．ソースコードを出せという会議もありますし．これも人が多いせいかと思います．<br><br>少数の人に査読が集中してしまうことが問題ですね．査読してもらう側にもそれなりの対価を負担してもらうことが必要かなと思います．<br><br>冗談ですが，仮想通貨（サドークとしましょうか）を導入して，査読したり学会運営など担当する負担に応じて儲かり，逆に査読してもらうと損をして，あまりに赤字だと査読してもらえない，とか．1000サドークたまると，ポイント交換で1年間査読サバティカルがもらえるなど．
kが増加し、aが減少しているために、サドークが急増しているという感じですね。ポイントまではいきませんが、査読者の年間査読本数を管理しそれを見ながら査読依頼をする雑誌もあるようです。
「数年前と比べてもかなり大変になりました」に全く同感です。<br><br>ハルさんの指摘されている事情に加えて、日本固有の事情として、投稿数が増えているのに若手研究者の数が伸び悩んでいる、というのも大きいと思います。<br>うちの研究室が典型的ですけど、最近では研究職に就く意思のない修士の学生でも、論文誌にバンバン投稿するようになったので、論文投稿数自体はどう考えても増える一方だと思います。<br><br>私は日本の4つの学会で同時に論文誌編集委員（俗に言うメタレビューワ）を兼任しています。査読を頼む相手が足りなくて、常に四苦八苦です。
査読システム撲滅委員会初代会長（自称）のあかほです．<br>twitter で言及されているのを見て通りすがりました．<br>このような理論的な裏付けがあるといいですね．<br>ただし，私の経験から，査読システム撲滅には必ず強い抵抗に遭います．<br>何か良いシステムが普及するといいんですが．．．
いとーさん、それはさすがに引き受けすぎでは。。。<br>学生が論文を書くのは良いことなのですが、照会するともう卒業してたりとか良くありますね。そういえば。
あかほさんはじめまして。そんな委員会があったとは。。。実際に査読担当数分布がどのようになっているかなどを調べて裏付けデータを取ると説得力が増すと思います。オープンな査読システムの試みがいくつかはあるようなのでそのような方向に進むとよいですね。