たまにはまとまってない情報を書いてもいいじゃないかということで、表題の通り暫定版です。
\nNodejsのclusterモジュールのドキュメントを読んでいて、
\n「ほぉ、並列化って簡単にできるんだなぁ」と感じつつ、関連記事をいろいろ調べてみると、
的な記述が色々あり、違和感を感じました。
\nGoなどのマルチスレッドができる言語でやる”並列化”と私が調べているものは別物なのでは？ と。
ということで、身近な頼れる方々へ聞いて調べて考えた結果の暫定的な理解を書き留めておきます。 理解に誤りがあったら指摘もらえると喜びます。
\nパフォーマンスチューニングやスレッドセーフであるための4条項とかそういう込み入った話ではなく、浅い話です。
\n\nたとえば、Goで並列処理をする場合、goroutineを使用すると思います。
\njsで複数の非同期処理を同時に行おうとした場合、Promise.allを使用すると思います。
\nHerokuの記事によると、Nodeでワーカーの並列度を最適化するには、throngなどのクラスタリングマネージャを使用して、マルチプロセス化したら良いと思う的なことが書かれています。
一体なにがどれにあたるんだ、違いがわからん と思っていたのですが、
\nJavaScript(Nodejs)はマルチコアな筐体で動作させたとしても、あくまで シングルスレッド な言語であるという点から整理すると、
と理解しました。 多重化と並列化は置いといて、マルチプロセスについてより詳細にまとめていきます。
\n\n\n\n @L_e_k_o 何をやろうとしてるかわからんけど、node なら 1 core 1 proc で Load Average がコア数に近似する性能を目指せばいいと思う。使ったことないけど rxjs-cluster っての見つけた。https://t.co/QjSFZfg1K9\n
— けん⚡ (@ken_zookie) \n 2016年7月15日\n
\n\n\n @L_e_k_o top コマンドで見える LoadAverage の値がCPUの数と同じであればちょうどCPUの性能を使いきれている、という見方ができる。過負荷試験とかで、どのプロセス数のパターンが最も優れているかの指標になる。\n
— けん⚡ (@ken_zookie) \n 2016年7月15日\n
頼れるパイセンがアドバイスをくれた。
\nなんとなーくCPUのコア数と同じって理解だったのが、
\nLoadAverageという値がCPUのコア数と同じになるように調整すれば良いと判明。
なのでプロセスの数自体はCPUのコア数と必ずしも一致しない模様。
\n\n\nload averageとは ロードアベレージはシステム全体の負荷状況を表す指標。
\n
\n「1CPUにおける単位時間あたりの実行待ちとディスクI/O待ちのプロセスの数」で表される。
\nシステムのスループットを上げたい場合はロードアベレージを下げることを目標にする。 load averageを見てシステムの負荷を確認する – Qiita
この引用部分だけでは 低ければ低いほど良い ように見えますが、
\nCPUコア数よりLoadAverageが高い場合は処理待ちが発生しており、逆に低すぎるとCPUパワーを余らせていることになる
なのでCPUのコア数より高い場合は下がるように改善を。
\n低すぎる場合は、余ってるマシンパワーを活かすようにプロセス増やしたりCPU負荷が高いけど高速な処理に変えたりと性能改善が可能
最後。Nodejsにはclusterやchild_processなどのモジュールが組込みモジュールとして提供されている。
\nこれはもう「アプリケーションをマルチプロセス化して下さい」と言っているようなものなのではないか…？
\nHerokuもthrongという簡易クラスタリング用のライブラリを使った例を出していたりする。
phpにもpcntlというプロセス制御の拡張機能がある。 シングルスレッドの言語でもプロセスを並べれば、スレッドをロックするようなsleep関数等もプロセスマネージャが多重化してくれるので、他の処理を行える。 ただし、PHPにはPHP-FPMなどのプロセスマネージャもある。
\n実装は、たかだか15行程度のコードで可能。でも実装が必要で、メンテも必要。 これってプログラム言語のレイヤが担うべき責務なのか？ ？ 言語でやらずにプロセスマネージャを別途利用したほうが良いのか?? というのが最後の疑問。
\nちなみにNodejsのサンプルコードはこちら:
\nconst cluster = require('cluster');\nconst http = require('http');\nconst numCPUs = require('os').cpus().length;\n\nif (cluster.isMaster) {\n // Fork workers.\n for (var i = 0; i < numCPUs; i++) {\n cluster.fork();\n }\n\n cluster.on('exit', (worker, code, signal) => {\n console.log(`worker ${worker.process.pid} died`);\n });\n} else {\n // Workers can share any TCP connection\n // In this case it is an HTTP server\n http.createServer((req, res) => {\n res.writeHead(200);\n res.end('hello world\\n');\n }).listen(8000);\n}会社のパイセンに聞いてみたところ、
\n「並列処理とマルチプロセスは違う、マルチプロセスをやりたいなら言語レベルではなく、より上位でプロセスマネージャを利用したほうが良い。
\nなぜなら、本気でクラスタリングしたいなら、Nodeのサンプルコードのような簡素な実装ではままならず、とても複雑な考慮や制御が必要になるのでコストとリスクが高すぎるから」
と回答を得た。
\n「え、これ実装しなきゃ早くならないの？ ？ 実装汚れるなぁ…」と不安に思っていたので、独自実装はすべきでないという同じ方向性で良かった。
現時点で理解したことは以上です。
","timeToRead":8,"frontmatter":{"title":"シングルスレッドな言語の並列化・マルチプロセス化についての暫定的な理解をまとめる","tags":["Nodejs","Performance","PHP"],"date":"July 23, 2016","featuredImage":null}}},"pageContext":{"slug":"/learn-multi-thread-and-multiplexing/","previous":{"fields":{"slug":"/how-to-customize-cache-settings-of-google-cloud-storage/"},"frontmatter":{"title":"Google Cloud Storageのキャッシュの設定を変更してみる","tags":null}},"next":{"fields":{"slug":"/event-report-of-builderscon-bbq/"},"frontmatter":{"title":"buildersconのBBQで肉を食ってきた","tags":["Builderscon"]}}}}, "staticQueryHashes": ["2585454260","2954598359"]}