72 名前：以下、名無しにかわりましてモナーを取り返します[] 投稿日：2005/09/25(日) 01:20:45 ID:k6zveWjo0
過去スレはflat に随時読み出したいらしくて、どうも吐き出してしまうのは抵抗があるらしいです
●持ちさんに、宝探しされているのかもですね…
だから、.dat の保管形式が、倉庫関係のリファクタリングの議論にまでいってしまうらしい

だらだらレスでｽﾏ 兼ほしゅ

75 名前：以下、名無しにかわりましてモナーを取り返します[] 投稿日：2005/09/25(日) 01:31:24 ID:k6zveWjo0
たしかに。
ただそれだと、参照可能にするかどうかが別論になる
参照できなくていいなら(保全のみなら)、ぜーんぶbig tar にしてしまうこともそんなに難しくないはずで…orz

77 名前：以下、名無しにかわりましてモナーを取り返します[あいるびば] 投稿日：2005/09/25(日) 01:47:42 ID:k6zveWjo0
漏れコーディングとかアーキテクトで役に立てないってなったら、テンプレとwiki の保守手伝うわ

いかん眠気がorz ちょｗｗｗパトラッシュ、近寄ってくんなｗｗｗ…zzz

79 名前：以下、名無しにかわりましてモナーを取り返します[3SCFJghh0] 投稿日：2005/09/25(日) 02:16:20 ID:k6zveWjo0
…そういえば…
讃岐氏は、"技術的には可能"とおっしゃっていた…こうせいやおまいら、っていう実装案があるんじゃないだろうか…

…自分で考えろって言われれば、言ってもらえれば、いくらでも頭をひねる
でも、想定する実装案がwheel にあるなら、一応聞く機会に恵まれたいもんです

パトラッシュ…そんなにぬくいと…汗もぶｒ …zzzzzz

102 名前：以下、名無しにかわりましてモナーを取り返します[] 投稿日：2005/09/25(日) 08:50:41 ID:k6zveWjo0
あ、まだあった…
昨日からなんとなく思索してるが…
…少しでも乗る気があったら、やっぱ酉とか付けた方がいいんかな

106 名前：以下、名無しにかわりましてモナーを取り返します[] 投稿日：2005/09/25(日) 09:01:01 ID:k6zveWjo0
2ch っていう世界にそんなに棲みたいなら、態度で示せとかいう感じだろ
どうせ非力だが、束になって態度で示そうぜ
問題を分割して、みんなでできることを少しずつやるこった

只働き上等。それで、2ch に棲む。棲み続ける。笑わば笑え。

117 名前：以下、名無しにかわりましてモナーを取り返します[] 投稿日：2005/09/25(日) 09:44:38 ID:k6zveWjo0
めざす最終形は、どんな感じ? 現状の回復? それとも?

121 名前：以下、名無しにかわりましてモナーを取り返します[] 投稿日：2005/09/25(日) 10:02:26 ID:k6zveWjo0
よくわからんが、そういうことは、ある程度やってるとかとも書いてあんだよー
ただ移したらしまいなんやったら、↓こんなんでいけることになる
Perl からも、system() したらいいだけだし

char* translate_dat_path(const char* in,char* out){
なんたらかんたら。4096 文字以上になりそうなら、偽dat のパスへ。
return out;
}

#define XLATE_DATPATH_INLINE(x) translate_dat_path((x), __alloca(4096))

int main(int argc,char** argv){
if(!strcmp(argv[1],"/pathcvt")){
puts(XLATE_DATPATH_INLINE(argv[2]));
return 0;
}
うんちゃらどーたらもとからあったり
return 0;
}

123 名前：以下、名無しにかわりましてモナーを取り返します[] 投稿日：2005/09/25(日) 10:23:44 ID:k6zveWjo0
前スレに誰か貼ってくれてた参考レス、とりあえずWiki に放り込んでおいた

http://www6.atwiki.jp/fix2ch/pages/29.html

ほんで、おまけ。

while(<>){
print "***" if(/名前.+投稿日/);
print " " if(/^>/);
print;
}

ちと仕事逝ってくる

124 名前：以下、名無しにかわりましてモナーを取り返します[] 投稿日：2005/09/25(日) 10:25:24 ID:k6zveWjo0
　>>122 サンクス あとで見直してみる

126 名前：以下、名無しにかわりましてモナーを取り返します[] 投稿日：2005/09/25(日) 10:50:34 ID:k6zveWjo0
　>>125
漏れとか、情報を掻き集める能力ヘボいんよ
得意なら頼むわorz 役に立ちそうなもんひらってきてー

　>>122 で、ちょっと文脈がわかったかもしれん
超大きなカンチガイしてたかもしれん

131 名前：以下、名無しにかわりましてモナーを取り返します[] 投稿日：2005/09/25(日) 11:01:53 ID:k6zveWjo0
　>>128

やっぱ、そこを中心に課題を読むんやな…やっとわかりかけたかもしれん
課題文的に言い直すと、こんな感じか

ここに、1秒に1つスレが立つ2ch 互換板がある
15秒毎に板の圧縮を行い、すべて過去ログシステムに収納すること
ただし、インデックスとして、index.html, subject.txt を適宜生成すること
すでにインデックス項目は、13000件を超えている

それだから、1から作れるとか、互換板でも試作できるとかいう話になるわけか

きわめて初歩的な観点なんだが、index の参照って、多いんか?
それが少ないなら、on demand で生成するように考えたくなるが…

138 名前：以下、名無しにかわりましてモナーを取り返します[] 投稿日：2005/09/25(日) 11:16:19 ID:k6zveWjo0
index がどのくらいの頻度で利用されているか
index を、plain text 以外の方法でインタフェースできるか
それとも、やっぱりplain text で勝負することに絞るのか

どうなんやろ

140 名前：以下、名無しにかわりましてモナーを取り返します[] 投稿日：2005/09/25(日) 11:27:56 ID:k6zveWjo0
問題を、現状における、板圧縮毎のindex 生成の重さに絞ると仮定して。
index をファイルで置くのは、内部インタフェースとして固定と仮定して。

1秒に1スレ立つということは、たとえば、過去ログのリストをブラウザから見ている間に
次々にスレが立ってしまうっていうことになる だから、on disk index がrealtime に
sync していることは、実はあまり重要ではないんかもしれん

index compiler を置いて、30秒おきにindex を生成するとかじゃだめかｗ
index compiler に、index よこせっていうシグナルを送ってもいいし、
index compiler からパイプでindex を取ってきてもいいし

…そんな甘くないかなぁ…

144 名前：以下、名無しにかわりましてモナーを取り返します[] 投稿日：2005/09/25(日) 11:46:10 ID:k6zveWjo0
板圧縮プロセスが、待避した.dat のリスト(形式は中間状態)を吐く 排他制御は適宜
index compiler はプロセス常駐していて、30秒おきにsleep から目覚め、
中間ファイルを引き受け、index を生成する
ただし、何かの要請があって、sync の必要があったら、シグナルを受けて実施する
単にquery したいだけなら、index compiler に問い合わせることもできるようにする

なんて言えばいいかな…

147 名前：以下、名無しにかわりましてモナーを取り返します[] 投稿日：2005/09/25(日) 11:47:59 ID:k6zveWjo0
index compiler がexit せずに常にメモリに居れば、増分を受け取ってindex を生成するのは、
そんなにコストがかかんなくていいじゃないか、…という。…甘いかなぁ…

157 名前：以下、名無しにかわりましてモナーを取り返します[] 投稿日：2005/09/25(日) 12:06:46 ID:k6zveWjo0
誰も、「そんなこといってるんちがうよ」とか、ツッコんでくれないのが、甘くないなーorz

問題点の把握にいまひとつ自信がないまま
とりあえず、テスト環境(続々.dat が発生するのをシミュレートする)を書くために下調べ中

194 名前：以下、名無しにかわりましてモナーを取り返します[] 投稿日：2005/09/25(日) 16:45:19 ID:k6zveWjo0
うんそんな感じ 小さいできることはたくさんあるっぽい

で、漏れこれも勘違いしてたんだが、.dat の分割配置は、現状一定範囲で行われてる
なんかの都合で、flat に戻してるんかとｵﾓﾀが、そうではないらしい
で、1126x で、13000dat くらい
http://ex11.2ch.net/news4vip/kako/

いろいろ、具体案に近いものも出てきてる 漏れは >>144 >>147 思い付いて、
これは他の案と組み合わせできるハナシだし、デモコード書こうかなと思ってる

199 名前：以下、名無しにかわりましてモナーを取り返します[] 投稿日：2005/09/25(日) 17:47:46 ID:k6zveWjo0
鯖がおなかいっぱいってわけでは、ないそうです やっぱり、処理能力と効率か

運営さんは、もっと爆発的にスレが立っても もちこたえるスケーラビリティを達成してみやがってください、とまで
おっしゃったかどうか存じませんが、まあ、スレ数におけるスケーラビリティは考慮した方がいいようです

実装に近いこと言う香具師は、tar 化も視野に入れた関数の切り分けで そして漏れも

…と偉そうなことを言ってｽﾏｿ


205 名前：以下、名無しにかわりましてモナーを取り返します[] 投稿日：2005/09/25(日) 19:44:28 ID:k6zveWjo0
いまデモコード書いてる
糞コードやが、せめてもの誠意や

で保守

210 名前：以下、名無しにかわりましてモナーを取り返します[] 投稿日：2005/09/25(日) 21:07:42 ID:k6zveWjo0
おっと、subject.txt はソート済みリストなの忘れてたorz で、保守

212 名前：193[] 投稿日：2005/09/25(日) 21:43:00 ID:1CSH1zFR0
　>>211
それは問題と言うか、subject.txtの生成処理を減らす手法では

mysqlかpostgresかわからんけど、「SQLが駄目な理由」なり
「subject.txt生成処理を自前で作らなきゃならない理由」なりが無いなら
SQLでもいいのでは？

でも今ID:k6zveWjo0氏が一生懸命このあたりを作ってるのでそれを待ちましょう

213 名前：以下、名無しにかわりましてモナーを取り返します[] 投稿日：2005/09/25(日) 21:43:48 ID:k6zveWjo0
ここでいう、index とは、subject.txt やindex.html (特に前者)といった、
plain text のindex です こいつを参照している、後継のモジュールがあるらしくて

VIP のためだけにmysql を入れてくれるかどうかはあやしげなので、まずはナシでデモしてみるです
軌道に乗れば、DB をかましたほうが効率はよさそうですね

メモリのポカを防ぐべく、まずはあえてPerl で書いてみるですよ

214 名前：以下、名無しにかわりましてモナーを取り返します[] 投稿日：2005/09/25(日) 21:44:30 ID:k6zveWjo0
いたた被った

216 名前：以下、名無しにかわりましてモナーを取り返します[] 投稿日：2005/09/25(日) 22:31:47 ID:k6zveWjo0
入れてもらえるかもですが、必要性を提示しないといけないかもです…

とりあえず、今書いてみてるのは、板圧縮モジュールから、dat 落ちログを受け取ると仮定して、
定期的に読み出して、index (subject.txt) を書き込み、そのままindex をhash に保持するスクリプト

そいつで、どんくらいキツいかみてみるですよ…

220 名前：以下、名無しにかわりましてモナーを取り返します[] 投稿日：2005/09/26(月) 00:03:01 ID:xvAKKfXS0
どうもです いずれ、cygwin は要ると思うですーｗ
今は、ActivePerl だけでテストできてる

今、例の既存のsubject.txt をテストデータに使って、
15000件のスレが、0-300ms 毎にガンガン dat 落ちしたらっていう設定で
(想像するだけでｶﾞｸｶﾞｸ((；ﾟДﾟ))ﾌﾞﾙﾌﾞﾙ )、
subject.txt が脱落なく生成できるかやらせてる

…っていうか眠い…パトラッシュの影が…zzz

パトラッシュの影

224 名前：以下、名無しにかわりましてモナーを取り返します[] 投稿日：2005/09/26(月) 00:17:19 ID:xvAKKfXS0
今回は、動作実験の お祭りはまだまだ先ですorz
まずは、VIP 側から、わからないなりに考えて作りましたっていうものを提出して、やる気をみてもらう段階

今7000 スレ落ちてる… ←シミュレーション。不謹慎ｗ
…脱落なし。溜めて処理する、脱落のないようなアルゴリズムのはずなんですけどね。

あくまで、スレが落ちたことを、板圧縮モジュールが教えてくれることを、仮定しているわけですが。
さらに、過去スレの削除の通知も、受けないといけないかもですね…

あと、問題なのは…この小汚いソースを、どうそれらしく仕上げるかだったり…orz


226 名前：md5:ad2ada77a8746e3b07ae1c4504699765[] 投稿日：2005/09/26(月) 00:47:46 ID:xvAKKfXS0
眠い…とりあえずうｐ

228 名前：md5:ad2ada77a8746e3b07ae1c4504699765[] 投稿日：2005/09/26(月) 00:50:01 ID:xvAKKfXS0
…wiki にうｐした

232 名前：md5:ad2ada77a8746e3b07ae1c4504699765[] 投稿日：2005/09/26(月) 00:58:20 ID:xvAKKfXS0
ええと、今回こしらえたのは、
「板圧縮エンジンからの通知を受けて、indexer が常駐すれば、もう少し
indexing を軽くできるのではないかという問題提起をデモするスクリプト」
です だーれも、現状分析が合ってるとも ちごてるともツッコんでくれんかったから、orz
的外れかもしれんけど、とにかく書く気はあるんやで、という。

実際には、途中のディレクトリのsubject.txt も生成したり、
index(\d*).html も生成したりしてるんですけど、まあそこは気合で書き足せるはず

perl idxc.pl svr

で、indexer が立ち上がる悪寒 その後で、別窓で、

perl idxc.pl cli < 適当にでかそうなsubject.txt

で、indexer に倉庫送りを送信するﾃｽﾂ

覗いてもらえるとわかるが、indexer に送信する部分は関数にしてある

いろいろ、せないかんことは山ほどあるけど、とにかく書いた。書いたんだ。

今更やけど、明日以降、運営雑談/VIP 運営の過去ログ追っていくことにするですよ…
読んでからっていうのが本来先やけど、おだんごは熱いうちに食えいうしなｗｗｗ

…もーねる 眠眠打破はパトラッシュに阻止されてｓ…zzzzzz

うあああああああああああ最高！！ネロさまぁ！！