NovelAI 5ch Wiki

1．名無し - 23/04/21 15:35:59 - ID:DqSiI5hXpw

画像のダウンロードは済んでるんだけど、
・一括でアップロードする方法が無い
・アップロードするとファイル名が変わる
という問題の対処法が思いついてない。

3．名無し - 23/04/23 00:56:26 - ID:Kl4/lRnh8g

ずっとお世話になってるけれどあまり貢献できていないので協力したい
多少プログラムを書けるのでちょっとした処理の自動化とか手伝えると思います

wiki自体に連続アップロードするのが無理だとすると
・imgur以外のいい感じのサイトに一括アップロード
・imgurの旧URLから別のサイトの新URLの対応のリストを作る
・URLの置換プログラムを書く
みたいなところが楽そうだと思いますが，
・NSFW可で大量の画像を一気にアップロードできるimgur以外のサイトを見つけないといけない
・移行先がまた死んだりすることを考えるとwiki自体にアップするほうが望ましい
・wikiを直接プログラムから置換する方法が見つけられていないので，「補助ツールにペースト&置換後テキストをコピペ」は人力になりそう
の3つが課題になりそうです

5．名無し - 23/04/24 18:57:58 - ID:Kl4/lRnh8g

反応がないのでどこまでやっちゃっていいのかわからないのだがとりあえず自動化ツールができたので問題ない範囲でimgurから移行させてる
とりあえずwikiにimgurの画像を順次アップロードして，ページに"画像として表示されている部分だけ"置換している．
なので2chの転載文の中に含まれるurlは置換しないようになっている(はず)．

今しがた「部室一覧」のページを更新した．このページには結構たくさんimgurの画像があり，30枚ぐらいwikiに画像をアップロードしたので一旦作業を止める(画像うｐしすぎという警告も出たので)
とりあえず以下のページは作業を終えてる，もしくはimgurの画像がなかったページになる．
---------
用語集
未発見のプロンプト/箱化
未発見のプロンプト/腰ジャケット
未発見のプロンプト/テンプレート
未発見のプロンプト
魔女
編集中詠唱全文
編集者のために
複数登場の呪文の作り方
服飾
部室一覧

R18詠唱全文/男の娘・ショタ・ふたなり
スレの使い分け
なんJNVA部161-
ポーズ集
モデル比較
特徴・体型・髪型
カメラ効果 *1
パラメータ指定で変わるキャラの表情
ControlNet
剥ぎコラテク

*1 一部のimgur画像がすでに削除済みだったため編集で該当URLを除去

7．名無し - 23/04/26 08:09:17 - ID:Vi3jv1oLMw

"リアル系モデル比較・雑感"以外の作業が終了した．
"リアル系モデル比較・雑感"はimgurの画像が1000枚ぐらいあるけど，NSFWではなさそうなのでとりあえず据え置き
新しいimgurの利用規約の説明ページにある「アカウントに紐づいてない古い非アクティブな画像は消す(removing old, unused, and inactive content that is not tied to a user account)」が気になるので置き換えておきたい気持ちはあるが，ログインしても一度に10枚しかアップロードできないのできつい．

とりあえず作業結果として「浦島太郎のために」の「2023-04-20 imgurの投稿が会員制に、nsfwが禁止になる」のところに使っていたスクリプト( cooperate_script.py )と，新旧のリンク対応表( data/new_link.json )が含まれるzipファイルを上げておいた
sha256: c6e8e7d016842d3d5542a05ff9dff9034bf0698ea4794e5b11161ca257a9f75b
まだアップロードされていない画像を約10枚ごとにダウンロードして，アップロード先とフォルダを開いてくれるスクリプトになる(アップロードは手動)．
fetch_list_of_uploaded_image が新旧のURLを自動対応する部分になるので必要な人がいるかもわからん．

Pythonのプログラムを見て問題ない(ウイルスなどではない)とわかる人で，かつ手伝ってくれる人がいるなら"リアル系モデル比較・雑感"も置き換えるが，そうでなければこれ以上作業はしないです．

9．名無し - 23/04/29 02:33:54 - ID:SfbiVx4gsw

いいね
python読めるけどウイルスとかは難読化されてるだろうしそもそもCtypesとかC叩いたりしてメモリゴニョってるだろうから読めないな
それでいいなら手伝うよ

11． crust - 23/04/30 04:20:54

>>9
ああ，「(俺の書いた)Pythonのプログラムを見て問題ないとわかる人」という意味で言っていて，一般的な話ではないです．
とりあえずsha256で改ざんチェックをしてもらえればいいです

作業分担してもらえるならそのスクリプト cooperate_script.py を動かしてほしいです．
セクション25〜セクション125ぐらいまでが該当の記事の画像になる．
指示は日本語で出るようにしてあるのでその通りにやれば進むと思うけど一応作業手順↓

pip3 install beautifulsoup4 ipython pandas requests
python3 cooperate_script.py

1. プログラムがアップロードされてないセクションを探してくる(自動)
2. 作業が済んでないセクションが見つかったら教えてくれるので，Enterキーを押すとダウンロードされる(9〜10枚)
3. NSFWの修正などを行う(手作業)．フォルダは自動で開かれると思うけど作業ディレクトリのdata下にダウンロードされる
4. 10枚まとめてアップロードをする．アップロード先はコマンドラインに表示されているもので，Windowsならデフォルトのブラウザで表示されるようになってる．なお大量アップロードすると一時的にアップロードを制限されるアカウントを作ってログインすると制限がなくなる．
5. アップロード後にEnterキーを押すと次のセクションの作業に進む

複数人でやるなら123行目の「random.shuffle(index_list)」をコメントインしたほうがいいかも．
今日は寝るけどもし明日誰かが作業してたら明日俺も作業します．

>>10
アップロードはちょっとサーバー負荷とか利用規約とかちょっと気になったのでやめたんだよね
でもこうしてみるとそこも自動化するべきだったかもなぁ．助言サンクスな．