今となってはほとんど必要性のないものですが。 かつて、TTYのニフティ全盛の時代、フォーラムの会議室発言のログをツリー形式で表示してくれるというソフトが各種ありました。これらのソフトで表示するときに具合がいいように、ダミーのフォーラム会議室ログを作ってくれるというようなマクロがあったように記憶しています。 もしよろしければ、ご案内いただけますでしょうか。 簡易なアイディアプロセッサ代わりに使えるかな、と考えております。 もっと本格的にぐちゃぐちゃやるのであれば、パワーポイントのほうがはるかにましだとは思いますが。なにせ、レベルの上げ下げだの順番の入れ替えだのがはるかに容易にできますから。
ちょっと記憶にないのですが… 小物マクロの住所録 1996.12 nifty:FGALDC/mes/13/ 01208 JUN modotte.def ヘッダの会議室形式→アウトライン形式変換 nifty:FGALDC/mes/15/ 03733 Jono modotte.def 会議室→マニュアル …内容から考えるとこういったところでしょうか。でも,逆なのかな? で,元のログを読んでみると,どうやらJono氏がマニュアル形式から会議室形式にするマクロを使用したのちに,再度マニュアル形式に戻したいということで質問し,JUN氏がそれに応えてこれを作ったという経緯ですね。でも,マニュアル形式から会議室形式にするマクロの所在は書いてないようですね。 Jono氏自作とは思えないのですが,ライブラリ?…と思い探してみましたが,収穫はありませんでした。
> …内容から考えるとこういったところでしょうか。でも,逆なのかな? 逆です。 ログブラウザという、ツリー形式で表示できる便利なソフトがあるので、それで具合よく表示できる形式のデータを作りたい、というのが希望です。おそらく、じょのさんも同じようなことを考えられていたのだと思います。 各種ログブラウザのマニュアルをはじめとして、ごく少数の全く関係ないジャンルのソフトの説明書や、あるいはいくつかの講座的なファイルでこの形式のものがあるのですが、そういうものを書かれた方って、手作業でやられていたのかなぁ。まさか、一括変換をかましてくれるようなツールがあったりして。聞いたこともないけど。でも、こういうのって、ツールでやるよりも、テキスト入力中にエディタのマクロでやるほうが便利なような気もするけど、このあたりもライティングスタイルによるのかも。 例によって、自分で実装するなら、ということで妄想してみました。 通常起動の場合、起動キーを押すと、その行に発言ヘッダを出力。出力前に、テキストを上方向に発言ヘッダを検索し、見つからなければ発言番号は00001で新規発言、見つかれば見つかった番号に対するコメント発言とする。シフト起動の場合は&g窓でコメント元の番号を入力する。 う〜ん、こんなところかな。
パターンさえ決まっていれば,別にヘッダをわざわざ付けなくてもと思ったりもしますが,元のテキストって特定のパターンがないのでしょうか。 あるいはアウトラインマクロでなんとかなりませんか? Jono氏も元テキストを書き換えてファイル名を上書きしてしまったために,逆パターンのマクロが必要になってしまったわけで,元ファイルを書き換えることなくツリー表示などしてくれる,というのが一番のような気がしますけれどね。
> あるいはアウトラインマクロでなんとかなりませんか? 何とかなるとは思います。 ただ、表示は、ツリー表示用に特化されたアプリケーションであるログブラウザのほうが美しいと思います。そして、表示の美しさとデータ構造をいじる手間を考えたとき、> パターンさえ決まっていれば,別にヘッダをわざわざ付けなくてもと思ったりもしますが,元のテキストって特定のパターンがないのでしょうか。 別のデータ構造よりもニフティの会議室形式のほうがバランスがよいと思ったわけです。
ログを漁ってみると,ATA氏の「craftman.def」というものらしいですね。 このマクロは FGALPK/FGALDC ではなく,FGALTM のライブラリに掲載されていたもののようです。FGALTM のライブラリまでは保存していないので,うちの軟体にもありません。 としきさんの持っている昔のフロッピーディスクあたりに有りませんか? FGALTM なら巡回されていたでしょう? craftman の話が出たとき(98年3月)にATA氏が突然現れて,あんまり懐かしくてコメントなんかしてたのですが,彼自身もどこにアップロードしたか忘れたと仰っていたので,それこそ所在不明なのですが…。
>ログを漁ってみると,ATA氏の「craftman.def」というものらしいですね。
名前がわかれば検索可能です。
>このマクロは FGALPK/FGALDC ではなく,FGALTM のライブラリに掲載されていたもののようです。
FGALのライブラリリストによると、
TM 7 1027 950807 18836 CRAFTM20.LZH ログ整理&Man変換Vzマクロ v2.00
TS13 7 950807 18836 CRAFTM20.LZH ログ整理&Man変換Vzマクロ v2.00
これのことのようですね。
> FGALTM のライブラリまでは保存していないので,うちの軟体にもありません。
TMはともかく、AP/EL/TSあたりのものは、今となってはあったほうがよかった
ような気もしますが、もはや手遅れですよね。
> としきさんの持っている昔のフロッピーディスクあたりに有りませんか?
> FGALTM なら巡回されていたでしょう?
残念ながら、今のところ見つかっておりません。
そのうち、ひょんなところから発見される可能性はありますが。
ところで、この探索ではFGALのライブラリリストをいろいろな角度から嘗め回しました。
その結果、その他のフォーラムも含め、いろいろなマクロを発見することができました。
こういうデータって必要ですか?
> その結果、その他のフォーラムも含め、いろいろなマクロを発見することができました。 > こういうデータって必要ですか? ください,ください。ぜひください。 FGAL系はもちろんですが,他も。 例えば FBOOK とか何かありそうですよね。
craftman ありがとうございました。 まだ使ってはいませんが、ドキュメントを斜め読みした範囲では、なかなかよさそうです。 お礼というわけでもありませんが> ください,ください。ぜひください。 妖しげなデータを海豹牧場に放牧しました。 ちょっと妖しすぎるデータも含まれているように思いますので、確認したら、管理者権限で削除しておいていただけると幸いです。> FGAL系はもちろんですが,他も。 今回はFGAL系しか検索していません。 あとで、他も検索して見ましょう。> 例えば FBOOK とか何かありそうですよね。 FBOOKは私はいっていなかったんですよ。 あと、ありそうなところとしては、FJAM系かな。 でも、あそこもMAC系がほとんどだったような。 私がある程度のデータを持っているのは、FNEC系とFLABOくらい。 そちらは来週あたり気合を入れて検索してみますが、結果はあまり期待できそうにないです。
> 確認したら、管理者権限で削除しておいていただけると幸いです。 最近,スパムがないので削除のしかたを忘れてしまいました。(笑) (ほんと,マジで忘れてる…) FJAM系,FNEC系はなんかありそうな雰囲気ですね。 FLABOって,ばりばりプログラマの巣窟じゃありませんでしたっけ。 いただいたデータで軟体をさらに補完できます。ありがとうございます。
> いただいたデータで軟体をさらに補完できます。ありがとうございます。 サイトのほうに「わずかな情報の断片でも結構です」と書いてありますが、本当、断片の寄せ集めのようなデータですよね。 ただ、今回、ぜんぜん関係のないようなジャンルでもVzマクロがあることを知って、私自身、いい収穫になりました。 ところで、各作者のIDからハンドルってお分かりになります? もし、わからない方がいらっしゃれば、可能な範囲でログ検索を行いますよ。
> ところで、各作者のIDからハンドルってお分かりになります? FGAL系はだいたいわかると思います。万一わからないひとがいた場合は,お言葉に甘えさせていただきますので,よろしくお願いします。
自己レス。
> サイトのほうに「わずかな情報の断片でも結構です」と書いてありますが、本当、断片の寄せ集めのようなデータですよね。 今回、お送りしたデータ、なにが弱いって、インデックスだけで、マクロの実体が全く含まれていないってこと。
> ただ、今回、ぜんぜん関係のないようなジャンルでもVzマクロがあることを知って、私自身、いい収穫になりました。 いろいろなソフトがジャンルごとに蓄積されているというと、なんと言っても、やっぱりベクター。ということで、ちょっと覗いてみたら、あのリストに掲載されているデータの実体を一つ、発見できました。
http://www.vector.co.jp/soft/dos/art/se008655.html もうひとつ、お送りしたリストに載っているのとは別のバージョンのようですが、こんなものも見つかりました。
http://www.vector.co.jp/soft/dos/net/se016477.html おや?
http://www.vector.co.jp/vpack/filearea/dos/writing/edit/vz/comm/ このフォルダ↑のマクロ、軟体に掲載されていないものが多いようですね。
ところで、めざらさん、昔のベクターのCD-ROM本の円盤て持ってます?
あれには、それぞれの本が作成された時点のニフティの各フォーラムのライブラリリストが含まれているとか。
私は実家に保管してあるので、どんなデータが含まれているのか今は確認できませんが、もしかしたら宝の山かもしれませんよ。確認してみてはどうでしょうか。
もし、全部の版をお持ちでないということでしたら、どれを持っていらっしゃるか教えていただければ、めざらさんが持っていなくて私が持っているものがある場合、それらを検索しますよ。フォーラムの改廃とか、掲載者によるライブラリからの削除とかあるし、微妙な版の変遷などもあるかもしれないので、一番新しいものだけを持っているから大丈夫、というようなことにはなりませんからね。
ありがとうございます。
> こんなものも見つかりました。 > http://www.vector.co.jp/soft/dos/net/se016477.html こういう特定ジャンルっていうのは見落としがありますね。他にも色々あると思うのですが,気づいたときにはもう遅かったりします。BBSサービス終了の前にFileFinderでもやってみればよかったのですが,コミュニティをどう存続させるかにばかり意識が向いてしまって,本来自分がやるべきものを見失っていたのでしょうかね。
で,/vz/comm/ のマクロは,みな超有名どころなので最新版があったかと思いますが,念の為確認してみます。気力(と時間)が減衰しているので,すぐにはとりかかれないかもしれませんが…。
> ところで、めざらさん、昔のベクターのCD-ROM本の円盤て持ってます? わたしは1枚も持っていないのです。宝の山もあまり巨大だと宝に見えないというか,手を出さないものがほとんどなら買ってまで…と思っていましたので。
ですから,リストだけでも提供してくださると有り難いです。
よろしくお願いします。
> BBSサービス終了の前にFileFinderでもやってみればよかったのですが, これは私も、今になって強く思いました。> わたしは1枚も持っていないのです。 あ、では、もしかしたら旧バージョンとかでめざらさんが持っていないマクロの実体もあるかもしれませんね。ということで> ですから,リストだけでも提供してくださると有り難いです。 まず提供するのはリストだけですが。 私が実体を持っているもののリストは確実に提供できますので、もしお持ちでないマクロがあった場合、ご連絡ください。のちほどお送りしましょう。 あとは、ライブラリリストが本当にあるのか、あるとしたらどの程度あるのか、状況次第で。ただ、ニフティがあるとすると、PC-VANや日経MIX、ASCII PCS/ACS等のリストもあったりするかも。
まず、ベクターのPACKについてのおさらい。 書籍として発刊されたものは以下のとおりです。 94年後期版 約 2000ファイル収録 95年前期版 約 5000ファイル収録 95年後期版 約 8000ファイル収録 96年前期版 約10000ファイル収録 96年後期版 約13000ファイル収録 97年前期版 約15000ファイル収録 97年後期版 約16000ファイル収録 98年前期版 約19000ファイル収録 98年後期版 約20000ファイル収録 99年前期版 約20000ファイル収録 長ったらしくなるので、以下、前期版をA、後期版をBとして、発刊年に付記する形で略記します。 さて、これら10冊のうち、私が保有しているのは以下の7冊です。 95A 96B 97A 97B 98A 98B 99A これらのCD-ROMには、収録されているファイルのリストが添付されています。 これを検索しました。> 私が実体を持っているもののリストは確実に提供できます 可能な範囲で重複を削除した結果、Vz関連ファイルは、ざっと240ファイルぐらいですね。 このリストは、のちほどメールでお送りします。 残念ながら、漏れ、抜け、落ちは当然あるでしょうが、その辺はご勘弁ください。 おそらく、このリストに掲載されているほとんどのものは、めざらさんはすでにお持ちだと思います。 でも、中には、ベクターのサイトでも公開を終了してしまっているソフト、そして、めざらさんもお持ちでないソフト、すなわち現在ではどこでも手に入らないソフトも含まれているかもしれません。 存分にチェックしてください。> あとは、ライブラリリストが本当にあるのか、 ありました! \(^_^)/> あるとしたらどの程度あるのか、 それも、莫大な量。 まだ全貌がつかめていないくらい。> ただ、ニフティがあるとすると、PC-VANや日経MIX、ASCII PCS/ACS等のリストもあったりするかも。 これらもありました。 まだ途中経過ですが、以下のような感じです。 95A ASCIInet :約 80files 約 3MB 日経MIX :約340files 約 2MB NIFTY :約330files 約18MB PC-VAN : 1files 約 9MB(複数SIGの統合リストの収録あり) People :検索するもVz関連ファイルなし マスターネット :システム的にファイルサイズ情報欠落のため検索せず ASAHIネット:システム的にファイルサイズ情報欠落のため検索せず 東京BBS :システム的にファイルサイズ情報欠落のため検索せず 96B 手付かず 97A ASCIInet : 日経MIX : NIFTY : PC-VAN : People : マスターネット :システム的にファイルサイズ情報欠落のため検索予定なし ASAHIネット:システム的にファイルサイズ情報欠落のため検索予定なし 97B NIFTYとBIGLOBEのライブラリリストがある模様 98A 手付かず 98B NIFTYのライブラリリストが収録されていることは確認済み もしかしたらBIGLOBEもあるかも 99A ライブラリリストの収録なしを確認済み さて、どう料理してくれようか。 それぞれのネットワークごとにデータ形式が違うので、抽出したら正規化して、それから名寄せをして、そこまでできてからデータを提供したいと思います。 う〜ん、テキスト処理のいい例題だなぁ。 一応、計画としては、以下のような項目を抽出する予定。 ファイル名 ファイルサイズ 登録者ID 登録日 登録ネットワークサービス名(NIFTY/VAN/MIX/ASCIIなど) 登録場所(FORUM/SIGなど) データ概要 これらを1行1レコード形式にしたいと考えています。 そして、ファイル名とファイルサイズをインデックスとして、同名同サイズの場合は登録日が一番早いものだけを抽出。同一日付の場合はすべてを残す。 同じ名前でもファイルサイズが異なる場合は別バージョンとして両方抽出。 AWKでなんとかできるかな。 Accessに読み込ませてSQLで処理したほうが早いかも。
本来わたしがやるべき作業をしていただいちゃったみたいで,たいへんお疲れ様でした。得手不得手を考えると,とっても楽させていただいちゃったみたいで,ありがとうございます。> Vz関連ファイルは、ざっと240ファイルぐらいですね。 このあたりは想像した数とほぼ同じくらいでしょうか。チェックするためのマクロを作るよりも,単純に検索した方が早いくらいの量ですね。> ありました! > \(^_^)/ > > それも、莫大な量。 > まだ全貌がつかめていないくらい。 凄い発見ですね。わたしは元々 Pack n000 を持っていないこともあって,こんなことは想像すらしませんでした。PC-VANのリストがあると,これまで謎だった龍之介氏や半魚氏の創作世界の一部が解明されるかもしれませんね。> 一応、計画としては、以下のような項目を抽出する予定。 ほぼ完全体に近いですね。18号を吸収する前のセルくらいな。 すごいわくわくしますね。
> > Vz関連ファイルは、ざっと240ファイルぐらいですね。 > このあたりは想像した数とほぼ同じくらいでしょうか。 お送りしたリスト、VzとかDEFとかマクロという文字列で検索をかけたので、送った後に見直してみたら、Vzライクなほにゃらら、見たいな、直接Vzとは関係のないものがいくつか含まれていましたね。あと、ちょっと重複もあるようなので、そういうのも除外すると、ざっと230ファイルくらいでしょうか。> 凄い発見ですね。わたしは元々 Pack n000 を持っていないこともあって, あれって、収録ファイルの作者には無料で送られてきたのですよ。 だから、私が自分で金を出して買ったのは1つか2つだけです。> PC-VANのリストがあると,これまで謎だった龍之介氏や半魚氏の創作世界の一部が解明されるかもしれませんね。 MIXの会議の分もありますからね。 場合によっては、すごい人のすごいマクロのデータなんかも発掘されるかもしれません。> ほぼ完全体に近いですね。18号を吸収する前のセルくらいな。 スカウターがないから、戦闘力はわかりません。 さて、今夜くらいから、ぼちぼちとデータの山を掘っていくことにしましょう。 おそらく、物量がとんでもないことになるので、データの正規化はVzマクロでは太刀打ちできなさそう。AWKのスクリプトで一気に処理することになると思います。それでも、結果報告は10月以降の予定。南米の鉱山で33人の男たちが採掘されるよりは早く結果を出したいと思っているのですが、はたしてどうなるか。
えぇっと、情報の訂正と追加。> 96年後期版 約13000ファイル収録 > 97年前期版 約15000ファイル収録 > 97年後期版 約16000ファイル収録 96年後期版 約13000ファイル収録 97年前期版 約13000ファイル収録 97年後期版 約16000ファイル収録 ま、こちらのほうは大勢に影響はないですね。 さて、それぞれに収録されているライブラリリストについて。 95A ASCIInet :約 90files 約 3MB 日経MIX :約340files 約 2MB NIFTY :約330files 約18MB PC-VAN : 1files 約 9MB(複数SIGの統合リストの収録あり) People :検索するもVz関連ファイルなし マスターネット :システム的にファイルサイズ情報欠落のため検索せず ASAHIネット:システム的にファイルサイズ情報欠落のため検索せず 東京BBS :システム的にファイルサイズ情報欠落のため検索せず 96B ライブラリリストの含まれていそうなCD-ROMの発掘に失敗 97A ライブラリリストの含まれていそうなCD-ROMの発掘に失敗 ただし、他の円盤に含まれている情報より、ライブラリリストが収録されている可能性は高いと判断される 97B ライブラリリストの収録なしを確認済み 98A NIFTY :約640files 約42MB PC-VAN :約150files 約 8MB 98B NIFTY :約660files 約46MB PC-VAN :約150files 約 8MB 99A ライブラリリストの収録なしを確認済み 96Bと97Aについては、円盤を廃棄した記憶はないので、腐海の最深部に埋まっている可能性は高いです。今日は墓参りに行く関係で探索に十分な時間が取れなかったので、来週、もう一度実家に行って、再度発掘に挑戦してきます。 えぇっと、例えば、某県の県立図書館なんかにPACKの古い号なんか保存はしていないでしょうかねぇ。特に、私の持っていないものなんかがあるとうれしいな。情報の確保だけできれば、あとの検索・名寄せは私のほうでさせていただきます。 もう一つ、めざらさんにやる気があればお願いしたいのですが NIFTYの過去ログで、だれそれがPACKを買ったとかもらったとか、そういう記述を確認していただけないでしょうか。で、場合によっては、そういう方に直メールで、まだ持っていませんか、という問い合わせをかけてみるとか。 面倒だから、そこまでやることもないか。
> さて、それぞれに収録されているライブラリリストについて。 こうして見ると,niftyも半端な量ではないけれど,PC-VANの量も結構な量ですね。このデータの海から発掘してくるのは,とんでもない作業になると思われますが…。 ところで旧版のPACKシリーズの所在ですが,あるところにはあるのでしょうね。作家にはすべて送られたというのですから,今更ながら当時のVecterのソフト収集にかける意欲が伝わってきます。ただそれらを逐一確認していくというのは大変なので,まずは近場からということで某図書館からPACK-10000(96A?)とPACK for Win Gold(98A?)を取り寄せてみます。 作家さんに個別にお尋ねするのは,ちと気が引けますねぇ。(^^; TS-netあたりで訊けば,持っていた人はたくさんいらっしゃるでしょうけど。
> このデータの海から発掘してくるのは,とんでもない作業になると思われますが…。 ま、でも、スクリプトかバッチかはわかりませんが、ひとたびそういうのが完成してしまえば、あとはそれを走らせればあらかた引っかかるわけで。網の目からこぼれてしまうものは仕方ありませんが。それよりも、お送りしたデータにも含まれていましたが、Vzを目標に開発されたエディタだのファイラーだの、Vzとは直接関係ないけどデータ名にVzの文字列を含んでいるようなもの、こういうのの除去が大変そう。> 某図書館からPACK-10000(96A?)とPACK for Win Gold(98A?)を取り寄せてみます。 これ、期待大。特にPACK10000。 もちろん、ほとんど(おそらく95%以上)は前後の版のリストに収録されているものとの重複になるでしょうが、ここにしかないというものが絶対に一つや二つはあると推測されるので、あらゆるVz関係情報を網羅しようとしている軟体にとっては貴重なものとなるでしょう。> 作家さんに個別にお尋ねするのは,ちと気が引けますねぇ。(^^; 確かに。 ベクターのCDに収録されているような当時のマクロ師さんたちが何人も、現在も野ざらしなどに出入りしていてくれていれば全く問題はないのですが、なかなかそういうわけにも行きませんからねぇ。 えぇっと、どうでもいいかもしれませんが、途中経過というか。 ざっくり見てみたところ、ASCIInetのデータは2行で1レコードになっている模様。うぅ、これではgrep系のツールが使えん。検索そのものからAWKを使わねば。
途中経過、その2。 検索語句としては、「vz」「def」「マクロ」を大文字小文字同一視、全角半角同一視、で引っ掛けています。「macro」という単語は使っていないのですが使ったほうがいいかなぁ。 結果。 95A ASC:1レコード2行のため未検索 MIX:約1050レコード NIF:約2300レコード VAN:約1240レコード 96B 未 97A 未 97B ライブラリリストの収録なしを確認済み 98A NIF:約7830レコード VAN:約1110レコード 98B NIF:約7780レコード VAN:約1150レコード こういう結果が出ました。 もちろん、これには、通信ソフトのマクロだの、場合によってはMS-Excelのマクロなんていうものも含まれていたりするわけです。なので、これらを名寄せして、しかるのちに関係ないものを除外して納品、という形になると思います。 現在の軟体がどのくらい収蔵しているかは知りませんが、直感的にはおそらく、5000レコードくらいのデータとなるのではないかなぁ。
> 96Bと97Aについては、円盤を廃棄した記憶はないので、腐海の最深部に埋まっている可能性は高いです。今日は墓参りに行く関係で探索に十分な時間が取れなかったので、来週、もう一度実家に行って、再度発掘に挑戦してきます。 発掘に成功しました。\(^_^)/
とりあえず、第一段階の検索結果は以下の通りです。
95A
ASCIInet :約 90files 約 3MB → 約 180レコード
日経MIX :約340files 約 2MB → 約 600レコード
NIFTY :約330files 約18MB → 約2300レコード
PC-VAN : 1files 約 9MB → 約1240レコード
People :システム的にファイルサイズ情報欠落のため検索せず
マスターネット :システム的にファイルサイズ情報欠落のため検索せず
ASAHIネット:システム的にファイルサイズ情報欠落のため検索せず
東京BBS :システム的にファイルサイズ情報欠落のため検索せず
96B
ASCIInet :約100files 約 4MB → 約 240レコード
日経MIX :約420files 約 2MB → 約 630レコード
NIFTY :約500files 約30MB → 約3700レコード
PC-VAN :約200files 約11MB → 約1600レコード
People :システム的にファイルサイズ情報欠落のため検索せず
マスターネット :システム的にファイルサイズ情報欠落のため検索せず
ASAHIネット:システム的にファイルサイズ情報欠落のため検索せず
東京BBS :システム的にファイルサイズ情報欠落のため検索せず
97A
日経MIX :約460files 約 2MB → 約 630レコード
NIFTY :約500files 約34MB → 約4800レコード
PC-VAN :約190files 約10MB → 約1550レコード
97B
ライブラリリストの収録なしを確認済み
98A
NIFTY :約640files 約42MB → 約7830レコード
PC-VAN :約150files 約 8MB → 約1110レコード
98B
NIFTY :約660files 約46MB → 約7780レコード
PC-VAN :約150files 約 8MB → 約1150レコード
99A
ライブラリリストの収録なしを確認済み
#3731 に書いた検索語句ですくいあげたものです。検索に使ったのはwgrep。
ASCIInetの分は、2行を1行にまとめるawkスクリプトをかけてから、他と同じように検索しました。
前回に比べて、95Aの日経MIXの分が減っていますが、これは、前回のほうが誤りです。二重にリスティングされてしまっていた分がありました。
さて、次は、各ネットワークサービスに対応した正規化スクリプトを作ろう。
ここでは、awkとsortfを駆使する予定。
うは。何だか凄い勢いですね。 わたしは先日提供していただいた239点の実体保有リストのチェックだけで手一杯の状態であるのに,ここで数千件のリストがやってきたら嬉しさのあまりに卒倒しかねないです。 この239点はほぼVectorで現在入手可能なようなのですが,有名どころは同じなのでしょうけどVANなんかだと新種もやたらありそうで,楽しみですね。 ところで「マクロ」なんて入れたら,なんか山のようにマッチしてきますので,[VvVv][ZzZz]で引っ掛ければ十分なのではないかと思います。これでもIDなんかもけっこうマッチしてしまいますね。
>ここで数千件のリストがやってきたら嬉しさのあまりに卒倒しかねないです。 ライフワークということで、1年くらいかけてのんびりやればよろしいかと。 実際には、重複しているのがほとんどなんでしょうね。 直感的には、NIFTYだけでuniqをかけるとざっと8500件、PC-VANもそれだけでuniqをかけるとざっと2000件、と見積もっています。そして、4大ネットをあわせてuniqをかけると10000件弱。さらにそこからVzに関係のないものを取り去ると、果たして3000件残るかどうか。> ところで「マクロ」なんて入れたら,なんか山のようにマッチしてきます そうなんですけど、この語句も拾わないと、先にお送りしたリストの一番尻尾に掲載されている「ZF107.LZH」などがもれてしまうのですよ。
各ネットワークに応じた正規化スクリプトを作っています。 ASCII完成、PC-VAN完成、NIFTYほぼ完成、MIX手付かず。 それぞれのネットワークによって、元のリストの形式が異なりますからね。 特徴としては、ASCIIが一番素直かな。 ファイル名の部分は、MIXだけは小文字が標準、他は大文字のものがほとんどで一部に小文字のものが混在している、という感じ。これは、あとで名寄せができるように、全て大文字化してしまいます。 困るのがNIFTY。明示的なファイル名のフィールドがないので、フォーラムによってファイル名の扱いが異なる。すなわち、ファイル名部分に固定長を確保し、ベース名と拡張子の間に空白が入っているフォーラムもある一方、ファイル名部分が可変長でベース名と拡張子の間に空白を入れていないフォーラムもある。さらには、そもそもファイル名が付されていないフォーラムすらある。現在、その部分をどうしようか思案中。> 直感的には、NIFTYだけでuniqをかけるとざっと8500件、PC-VANもそれだけでuniqをかけるとざっと2000件、と見積もっています。 見積もりは大ハズレ。PC-VANは約2600件、NIFTYが約12000件。 ただ、外れた原因も判明しました。 PC-VANの場合、一部にイレギュラーなデータがあって、本来ならuniqで統合されるべきものが統合されなかった。どうイレギュラーかというと、ベクターがCD-ROMの元データを作るときに、何か1バイトずれてしまったようなのです。この結果、日付の一番下の桁が欠落したり、ファイル名の一番後ろの文字が欠落したり。ファイル名の場合は、ほとんどが.LZHのHの文字の欠落だし、他の拡張子であっても残り2文字から最後の文字の想像がつくので、最終的に人間が処理する場合にはそれほど問題がありません。単に、機械的に削除できる量が減るので、人間の処理量が多くなってしまう、というだけ。 NIFTYの場合は、もっと単純。フォーラムの名称が変わった場合のデータが複数計上されてしまっているというもの。例えば、FGALPKとFGALDCとか、FAISWXとSAISWX、なんていうのが代表的でしょうか。この場合も、機械的に削除できる量が減るので人間の処理量が多くなってしまいますが、手作業で何とかできるので、それほど問題はないでしょう。
やっと、宝の山の発掘に戻ってこれました。 あ、うちのサイトのURLが変更になりました。 当面は自動転送されるので問題はありませんが、お手すきのときにでも、他山の壁を直しておいてください。 さて。> 各ネットワークに応じた正規化スクリプトを作っています。 正規化スクリプトは全部完成。 各ネットワークの結果を単純にマージすると、1.2MB、16000レコード。 ここから、初出のデータだけを抽出するAWKスクリプトを作成中。 まだ完成していないけど、途中バージョンで処理した結果は900KB、12000レコードなので、ざっと4分の3に減ってくれている。完成すれば、もうちょっと少なくなるかな。 さて、ここからどうやって、不要なものを取り除くか。 単純には、grep -vで、明らかに関係ない単語が含まれているレコードを除く。 念のため、同じ単語でgrepの結果も取得し、Vz関係のものが含まれていないことも確認する。 ためしに、単純マージの1.2MBのファイルを対象に、いくつかの抽出を行った結果を記します。 ID欄にVZの文字が含まれているレコード : 約300KB 「WTERM」という文字列が含まれているレコード : 約 60KB 半角「マクロス」が含まれているレコード : 約 27KB 全角「マクロス」が含まれているレコード : 約 26KB 「秀丸」という文字列が含まれているレコード : 約 24KB 「KTX」という文字列が含まれているレコード : 約 17KB 「EXCEL」という文字列が含まれているレコード : 約 13KB 「MIFES」という文字列が含まれているレコード : 約 13KB 「一太郎」という文字列が含まれているレコード : 約 11KB これらには、例えば「WTERMのログをVzで加工」のような、除外してはいけないデータも含まれている可能性があるし、重複して計上されているものもあると思うので、単純にこれらの合計が除外できるわけではありません。 ということから、楽観的に考えても、約500KB、7500レコードを相手に手作業での処理が必要になると推測されます。
やしきのURIは修正しておきました。 さて,わたしも今Pack10000からのリストと現行の軟体の照合作業をしているわけですが,色々な意味で軟体も難題なんだい。 そもそも軟体はniftyの最終的なライブラリリストを元にしているので,こまめに旧版を削除する作家の場合は軟体どころかその痕跡も残っていなかったわけですが,今回のPC-VAN等の古いリストからは当時のエネルギーや混沌を含め,ありとあらゆるものが噴出しているという雰囲気があって,煮詰めて濾過するのが何だか不可能に思えるほどです。国産みのできる神の力がなければ… あ,としきさんが神の手を 軟体本体とは別に作者不明のリストを掲載することになるのかなぁ…
> やしきのURIは修正しておきました。 ありがとうございます。> 今回のPC-VAN等の古いリストからは当時のエネルギーや混沌を含め,ありとあらゆるものが噴出しているという雰囲気があって,煮詰めて濾過するのが何だか不可能に思えるほどです。 MIXはIDがハンドルなので、作者がすぐに特定できますよね。でも、ASCIIもそうですが、Vz1.0のころのデータなんかもあって、熱気というよりもほとんど毒気のような感じで、なんか中毒になりそう。 ところで、古典派自由主義者の私としては神の手は見えないものだと思っているのですが、合いの手、もとい、愛の手だったら提供できそうです。 で、どうしましょう。 私のところで作ったAWKの正規化スクリプトをお送りしましょうか。 あるいは、めざらさんのところで抽出したリストを送っていただければ、こちらの手元のリストとマージして、余分なものを削除して、最終的な結果のみ送付する、ということもできます。> 軟体本体とは別に作者不明のリストを掲載することになるのかなぁ… 作者情報募集とか、データ実体募集という感じのリストを掲載したページを作るのがよいような気がします。で、情報が集まったら、軟体本体に反映、とするのがよいかと。
> Vz1.0のころのデータなんかもあって、熱気というよりもほとんど毒気のような感じで、なんか中毒になりそう。 そうなんです,わたしも言葉を選びながらホントはそう言いたくて。やりながら,こりゃあキリがないなぁ…と。> 私のところで作ったAWKの正規化スクリプトをお送りしましょうか。 ありがとうございます。わたしの方はまだ抽出途中なので,…途中と言うか,最初から手作業でやっていますから,こんな調子では本当にいつになるやらわかりません。仕事もアレで,さらに最近別方面の資源の再評価を始めてしまったということもあります。 ですのでスクリプトをお送りくだされば,まことに助かります。 > 作者情報募集とか、データ実体募集という感じのリストを掲載したページ あ,それよいですね。情報が集まるかどうかは別として,そもそも今の軟体に混ぜると配列ができないという技術的な問題もあります。v1.6未満用のものも分けたいのですが,これを本気でやりはじめると1点ずつのチェックが始まってしまうので,現実的ではなさそうです。
今日も残業。いやぁ、参った。 今はちょっと休憩中。> ですのでスクリプトをお送りくだされば,まことに助かります。 のちほどお送りします。 現状ではインデントも何もないので、最低限のインデントとコメントをつけたいのですが、そうすると今日中に送れるかどうか。 ロジックのほうは、下手に触るとどうなるかわからないので、もう触らないつもりですが。 私のほうも、結局、残り1MBの処理は手作業で行うことにしました。 一度に大量の情報を表示させて、一気にバサッと削除させたいのですが、そうなると問題になるのが画面の一覧性。こういうときには、DOS窓を使うよりもExcelのほうが便利。ということで、Excelに読み込ませてソートだのフィルタだのを駆使して削除しまくっています。頭から順番にやっているわけではないので具体的な進捗率はわかりませんが、当初、約13000レコードあったのが、1日かそこらで、残り9000レコードを切っています。 もう少しの間は一気にバサバサ切れるけど、ちまちまいくようになるとこんなペースは維持できないわけで、さてどのくらいかかるやら。
> のちほどお送りします。 先ほどお送りしました。> 現状ではインデントも何もないので、最低限のインデントとコメントをつけたいのですが、そうすると今日中に送れるかどうか。 何とか今月中には送れました。> もう少しの間は一気にバサバサ切れるけど、ちまちまいくようになるとこんなペースは維持できないわけで、さてどのくらいかかるやら。 現在、約5000レコードを切ったくらい。 おそらく、4000レコードくらいまでは順調に行くだろうけど、そのあとがちまちま仕事になって、最終的には2500〜3000レコードくらいが残ることになるのではないかと考えています。
何とか、大体終わりました。 現在、レコード数で約2600。 ファイル名でuniqをかけると約1700。 掲載者IDでuniqをかけると約500。 一通り全部なめて、一番困ったのがPC-VANのデータ。 他のネットと比べて、同じファイル名なのに、なぜかデータのサイズが異なる、というのが頻発。あと、そういう慣習になっていたのだと思うののですが、LZHのファイルとは別に、同じベース名でDOCという拡張子のファイルも多数登録されていて、これが2600レコードのうち約350レコード。これは一体なんだろう。ニフティのように、ファイルのダウン前に概要がわかるようになっていなくて、別途、概要をアップロードしていたのでしょうか。誰か、この辺、VANの流儀についてわかる方がいれば教えてください。 ZCOPYやEZKEYについては、Vz以外でも使えるという意味から、関連するレコードは削除してしまいました。復活させるのは容易ですから、必要でしたらご連絡ください。一方、VWXについては、Vz以外では使い道がないということで残してあります。あと、結構な物量があるのが、Vz本体の差分データ。ざっと300レコード。これらも、不要であればご連絡ください。 困ったのが、同一フォーラムで、フォーラム名が変更になったような場合。 ライブラリがそのまま引き継がれたような場合、登録日が同一ですから、初出チェックで両方とも初出として残っています。知っているフォーラムに関してはスクリプトで一括削除しました。ただ、フォーラム名を逆順ソートしてスクリプトに書けた関係で、FGALPKとFGALDCはPKのほうが残っていますが、フォーラムからステーションに変わったようなところ(SVCとかSAISWXなど)についてはステーションの側が残ってしまいました。その他にも、私が知らないので削除できていない部分は多数ありそうです。 その他に、削除できていなさそうな部分としては、例えば、FGALPKにアップされた、一太郎や知子のマクロ。掲載者IDでフィルタをかけて、明らかにVz用とわかるマクロを一つでもアップしている人に関してはノーチェック。明らかにVzとわかるものを一つもアップしていない人についてだけ、それぞれのデータがPKの何番ライブラリにアップされたのかチェックした、という形。とてもじゃありませんが、全部のデータのチェックなんてやる気になれません。 ということで、めざらさんのほうで抽出したデータを送っていただければ、私のほうとマージして、最終結果を送り返すという形にしたいのですが、いかがでしょうか。これは、私とめざらさんを比べた場合に、相対的に私のほうがヒマそうだ、ということもありますが、仮にめざらさんのところでの抽出結果が数千レコードあったとしても、純粋にユニークなものは100レコード未満ではないか、という楽観的な見積もりに基づくものでもあったりします。 えと、データサイズ(バイト数)にもよりますが、正規化前の、純粋な抽出結果を送っていただいても一向に構いませんよ。 あと、もうひとつ、めざらさんのほうで作ってあれば提供していただきたいデータがあって。軟体のほうでは、一覧表に作者のお名前が入っていますが、もし、IDと名前の対応表みたいなものがあれば、ご提供いただけないでしょうか。それがあれば、名前の不明なIDがあれば、私の手持ちのログを検索することも可能ですので。 ということで、状況の報告と依頼事項でした。 なにとぞよろしくお願いいたします。
自己レス。> その他に、削除できていなさそうな部分としては、例えば、FGALPKにアップされた、一太郎や知子のマクロ。 (中略)> とてもじゃありませんが、全部のデータのチェックなんてやる気になれません。 やりました。 元のライブラリ番号とつき合わせて、関係ないところにアップされていたものは全て消しました。といっても、10レコードに満たない量でした。
> やりました。 す,すごい根性。 うちの方なんかは,完全目視手作業で開始したという成り行きもあったものの,ようやくPack10000収録のPC-VANのリストから,ようやく本日抽出だけは終了し整形に手間取っているという状況です。> 10レコードに満たない量でした。 こう考えると,割と大胆に幅広く抽出しておいて,後は確認という手順でも,とんでもなく酷い目に遭うということでもなさそうですね。 それにしても,今回ばかりは眼が死にそうです。やっているうちに朦朧としてきて,さながらエレメントXを掘らされるメカニコングの風情でした。(なんのこっちゃ) でも,旧ヴァージョンばかりやたら追加というのも,少なからず空しい作業という気がしますね。本当のお宝はそうそう埋まっていないというところでしょうか。 エレメントX…。危険だ。
> うちの方なんかは,完全目視手作業で開始したという成り行きもあったものの, 目視で行うなら、やっぱりGUIなツールを使うのが便利ですね。 私のほうも、今回、一括自動処理の部分ではawk、wgrep、sortfなんかを駆使しましたが、目で追いかける場面では、Excelに読み込んでフィルターだのピボットだのを使いました。また、複数の表を結合する部分でも、awkでやってできないことはなかったのですが、スクリプトが複雑になりそうだったので、Accessでちょいと加工したりなど、いろんなものを総動員しました。Vzのためにここまでやるか、みたいな感じはありますが。 ま、餅は餅屋、ということで。> でも,旧ヴァージョンばかりやたら追加というのも,少なからず空しい作業という気がしますね。本当のお宝はそうそう埋まっていないというところでしょうか。 大海の一滴、という表現もありますが、私の見積もりでは、大体1%から、最大で3%くらいは未知のアイテムが埋まっているのではないか、という気がしています。すなわち、銀行預金の年利回りに比べればはるかにお得、という感じ。> エレメントX…。危険だ。 採掘に成功すれば、究極の軟体が完成するのでしょう。 催眠術(だっけ?薬品だったかも)を使ってとしきを操るのが吉かも。
> Vzのためにここまでやるか、みたいな感じはありますが。 > ま、餅は餅屋、ということで。 場面に応じていろいろ使い分けができるというのは,凄い強みだと思いますね。これこれこういう場合は,どんなツールを使えば実現できるのかという知識は何にも代えがたいスキルだと思います。> すなわち、銀行預金の年利回りに比べればはるかにお得、という感じ。 すごい説得力。 こういうことを言ってくださるから継続のチカラが湧いてくるわけですよね。送ってくださったスクリプトは使いこなせないかもしれませんが,なにしろしつこいことにかけてはあまり負けたことがないので,さらに地道に続けることにします。
> 場面に応じていろいろ使い分けができるというのは,凄い強みだと思います えへへ〜、ほめられちった。 おだてられればすぐに調子に乗ってしまう私としては、さらにほめられるべく、軟体のデータをAccessに取り込んでPackのデータと結合させてみることにしました。その前処理として、軟体のデータを一旦Excelに読ませてみたのですが、そこでちょっと妙な部分をいくつか発見。 その1。 三浦茂氏作の「HTMLTAG」(1996/09/19)の日付欄。余分な括弧がついてしまっています。 その2。 これは、故意か過失か判別がつかないのですが。 あじゃさんの作品、作者名が「- あじゃ -」となっているものと「- aja -」となっているものが混在しています。 これはこれでいいのでしょうか。 その3。 一見、同一のものとしか思えないものが重複して掲載されているように見えるものがあります。気がついた範囲では: とらじ さんの CLP_V05B.LZH CLPPST05.LZH HIS&HYS.LZH VZ_WIN1.LZH VZ_WIN2.LZH VZ_WIN3B.LZH ねこ さんの MCHNCUST.LZH 松原修 さんの NEGA_DEF.LZH NENGA97.LZH shohji さんの VZFLE004.LZH 三浦茂 さんの VZ_BRO01.LZH よう さんの MINES150.LZH これらの中には、リンク切れになっているものもあったりしました。 また、見米快行さんの RULER42.LZH の場合、備考欄に「ish 再掲」と記載されているものもあるのですが、こういう再掲物も全部収集するのですか? そういうポリシーであれば止めはしませんが、なんか収拾がつかなくなるような気もします。というか、掲載されていない再掲物が著しく多いと思うのですが、掲載するのとしないのの基準はどうなっているのでしょうか。 というところで今日はおしまい。 続きはまた後日。
いろいろとご指摘ありがとうございます。> 三浦茂氏作の「HTMLTAG」(1996/09/19)の日付欄。余分な括弧がついてしまっています。 確かに。これは削除します。おそらく他の項目に引きずられたかと。> あじゃさんの作品、作者名が「- あじゃ -」となっているものと「- aja -」となっているものが混在しています。 あじゃさんはある時期からハンドルが変わったので混在しています。どちらに統一すべきか判断できないものですから。本名ならぶれないですけどね。> 一見、同一のものとしか思えないものが重複して掲載されているように見えるものがあります。 多くは,2箇所に同じアーカイブ名のものが掲載されている場合ですね。 例えば,ライブラリとご自分のサイトとか,ベクターとか。大抵はアーカイブの中身(ドキュメントなど)が少し異なっている場合もあるので残してあったりします。ねこさんのmchncust.defのようにishとライブラリでまったく同じものが上げられたケースもあります。これは単純にまとめればよかったですね。ライブラリとishを別個に作業し,アーカイブの置き場所も異なるため気づきませんでした。> また、見米快行さんの RULER42.LZH の場合、備考欄に「ish 再掲」と記載されているものもあるのですが、こういう再掲物も全部収集するのですか? これはishが一度削除されていたのを,わたしが頼み込んで再度ishで上げてもらったのです。調べてみないと判りませんが,最初に上げられたものは取得できていないと思います。特別ポリシーとかではなく,あるとすれば思い入れでしょう。 元々は,新版があれば旧版を掲載する必要はないかなと思ったのですが,某氏(誰)にそそのかされる(ぉ)かたちで旧版やらishやら,とにかく網羅的に上げまくったのではなかったかなぁ。でも,選別するより網羅した方が楽なケース(軟体は違いますが)もあり,色々と手を拡げているうちに収拾がつかなくなっているという雰囲気はあると思います。まぁ,分類もないものがこれだけ増えてくると,ある意味,宝探しみたいなものになりますから,それはそれで面白いのかもしれません。(いや単に手を抜いているだけという噂…がふっ)
やっぱり、あじゃさんの作者名は、意図的なものだったのですね。 なんとなく、そんなような気はしていたのですよ。> 元々は,新版があれば旧版を掲載する必要はないかなと思ったのですが,某氏(誰)にそそのかされる(ぉ)かたちで旧版やらishやら,とにかく網羅的に上げまくったのではなかったかなぁ。 えぇっと。 旧版があったほうがいいという考え方の持ち主であるところの私としては、それぞれユニークでさえあれば、情報量が多ければ多いほどいいと思います。ただ、紙の書籍の場合には初版本に意味がありますが、デジタルデータの場合、初版と重版の区別はつかないわけです。なので、重複掲載については、扱いは軟体作成者(めざらさん)の思ったようにすればいいと思いますが、利用者の側からすれば、なぜ重複しているのかがわかったほうがいいと思います。備考欄に出典を明記するとか、重複している相互間にリンクを張ってジャンプできるようにするとか。 あと、重複掲載の部分以外にも、もしかしたらリンク切れのところがあるかもしれません。そちらについては、おいおい、チェックしたほうがいいと思います。
> 本名ならぶれないですけどね。 えと、たけなかさんとtarot_pさんなんですが、本名を使っているところとハンドルを使っているところの両方がありませんか? あ、いや、私が本名だと思っているのがぜんぜん別人というか、作者とアップロード者が異なっている場合もあるだろうし、とりあえず確認をお願いします。
> 軟体のデータをAccessに取り込んでPackのデータと結合させてみることにしました。 軟体とPackのデータを結合させました。 Packのデータは約2600レコード、軟体のデータは約2300レコード。 これを、ファイル名とファイルサイズの両方が一致するという条件でjoinしてみました。ファイル名だけでは、例えばcalc.lzhなんか、同じ名前のものが大量にあって、とても結合キーにできません。 このjoinの結果、両者でファイル名とファイルサイズの両方が一致したものがおよそ470レコード。 そのうちの約450レコードは、両者で日付が一致したか、またはPackのデータのほうが新しいということで削除しました。もしかしたら微妙なバージョン違いがあるかもしれませんが、もはやデータ実体が入手不能で確認するすべもないので、まぁいいでしょう。 ということで、残り2200レコード弱。 このうち、Packと軟体で結合できた約20レコードは、Packの日付のほうが古いということで、初出日がさかのぼることになります。 例えば、ISRCH103.LZHは、軟体では公開日が1996/06/10となっていますが、PackのデータではFGALPKに1996/01/05に登録されたことになっています。 あ、でも、妙だな。とらじさんのPOSTIT13.LZH、軟体に記載の公開日は1997/06/02で、PC-VANのSLABOへの登録日が1997/04/28で初出日がさかのぼるのだけれど、でも、SLABOでの登録文には「転載」と書いてある。初出は一体いつのどこなんだろう。 その「転載」という記載のあるもの、これも削除してもいいのかもしれませんが、一応残してあります。 物量としては、約230レコード。 また、同じく削除してもよさそうなものである、PC-VANの*.DOCというファイル名のものが約340レコード。 ちなみに、両方の共通集合が85レコードあるので、合計で約500レコード弱が、なんとなく削除可能そうなもの、という感じでしょうか。 最後に、統計情報をいくつか。 2200レコードをファイル名でuniqかけたら1400弱。 同じく、掲載者名でuniqかけたら約430。 差分関係が約340レコード。 FGALDC/PKにアップロードされたもので軟体には反映されていない、ほとんどは旧版情報であろうものが約150レコード。 ということで、一段落ついたかな。 もうちょっと寝かせて、というか、いじって、今月下旬にはめざらさんに送付可能だと思います。 で、どうしましょう。 めざらさんのほうで取得したデータを送ってもらって、こちらで結合してからお送りするでもいいですし、めざらさんのほうで結合するなり似たようなデータを2回なめるのでもいいでしょうし、その辺はお任せします。
登録日というのは,なかなか厄介なデータですね。そもそもWebサイトに公開されたものは,中身のファイルの日付で代えているものすらあったように思います。 当初は手持ちのデータだけでも急いで保存しておかないと…と思ったのと,FGALDCライブラリのデータだけだったので非常に楽な作業だったのですが,ishを追加し,Web上のを追加し,その他アレコレ集めはじめて,どんどん公開日の定義が難しくなりました。 さて,わたしの方はPack10000の中のPC-VANのライブラリから抽出した250レコードだけで眼が酸欠になり,今は休憩中です。最初からPack10000のデータをとしきさんにお渡しした方がよかったかしら…。
> そもそもWebサイトに公開されたものは,中身のファイルの日付で代えているものすらあったように思います。 これは、仕方ないというか、妥当なところだと思います。> その他アレコレ集めはじめて,どんどん公開日の定義が難しくなりました。 やはり、初出日というか、初公開日とするところでしょう。 Packのライブラリリストなりアーカイブ内の改版履歴なりといった根拠があればそれを使う、といったスタンスでよいのではないかと。> さて,わたしの方はPack10000の中のPC-VANのライブラリから抽出した250レコードだけで眼が酸欠になり,今は休憩中です。 そう、あの大量のデータを眺めていると、ほんと、目がくじけるというか、頭がボ〜っとしてきますよね。>最初からPack10000のデータをとしきさんにお渡しした方がよかったかしら…。 今から送っていただいても結構ですよ。 私のほうは手順はほぼ確立していますから、同じことを繰り返してもほとんど手間はかかりませんし。 それに、結局、私のほうでは送っていただいた鉱石を砕いて原石を取り出して送り返すだけで、最終的に原石を磨いて宝石にするのはめざらさんの役目になるわけです。その作業だけでも十分、目が酸欠になると思いますから、もろもろの効率性を考えると、可能な部分はアウトソーシングというか下請けに業務委託というか。 ま、その辺の判断はお任せしますよ。
> それに、結局、私のほうでは送っていただいた鉱石を砕いて原石を取り出して送り返すだけで、最終的に原石を磨いて宝石にするのは いやいや何とも,有り難いお言葉です。 で,その鉱石なのですが,例えばPC-VANならOSLディレクトリのファイルをまとめてお送りすればよいでしょうか。事前にgrepにかけなくていいですか?
> で,その鉱石なのですが,例えばPC-VANならOSLディレクトリのファイルをまとめてお送りすればよいでしょうか。事前にgrepにかけなくていいですか? grepかけた結果を送っていただいたほうがありがたいです。 だって、各ネットワークサービスのリストをそのままだと、とてつもないサイズになるでしょ? もちろん、送達手段が確保できるなら、そのまま丸ごとでもかまいません。 もしgrepで抽出したものを送っていただけるのであれば、以前wgrepで同一視検索を使ってがっぽり引っかけるバッチをお送りしましたが、別にygrepでも何でもかまいませんので、タグというかファイル名情報がくっついた形の結果でお願いします。
了解しました。それではgrepにかけて抽出したものを送らせていただきます。> タグというかファイル名情報がくっついた形の結果でお願いします。 これはジャンプして元に当たるためということではなく,どこにあったかを特定するためですね。 アレコレあってなかなか余裕がないのですが,今夜それぞれのBSSのリストを捜索してみます。
> これはジャンプして元に当たるためということではなく,どこにあったかを特定するためですね。 その通りです。 ということで、二度手間になるのを避けるため、めざらさんのデータが届いて、私のほうのデータとマージしてから、最終的な結果をお送りさせていただくことにします。おそらく、送っていただくもののほとんどは、現在2200レコードある私の手元のデータと重複した内容でしょうが、直感的には、約15〜200レコード程度は新しい内容のものがあるのではないかと思っております。
暮れもおしつまってから、やっとお送りいただいたデータに目を通しています。
で、気づいた点がいくつか。
お送りいただいた中にPC-VAN(BIGLOBE)のデータが含まれていなかったのですが、元の円盤にもなかったのでしょうか。
もう一つは、私がきちんとお伝えしなかったのが悪いのですが。
ASCII NETのデータ、
#3735 に書いたとおり、2行を1行に連結してから出ないときちんと検索できないのですね。これは使えんかな、と思ったのですが、データの総量がたいしたことなかったので、私のほうにあったデータとつき合わせてみました。結果、新たな情報は含まれていないいことが判明。もう96年ごろだと、ASCIIネットではVz関係はもはや触れられることもなくなっていた、ということでしょう。
あと、ASAHI、マスター、People、東Bは、せっかくお送りいただいたのですが、
#3735 にも書いたとおり、サイズ情報が含まれていないので、今回の作業には使いません。
ということで、MIXとNIFTYのデータを使ってまとめてみたいと思います。
> 直感的には、約15〜200レコード程度は新しい内容のものがあるのではないかと思っております。 まだ全く始めてもいないのですが、下方修正。
新しい情報は5〜50レコードくらいになるような気がします。
> ということで、MIXとNIFTYのデータを使ってまとめてみたいと思います。 続・気づいた点がいくつか。 送っていただいたデータ、他のPACKを私が手元でざくっとふるいにかけたものより、ずいぶんサイズが小さい。もしかして、明らかに関係なさそうなものをあらかじめ除外していただけたのでしょうか。例えばFANIME系のライブラリ、他の版のPACKを単純にgrepするといろいろと引っかかってくるのですが、送っていただいたものでは、ばっさりカットされていたりするようです。一応、他の版のPACKのデータも念のためチェックしてみて、FANIME系にはVz関係のものは全く含まれていないようなんで大丈夫だとは思いますが。 そのチェックの際に気がついたこと。 最後のPACKというか、98年後期版のデータなんですが、これは本当に正しいのかなぁ、というのをいくつか発見。具体的には FTOKYOS:東京ひとり暮らしフォーラム →なんか東芝関係のフォーラムみたい 実際、98年前期版のFTOSHIBAのデータとほぼ同じもの多数 でも、98年後期版ではFTOSHIBAのファイルは存在しない もしかして後継フォーラム? FCARE:在宅ケアフォーラム →データも会議室ログも、なんかゲーム関係ばっかり よくみると、FCGAMEM2(ゲームマシンフォーラム 2)と、ほぼ同じデータ ダウンロード数が違うぐらい でも、98年後期版にFCGAMEM2もあるし、これは一体? もしかしたら失われたデータがあるのかもしれない、というのが心配なところ。 Vz関係のデータがなければどうでもいいことなんですが。 で、問題は、例えばFTOSHIBAとFTOKYOSの両方でVz関係のデータがあったりするわけなのですが、両方でカウントしてしまっていいのかなぁ、という点。その他にも、フォーラム移行で名前が変わったりして二重に計上している部分もあるので、今回の例でも一応そのまま残しておくことにしますけどね。 なんか、ちょっとささくれ。
> 明らかに関係なさそうなものをあらかじめ除外していただけたのでしょうか。 そうですね。目視で簡単に見分けられるものについては,削除してあります。「マクロ」ですくってしまう「マクロス」とか秀丸やWTERMのそれ,IDの中のVZとかですね。> 最後のPACKというか、98年後期版のデータなんですが、これは本当に正しいのかなぁ、というのをいくつか発見。 いやー,そればっかりは分からないですね。(^^; grepでは機械的に単純に出力しているだけすからねぇ。ライブラリのリストはフォーラム毎になっていて,自動的にファイル名がタグに付きますから,別のところに入っているはずはないんでしょうけど…。> 今回の例でも一応そのまま残しておくことにしますけどね。 そうしておいていただければ。真相はちょっとわかりませんが,両方書いておけば済みますから。> なんか、ちょっとささくれ。 ふうむ。たしかに。
> お送りいただいた中にPC-VAN(BIGLOBE)のデータが含まれていなかったのですが、元の円盤にもなかったのでしょうか。 ありました。自力で完全目視による抽出を行いました。その際に,余計なフラグを各行頭に付けてしまったので,変に混乱を来すといけないと思い,送っていませんでした。後ほど,参考までにお送りしましょうか。 それ以外のBBSのデータについても,何も考えずに送ってしまって申し訳ありませんでした。PC-VANのを全目視でやったら,もう目が融解しそうになってしまったので,機械的に処理してもらおうかと目論んだわけでありまして。(^^;> ということで、MIXとNIFTYのデータを使ってまとめてみたいと思います。 よろしくお願いします。 いずれのデータも,一応目視で明らかに違うと思われるものについては削除してあります。
あぁ、松が取れてしまった。
結局、お年玉としてお送りすることもかなわず。
というところで、経過報告。
> ということで、MIXとNIFTYのデータを使ってまとめてみたいと思います。 MIXのデータで、オリジナルなものはありませんでした。
UNIQをかけたら、全て、その前後のデータで吸収されてしまいました。
> > 直感的には、約15〜200レコード程度は新しい内容のものがあるのではないかと思っております。 > > まだ全く始めてもいないのですが、下方修正。 > 新しい情報は5〜50レコードくらいになるような気がします。 なんとなく、下方修正しなかったほうがよかったみたい。
NIFTYは、UNIQかけたら40弱ほど残りました。
そこから先は手作業で、残りは20レコード。
この手作業の際に、わたしの手元の他のPACKのデータのほうで、消してはいけなかったのに誤って消してしまったデータがあることも判明。いや、助かった。
PC-VANの分は、UNIQかけて約70レコード。
手作業で削って、残りは40レコード。
ただ、こちらは、あまり新しい情報ってないな。
たいがい、ファイルの情報は既にあるけど、こっちのSIGにもアップされていた、というような情報がほとんど。
一つ質問。
めざらさんから送ってもらったNIFTYのデータ、UNIQで消えなかったもので、いくつか、行末に「##」(半角#2つ)がくっついているのがあったのですが、これってめざらさんがつけたものですか?
こういうのが5レコードくらい。
これを差し引いて、追加分は大体55レコードといったところでしょうか。
いろいろとやっていたら、また、悩ましいデータを発見してしまった。
#3644 で触れたFCAREにも存在していますが、FCGAME系で、おそらくパズル関係でしょう、「PPロジックテキスト化(Vz1.6)」というデータがあります。これ、初期のバージョンには「(Vz1.6)」と入っているのですが、同じ掲載者IDで同じデータ名の後期のバージョンにはその記載がなくて、だから単純なgrepではすっかり漏れてしまっているのです。一応、PACK各版のNIFTYのライブラリのデータをこの掲載者IDで検索しても、このシリーズしか引っかからないので、まず間違いなくVz関係だと思うのですが、少々不安。さらに不安なのは、同じような理由で検索に引っかからなかったデータがさらにあるのではないか、ということ。
とりあえず、中身というか実体というか、現物が手に入らないので意味はないかもしれませんが、一連のデータは新しいバージョンの分を含めリストに掲載することにしました。
ということで、もう少しいろいろといじってみて、来週ぐらいにはお送りできると思います。
え〜と、納品はEXCEL2000のXLS形式でよろしいでしょうか。
CSVでもタブ区切りでもいいのですが、現状、フィルタとかを駆使して作業している関係で、それをそのままお送りできれば楽なもので。
> MIXのデータで、オリジナルなものはありませんでした。 あら,そうでしたか。ちょっと意外な。既に,メッカはFGALPKとSVCになってしまっていたということでしょうか。> 一つ質問。 あ,忘れていました。行末の「##」は,わたしが付けたものです。いかにも怪しいので確認しようと思っていたものだったのですが,これは関係しているという確認が取れなければ除外することになるでしょうね。 悩ましいデータのちょっと手前というところでしょうか。> え〜と、納品はEXCEL2000のXLS形式でよろしいでしょうか。 結構です。自宅ではOOoなのですが,データだけなら何ら問題ありません。 …フィルタも特に問題はないかと。 よろしくお願いします。
ということで、無事に納品できました。 とりあえず、届いてはいるようですが。 もし、うまく開けないようならご連絡ください。 タブ区切りデータで再送いたします。 めざらさん以外のこちらの読者の方々のために、一応、統計情報。 (1)総レコード数:2226 ASC: 61 MIX:370 NIF:979 PCV:816 (2)ファイル数 :1811 (3)掲載者ID数 : 435 ASC: 21 MIX: 76 NIF:236 PCV:102 (4)転載と明記してあるレコード:247 (5)PC-VANの謎の*.DOCファイル :356 (6) (4)かつ(5)なレコード : 95 PC-VANのデータで有効なのは、実質的には200程度かそれ以下しかないような気がする。なにせ、ファイルサイズが一致しないというだけの理由で控除できなかったものが大量にあるもので。まず手をつけるとしたら、この辺のデータを無効認定するところから始めると、データの総量が激減していいかも。
ありがとうございました。 受け取ったシートからタブ区切りテキストに出力して眺め始めています。 いや,コレどっかにないのかなぁ…などと思わせるものもありますよね。> まず手をつけるとしたら、この辺のデータを無効認定するところから そうですね。なにしろ現物がないからなぁ。 確認できたものから掲載と考えていたのですが,少しやりかたを考えなければですね。
> そうですね。なにしろ現物がないからなぁ。 > 確認できたものから掲載と考えていたのですが,少しやりかたを考えなければですね。 進化のミッシングリンクというか、既掲載マクロの旧バージョンについては、割と簡単に判別可能ですよね。まず、その辺から手をつけられてはいかがでしょうか。とりあえず、それらを掲載した段階で、一旦、軟体新バージョンをリリース、ということで。 それと、PC-VANの、謎なDOCと、軟体既掲載のファイルサイズ違いのものをバサバサ削る。 これら2つで、ざっと500〜1000レコードは削れるのではないかなぁ。
> 各ネットワークの結果を単純にマージすると、1.2MB、16000レコード。 > ここから、初出のデータだけを抽出するAWKスクリプトを作成中。 > まだ完成していないけど、 完成しましたが。 精度が上がった分、> 途中バージョンで処理した結果は900KB、12000レコードなので、ざっと4分の3に減ってくれている。完成すれば、もうちょっと少なくなるかな。 逆に増えてしまいました。 結果は1MB、13000レコード。> さて、ここからどうやって、不要なものを取り除くか。 さて、どうしよう。 もう、残りは全部手作業でやるかなぁ。
妄想に釣られてみました。
= kraftpaper = by H_ear
#if 0
craftman.def贋作
#endif
* mad for vz!
1 ^\ "" ?.
(VW)??. ;VWX必須
k1&ks, ;シフト起動でコメント先再設定
i="ABC01234", ;id
&s ;a-, ;article no.
#M ;Mark 要らないはずだが念の為
&10 ;search heading
(r)?a-, ?{ #< &n a=r, } ;直前の見出し番号を取得
#U ;戻って
#< #n ;空行挿入
&?("%05u/%05u %s %s",a+1,a+1,i,i)
Eu[+, &#V(39) #> "Title" #m
"(01) 00/00/00 00:00" Eu], &d
(k)?{
mx+, &g("へのコメント") mx-,
a=r, (r|1+1)??a-, ;コメント先 no.
}
(a)?{ ;前発言があるときのみ出力
&s &?(" %05u%s",a,$-59)
}
:z ; ---- exit ----
&d #] .
10: ; ---- 後方に発言ヘッダを探す ----
;--> r/mg..0 = 0:成功, -1:失敗
mp[=1,
ts="\x ^[0-9]+/[0-9]+ +[A-Z]+[0-9]+",
&o(#r) mp],
(r)
*
こんな感じでしょうか。
タイトルが一緒じゃ,現実には使えないですね。
> 妄想に釣られてみました。 うぉぉ、ありがとうございます。> タイトルが一緒じゃ,現実には使えないですね。 おっと、これは気がつかなかった。 もっと仕様を練りこむ必要があったようですね。
↑ このページの先頭