一括表示

新規ツリーにします。
まだ全く何にも手をつけていないのですが、追加仕様の提案などは、こちら
のツリーで行いたいと思います。

で、早速ですが、ひとつ確認。
今回も、基本的には、あまり見栄えの部分は変えずにロジックの部分だけを
いじるということでよろしいかと思います。が、密接に絡み合う部分という
のは当然存在するわけで。
なにかというと、例えば、#3485から始まるツリー、allreadで表示させると
すぐに分かりますが、タイトルの部分が枠からはみ出しているのですよ。

で、安直に考えついたいくつかの対応策。

1:なにもしない
2:CSSで対応する
3:一定以上の長さのタイトルは投稿拒否
4:一定以上の長さのタイトルはカットして受付
5:長いタイトルもそのまま受け付けて内部的には保持するが、表示時に
  一定長以上はカット　

これらのうち、３〜５の対応策をとるとなると、当然ながらロジック側に手
を入れる必要があります。

ということで、どうしましょう。
まだ何も手をつけていませんから、今のうちにいくらでもどうぞ。
 

> 　分析ツールを作るか，NCSAに整形するか悩み中ですが，

要は、自分のほしいデータが取れればよいわけですから。
ということで、私はサーバログを加工するAWKスクリプトを作ってあります。
２月分のログを加工して得られた結果は以下の通り。

                                        掲示板
  日付 総数 google yahoo msn 百度 実質  総数 実質読込 書込
01/Feb 1568   573    73  751   23  148  1380     99    4
02/Feb 1342   348    37  804   27  126  1146     64    1
03/Feb 1735   712    22  842   28  131  1597     85    2
04/Feb 1806   444    58 1143   23  138  1618     90    5
05/Feb 1886   535    73 1113   25  140  1653     95    3
06/Feb 2130   657    70 1250   22  131  1922     86    2
07/Feb 1831   631    76  997   15  112  1634     69    1
08/Feb 1898   620    57 1101   23   97  1670     54    1
09/Feb 1805   563    73 1066   21   82  1660     44    1
10/Feb 1550   408    73  954   17   98  1390     50    1
11/Feb 2637   446    61  777   20 1333  2267   1031   75
12/Feb 2149   634    78 1260   28  149  1987     98    3
13/Feb 1744   527    78  725   20  394  1541    294   16
14/Feb 1557   670    70  633   25  159  1431    107    8
15/Feb 1254   497    82  512   25  138  1133     89    5
16/Feb 1788   718    81  709   25  255  1688    203    8
17/Feb 1650   423    60  911   25  231  1472    155    7
18/Feb 2951   396    54  746   24 1731  2520   1372   91
19/Feb 2264   455    62 1327   26  394  2028    276   13
20/Feb 1066   423    76  393   26  148   978     87    7
21/Feb 1535   457    68  808   26  176  1403    105    8
22/Feb 1432   342    42  746   26  276  1303    192   19
23/Feb 1263   321    47  684   27  184  1156    116   10
24/Feb 1842   416    50  941   23  412  1602    305   17

えと、２４日は２２時くらいまでです。
実質というのは、単に４大検索エンジンのクローラーを引き算しただけです。
お、naverを分計していないなぁ。
こいつはどのくらい来ているんだろう。あとで確認しなくては。
なお、総数には、CGI以外へのアクセスも含んでいます。
CSSファイルとか、掲示板の一番下に表示してある画像ファイルとか。


例えば、野ざらしのアクセスログが手に入ったとして、私が分析する場合、
どういったことをするかというと。
まず、GETとPOSTに分けます。
GETのほうは、ＩＰアドレスの上位２オクテットごとにカウントして、どこの
ドメインのお客さんが多いかを特定。まぁ検索エンジンのクローラーになる
と思いますが。ん〜、その程度かなぁ。
POSTのほうも、ＩＰアドレスの上位２オクテットごとのカウントは行います。
もし、特定のドメインから著しく大量のスパム投稿があるようなら、そこは
ＩＰアドレス指定でカット。
次に、本文部分だけを抽出して蓄積します。そして、ざっと眺めて、不適切
と思われる語句が何回も出現するようなら、それを禁止語句登録。ポイント
は、１回や２回の出現であわてて登録する様な事はしない。ここはどっしり
と構えて、へんな言葉狩りのような事のないようにします。
あとは、投稿フォーム読み込み時刻も、変な変換をかましてはいますが記録
してあるので、投稿時刻との差を計算します。そして、横軸に投稿所要時間
をとったグラフを書いて、どのくらいの秒数までを機械投稿と判断するかの
資料にします。さらに、現状の間隔閾値で拒否できていないものについては、
他のどの項目にひっかかったのかを確認し、いろいろな拒否手法の強度判断
を行います。

ここに書いたものは、あくまでも、私が行うなら、というものです。
めざらさんはめざらさんなりに、いろいろな方向からデータの分析を行って
下さい。
 

> 世の中には、「餅は餅屋」という言葉もあります。
　そうなのですが，他の言語はほとんど使えないので。

> unixtimeを日時に変換してくれるVzマクロはほしかったり

　結構難儀しましたが，UNIXTIME を日時に変換するマクロを作成しました。
ほぼ出来上がってコメントなどを清書したところで，セーブしないまま，
むやみに大きな値の上で実行したら暴走して，約１時間の作業が無駄に。

　原因は複数バッファのアドレスを取得する際に，式を間違えてしまい，
データセグメントの0番地に何度もヒストリ取得してしまったためでした。

　いやー，気付いてよかった。(^_^;

----------^ UNIXTIME.DEF ( date:2010-03-01 time:00:11 ) ----< cut here
= unixtime.def v0.11 =
#if 0
UNIXtimeをローカル時刻に変換(54000(+9:00 JST)以上に対応)
数字列の任意の位置にカーソルを置いて起動(前後に英字と_不可)
#endif
* mad for vz!
1 ^^ "" ?.
        (cd>47 && cd<58)?{ #d #a }?.    ;(cd>='0' && cd<='9')?
        u[, p[, q[, l[, i[, o[, x[,
        &s &>                           ;b<u>f, <p><q>
        mp[, ps[=u, #G ps], mp],        ;UNIXtime 前後に英字不可
        &Sn(u) l=r,                     ;<l>ength
        &Im(p,0) &Im(q,0) i-,           ;reset <p><q><i>
        &Ia(p,u.0-$30)                  ;先頭1桁を事前セット
        (l-3){ &Im(p,10) i++, &Ia(p,u.i-$30) }
        (l<6 && p..0<540)?{             ;54000秒以下では地域標準時に満たない
                &m("地域標準時として認識できません.") >z }
        &Is(p,540)                      ;地域標準時との差を引く
        &Id(p,864)                      ;1970/01/01からの日数確定
        ;&m("%s / %lu days + %lu sec.",u,p..0,p..1,q..0,q..1)&t
        &Ia(q,r) &Im(q,100)             ;残りを秒に
        r=10*(u.(i+1)-$30)+u.(i+2)-$30, ;末尾2桁をrに取得
        &Ia(q,r)                        ;1日以下の秒確定
        ;&m("%s / %lu days + %lu sec.",u,p..0,p..1,q..0,q..1)
        (2){ &Id(q,60) r[, }
        o..3=q..0, o..4=0], o..5=0],            ;<j><f><b>:時分秒
        ;&m("%s / %lu days + %02d:%02d:%02d",u,p..0,p..1,o..3,o..4,o..5)&t
        ; ---- 経過日数 -> 日付 (前日までの経過日数+1)
        (p..1==0 && p..0<59 && p..0>=0)?{       ;1970/01/01〜02/28
                o..0=1970, o..1=1+p..0/31, o..2=1+p..0%31, (0)
        }?{
                &Le(q,p)                ;set q
                &Is(q,58)               ;58日棚上げで始点を1970/03/00に
                &Im(q,4) &Is(q,1)       ;割切れ抑止 (365.25*4-1)/(365*4+1)
                &Id(q,1461)             ;365*4+1 r:日数の4倍
                o..0=1970+q..0,         ;閏年と2年差あり
                x=r/4+((q..0-2)%4>1),   ;<x>仮日数 経過年数分の閏年数
                (x>364)?{ ((o..0)++, x-=365, }  ;1年を超えたら再調整
                x*=10,                  ;月平均日数定数での除算用に桁シフト
                o..1=x/306+3,           ;(30.6*10) [3]:0-11 -> 3-14
                o..2=(x%306)/10+1,      ;[1]:03/00 -> 03/01
                (o..1>12)?{ ((o..0)++, o..1-=12, }      ;13-14月は翌年の1-2月
        }
        &m("%02d %3s %d:%02d:%02d:%02d",
        o..2,"JanFebMarAprMayJunJulAugSepOctNovDec"+o..1*3-3,o..0,
        o..3,o..4,o..5)

 :z     ; ---- exit ----
        x], o], i], l], q], p], u],
        &d #] .

00:     ; ---- str buf[16] / long int buf *2 / ymdhms ----
        o 4+q 4+p 16+u 5+$,.
        "$(10,0)$[16]$[20]"
        ;       u    p q o
*
[Variables]
        u       str buf ptr
        p,q     long int buf ptr
        l       str length
        i       counter
        o       "0123456789AB"
                ;年月日時分秒
        x       作業用(日数)
[Buffers]
        u       [2][16] as ps
        p,q     [4]*2   long int
        o       [2]*6   年月日時分秒
[History]
2010/02/27 0.01 暫定版（各年初期値を持つ構造が恥ずかしいので却下）
2010/02/28 0.10 初版
2010/03/01 0.11 アドレス指定が不正で暴走するのを修正，変数の整理
[Notes]
何故か合わないので悩むこと数時間，仮想基準日を03/00でなく03/01にしていた。
さらに合わないので悩み，世界標準時との時間差に気付く。
変数の保存や内容など清書し，セーブせずに大きな数値上で実行したら暴走した。
複数バッファ指定の式が不正で，オフセット0をバッファにして書込みしていた。
----------$ UNIXTIME.DEF ( lines:77 ) ----------------------< cut here

　最初はstrftimeというawkの関数と同じ名前にしようと思いましたが，
色々な機能がありそうな関数なので，変更しました。