一括表示

− 野ざらし言 −

[4579] リンクチェッカ

としき 2021/08/31(Tue) 13:33
http://toshiki.la.coocan.jp
半年以上放置されているようなので、小ネタを振ってみます。

#4056あたりで、リンクチェックのお悩みを示されておられます。
が、あれからもう、かなり時間もたちました。
現在、めざらさんのところでは、リンクチェックはどのように実施されていらっしゃるのでしょうか。

めざらさんがご紹介された「chk_link」は、おそらく、ベクターに掲載されているものだと思われます。これは、リンク集のような、特定のページのリンクをチェックしてくれるものですよね。
一方で、私が#4058に書いた「404 Checker」は、サイト全体を一気にチェックするものです。私のところは巨大リンク集ページみたいなものがなく、あちこちに分散がかかっているものですから、こういうタイプのツールでないと効率が悪くて。ところがこのツール、最近のマシンでは動いてくれません。最後にまともに動いたのは、はたして何年前だったか。WinXPの時代だったことは覚えています。ただ、XP末期の時代は、既に動いていなかったかも。
ツールがまともに動かなくなったこともあって、リンクチェックの頻度はがた落ち。おそらく、2〜3年に1回ぐらいまで落ちています。そして、前回はこのツールがうまく動かなかったことは覚えています。おそらく、前々回も。
今回、改めてWinXPのマシンを引っ張り出して実行してみましたが、やっぱり動かない。#4058では
「起動時にそのまま固まる」
「一旦、強制終了させれば、2回目以降の起動時にはほとんど発生しない」
と書いていますが、現在では常に、チェック開始時にそのまま固まるような感じです。おそらく、何か依存しているライブラリのバージョンアップの影響を受けたとか、そんなような感じです。

ということで、現状のお問合せと、もしあればツールの紹介なんかをお願いできれば、と。

[4580] Re: リンクチェッカ

めざら 2021/09/06(Mon) 08:38
[4579]へのコメント http://mezala.la.coocan.jp/
> 半年以上放置されているようなので

あはは。
コメントいただいても,すぐに気づかないくらいですから……

リンク集と言っても,大した数があるわけではないので,近頃は手動ですね。
新しいリンク先も増えることもないので,放置でもいいかなと思います。
(本意ではありませんが,常に事象が唐突なので追いきれない。)

困っているのは,仕事でのリンク集です。
仕事柄,調査に有用なリンク集を公開しているわけですが,職場のネットワークが色々アクセス制限をかけている関係で,内容がどうであれブログやCMS(一部?)の機能を使っていると『ブログ』と判定されて,アクセスするのに認証を必要とします。それだけでなく,そのページが含まれるドメインのトップページが表示されて,一旦リンクに戻って再度アクセスを試みるという手順をとらないと当該ページの表示ができないという周到さです。
こういうネットワークの中でリンクチェッカを使うにはどうすればよいのやら。

質問に質問で返すどこかの為政者のようなしぐさに嫌になります。

[4581] Re^2: リンクチェッカ

としき 2021/09/07(Tue) 11:54
[4580]へのコメント http://toshiki.la.coocan.jp
手動でなんとかなるようなら、それが一番確実かと。
ただ、事象が唐突なのはそのとおりですが、やはり長期間リンク切れが放置されるのは格好の良いものとは思えないので、なんとか短い期間で措置を行いたいと思っているのですよ。
あと、実は密かに助かっていたのが、自分のサイト内でのリンク。
今でもVzでHTMLを手打ちしているわけですが、手元ではファイル名は全て拡張子は.htm。でも、アップロードするときには.htmlに変更しています。なので、サイト内リンクは、うっかりすると拡張子が異なってしまうわけなのですよ。特に、にゃまさんのhtm_make.defを使っていたりすると。
あ、そういえば、にゃまさんのサイトから、Vz関係の記述がごっそり消えてしまっていますね。

ところで、しばらく前にベクターで見つけたリンクチェッカ、まぁまぁ使えました。
ExcelのVBAで作られたものですが、サイト一括で調べてくれるので、自サイト内のリンク切れを探すには問題ありませんでした。ただ、常用はためらわれるほど、多くの問題もあって。
まず、調査を開始するルートのURLから何段階まで調べるか、というのを指定するのですが、仮にここを3段階として、ルートのURLにいきなり外部サイトのURLがあると、外部サイトまで2段階分調べてくださる。で、除外URLというのを指定できるので、この外部サイトを除外URLに指定すると、ルートのURLでリンク切れが発生していても検知してくれない模様。
もう一つ、ページ内アンカーというか、#ancとname=〜の組み合わせも正しく検知してくれない。
で、VBAで書かれているので自分で書き換えられるかと思いきや、プロテクトがかかっているので書き換えられない。すごい残念。
仕方がないので、自分で作ってやろうか、とすら最近は思い始めています。
バッチと、sedかawkを使って。WEBアクセスのエンジンは、既に自前で作ってあるhttpoutがあるし。Vzマクロでもいいけど。

> 困っているのは,仕事でのリンク集です。

どうしても、というときには、自宅で作って会社に送り込む。
ほとんど最終手段に近いような気もするけど。

> 職場のネットワークが色々アクセス制限をかけている関係で,内容がどうであれブログやCMS(一部?)の機能を使っていると『ブログ』と判定されて,アクセスするのに認証を必要とします。

このタイプのアクセス制限、初めて聞いた。
うちの職場で導入されているのは、URLで単純に遮断するだけのもの。
最初、ネットワーク関係の雑誌で、富士通で導入されたと読んで、富士通の友人に聞いたらそうだよという返事をもらって、それから数週間か数ヶ月かというくらいでうちの職場にも導入されました。それがもう何年前か。
その後、いろいろと洗練されましたが、基本的には、職場から外に出て行くときに必ず通らされるプロキシサーバにフィルタを入れるような形になっています。

ところで、ブログでもないのにブログと判定されるというのは具体的にどんなところか、差し支えなければいくつか教えていただけます?
職場からアクセスできるぐらいですから、いわゆるその方面の危険はないでしょうが、機密情報というか、別の方面の危険があって教えられない、という部分があることは了解済みです。

> こういうネットワークの中でリンクチェッカを使うにはどうすればよいのやら。

本当に最終手段は、どこか、リンクチェックをしてくれるサイトを使う。
いや、そんなサイト、聞いたこともないのですがね。
でも、lacoocanのCGIでは外部のウェブサイトにアクセスできる。
なので、自前で作ってしまう、というのも敷居は高いが実現可能性はゼロではない。
自分で使うだけなら、公開CGIにする必要もないし、チェック対象URLをハードコーディングしてしまってもかまわないし。

> 質問に質問で返すどこかの為政者のようなしぐさに嫌になります。

私自身は、質問に質問を返すことそれ自体は全く問題を感じていません。
ただ、最初の質問が放置されるというか、きちんとコミュニケーションがとれていないように感じることが多くて、それは本当にいやですね。
逆に、最初の質問の意図を正しく捕らえるために質問を返すとか、一旦は質問で返してもあとから最初の質問にきちんと答えていれば全く問題には思わないので、さらにその続きを期待しているのにそこで終わってしまった、というパターンに感じられて。

[4582] Re^3: リンクチェッカ

めざら 2021/09/18(Sat) 11:51
[4581]へのコメント http://mezala.la.coocan.jp/
> 手動でなんとかなるようなら、それが一番確実かと。

 手動でも大した手間ではないくらいの数ですが,定期的な手間を惜しむ(…忘れる,とか,自身のスケジュール管理ができない,とかも含め)性格の自分という問題が最大の障壁です.やはり自動定期実行サービスじゃないとね.探せばある(アンテナなんかの工夫も含めて)のでしょうけど,それすら近頃は面倒です.かと言って,としきさんみたいな親切な人がそこらにころがっているわけはないし.

 試しに,更新時にたいてい使っている Another HTML Lint でリンク先がなかったら警告てのにチェックを入れてやってみたら,まぁ,ずいぶんと待たされるわけですが 404 がいっぱい出ました.
 いや,このところチェックさぼってたもんなー(^^;
 …と思って手元のファイルを見たら,今年の1月に更新したリンク集をアップロードせずに置いてしまったことに気づきました.

> あ、そういえば、にゃまさんのサイトから、Vz関係の記述がごっそり消えてしまっていますね。

 ありゃ.上村さんのコンテンツへのリンクみたいなものも消えたのかな?……と思ったら,まだそっちは残ってますね.もっとも,- aja - さんのサイトが消えているから,リンク先がないのですけどね.これについては,わたしのところに転載するということで,上村さんに直接許諾を得ているのですが,とにかく時間がなくて進んでいないのですよ.いい加減怒られちゃいますね……(汗


> 仕方がないので、自分で作ってやろうか、とすら最近は思い始めています。

 作ってください,ぜひ.で,特別にめざらめに提供してくださると有り難いです.
 定期実行がネックなんですがね.


> どうしても、というときには、自宅で作って会社に送り込む。

 まぁ,ふつうはそうするわけですが,一応勤務時間外に仕事をするということを担当者に強いるわけにはいかないというのがお約束ですから,仕事として引き継ぎにくいわけです.「にくい」だけなんだけど.


> このタイプのアクセス制限、初めて聞いた。

 どうも,うちの業界というかこの世界では性悪説を持ち込まねばいけないという前提みたいなものがあったりするのだろうと思うわけですが,貸与されたPCを休憩時間においても私用目的に使ってはならない,ショッピングサイトやブログなんて見ることもいかん,というわけです.そういうサイトはすべて一旦認証操作(ホントにそこ表示するのか?絶対表示するのか?あくまでも表示するのか?という)を経るのです.とは言っても,商売道具の各種出版物やら,事務用品やら調べるのにショッピングサイト以外では無理難題ですよ.ワープロや表計算の機能を調べようとすれば,たいてい人気ブログが上位にくるわけで,実際にそれらは分かりやすく解説してくれているわけで,仕事には欠かせないわけですよ.しかも,認証操作を行って目的のURIに遷移しても,表示されるのはそのドメインのトップで,一度認証前のリンク元に戻って再度アクセスして初めて見られるなんて念の入りようです.ホント,よその人に説明しても信じてもらえないでしょうね,ふつう.

 で,どういう具合か知りませんが,ある種のCMSによるサイトでは,各ページが投稿システムが管理するブログみたいになっていて,それを「ブログ」と判断して遮断する.…なんてことを以前経験したことがあります.具体的にどこだったか忘れたので,今どういう扱いかわからないですけど.

 たぶん,依然として洗練されてないかと.

[4584] Re^4: リンクチェッカ

としき 2021/09/23(Thu) 23:31
[4582]へのコメント http://toshiki.la.coocan.jp
> Another HTML Lint でリンク先がなかったら警告

あら、これにそんな機能があるとは知らなかった。
作者にビールをおごったこともあるくらいだし、私ももっとガンガン使うことにしましょう。

> > 仕方がないので、自分で作ってやろうか、とすら最近は思い始めています。
>  作ってください,ぜひ.で,特別にめざらめに提供してくださると有り難いです.

特別提供、というのはともかく。
ちょっとだけ検討したのですがね。
自前のhttpoutをエンジンに使うと、名は体をあらわすというか、その名のとおり、HTTPにしか対応していないのですよ。つまり、HTTPSはどうしよう、ということになって。ということで、あっさり潰えました。
この問題を解決するにあたっては、ExcelというかVBAを使うのがわりと容易。これなら、実際のエンジンはIEだかEdgeだかと実質的に同じものを使うことになるわけですから。つまり、私が試用したベクター掲載の既存のリンクチェックマクロと同様のものを作るわけです。
もう一つの方法として、取得したファイルの中身を標準出力に流す必然性は全くないのですから、私のhttpoutを使う必要はないわけで、素直にファイルを取得するツールであるwgetを使う。これはHTTPS対応のコマンドラインツールですから、Vzマクロのリンクチェッカも作製可能。

ただ、やっぱり、自分で作るのは最後の手段にしたいわけで。
いや、Vzマクロで作る、というのはそれなりに面白そうですけど。
で、まじめにリンクチェックサイトを調べてみたら、引っかかってきたのが以下の2つ。

Dead-link-checker.com
takotubo.jp

いずれも、まだ私は試していません。現在の多忙状態が落ち着いたら試してみる予定。
早ければ今月中、遅くとも12月までには。可能性の高いところとしては10月中かなぁ。

>  どうも,うちの業界というかこの世界では性悪説を持ち込まねばいけないという前提みたいなものがあったりする

いや、もう、今はどこでもそうなっていると思いますよ。
幸い、というのか

> 貸与されたPCを休憩時間においても私用目的に使ってはならない,ショッピングサイトやブログなんて見ることもいかん,というわけです.

うちの会社はそこまで厳しくなくて。
ただ、行動は全て把握されていますから、勤務時間中に著しく業務外のサイトを見ていると、ご指導が入ります。以前にも1人、私の目の前で、複数の管理者から「おいでおいで」とされた方がいて。戻ってきたときに、なんで呼ばれたか尋ねたら、そういうことだったそうです。
一方で、ブログなんかであっても、業務に関係があるとか自己研鑽に役に立ちそうだとかだというふうに、その筋の誰かが判定しさえすれば特に問題はない。
また、例えば賭博系のサイトなんかはデフォルトでは閲覧不可。でも、営業系では、例えば自治体を担当している方もいるわけですよ。そういう方が、その自治体の運営している公営賭博のサイトを閲覧できなければ業務に差し支える、ということでその筋に申請すれば、その方の端末のみ特定の賭博サイトが閲覧可になったり、ということもあったりします。

> しかも,認証操作を行って目的のURIに遷移しても,表示されるのはそのドメインのトップで,一度認証前のリンク元に戻って再度アクセスして初めて見られるなんて念の入りようです.

う〜ん、なんかそれって、実はバグでした、ということはないかなぁ。
HTTP/1.0からHTTP/1.1に移行する際に、ドメイン名(サーバのホスト名?)が省略されていると云々、みたいな話は聞いたことがあって、あまりよく理解できなかったことを思い出しました。
最近だと、例えば途中に入っているproxyがHTTP/2対応しようとしてこけている、とかあるかも。
どこかセキュリティ主管みたいな部署に、どこそこのサイトは業務上必須だから閲覧可にしてほしい、というように頼み込むことはできないのでしょうか。

[4586] Re^5: リンクチェッカ

めざら 2021/09/24(Fri) 07:46
[4584]へのコメント http://mezala.la.coocan.jp/
> HTTPにしか対応していないのですよ。つまり、HTTPSはどうしよう、

あら,残念。
『Vzマクロのリンクチェッカも作製可能。』というところが妙にソソる感じもありますが,自分で作るとメンテナンスが必要だから,最後の手段というのは宜な宜な。

> ただ、行動は全て把握されていますから、勤務時間中に著しく

ここはまぁ当然でしょうね。近頃は端末の前でなにかしていれば仕事してるようにしか見えないわけですから。昔は個人所有のスタンドアロンで監視ができなかったから,管理職が見回ったりなんかして,その対策に「ボス来た」ツールがあって……懐かしい時代の話ですね。

昔,あるフリーウェアがシェアウェアに移行した当初,予告することなく,送金を促すページに起動時に接続するようになったときに,ひどく焦りましたね。かなりヤバめのドメインだったこともあり,処分を覚悟したのですが,そのときは幸いお咎めなしでした。一瞬だったし,管理する側もいちいちログを確認して口頭で警告するような時間もとれなかったのでしょう。今は,アクセス制限と執拗な認証で対応,と。

> その筋に申請すれば、その方の端末のみ

申請して認められればOKというのは同じなのですが,決して無条件スルーではないところが違うのだと思います。想像ですが,以下のような分類で。

○ドメインの問題なし。無条件でスルー。
△ドメインに問題あり。認証が必要。認証後,リンク元に戻って再度遷移必要。
×ブラックリストにあり。一切接続不可。

×のところを申請(個別の端末ごとではないですね)で認められれば△にすることができます。認められれば,です。調査で使いたい Google Books なんかは以前から申請していますが,依然として×の扱いのままです。これは国内著作権法のからみかも。

> う〜ん、なんかそれって、実はバグでした、ということはないかなぁ。

萎えさせるのが目的なので,どーしても仕事で必要なら見てもいいけど執拗に確認するよ…という状態にしていると思います。確かに,他のサイトでも間に合うような情報を得ようとしているなら,敢えて見ようとはせずに検索エンジンが挙げてきた他の候補にしますね。
バグだったら笑う。(ありそうだけど,さすがに気づくかと。)

そんなわけで,職場で仕事でのリンクチェック作業は常に虚しい結果に。

[4589] Re^6: リンクチェッカ

としき 2021/09/25(Sat) 00:20
[4586]へのコメント http://toshiki.la.coocan.jp
> 『Vzマクロのリンクチェッカも作製可能。』というところが妙にソソる感じ

この点は実に同感というか。
だから、もしこれを実現するのであればwgetを使って、という話になります。

> ×のところを申請(個別の端末ごとではないですね)で認められれば△にすることができます。認められれば,です。

この辺の運用が、うちとそちらでは異なっているようですね。
さらによそでは、もっと違った運用をしているところもあるかも。
あ、そういえば。
うちの場合、アクセスできないサイトの場合、おそらく途中のプロキシだと思うのですが、アクセスできないぞメッセージを返してきます。このときのメッセージが、少なくとも2種類はあります。
1つは、アクセス禁止とでかでかと表示するパターン。
このときには、全てのアクセスは記録されているぞ、と、注意喚起のメッセージもあわせて表示されます。
もう一つが、ただ単に、アクセスエラーと表示されるだけのやつ。
これ、うっかりすると、相手のサーバ側が悪いと誤解してしまいそう。
でも、例えば携帯とかで同時にアクセスすると普通にアクセスできるし、何より、メッセージのパターンで、プロキシが出しているかどうかは判別可能。
で、プロキシがアクセス制御のパターンを複数持っているということは、何か意味があるのでしょうね。例えば、どちらかのパターンを表示される場合、こちらのドメインは制限を解除されている端末が1台くらいは存在している、とか。あるいは、プロキシが複数あって、第1段階は通過したけど第2段階は通過できなかった、とか。

> 萎えさせるのが目的

それなら、それこそ、半期に1回とか、管理職からプレッシャーをかけさせればいいだけのような気がするんだけどなぁ。
あるいは、普通のブラウサだとルートに遷移という挙動になるけど、それこそwgetのようなツールを使えば素直にファイル取得できる、というようなことになったりしないかなぁ。

[4596] Re^5: リンクチェッカ

としき 2021/10/04(Mon) 18:49
[4584]へのコメント http://toshiki.la.coocan.jp
> で、まじめにリンクチェックサイトを調べてみたら、引っかかってきたのが以下の2つ。
>
> Dead-link-checker.com
> takotubo.jp
>
> いずれも、まだ私は試していません。現在の多忙状態が落ち着いたら試してみる予定。

試してみました。
takotubo.jp のほうは、単一のページのチェックのみ。
リンク集のページのチェックには十分でしょうが、私のニーズにはあいません。
一方、Dead-link-checker.com のほうは、サイト内を下のほうまでチェックしてくれる模様。なんですが、かなり遅いような気がする。う〜ん、機能的にはこれで十分なのかもしれないけど、なんかちょっとイマイチ。いや、もちろん、単なる気のせいなのかもしれないけど。

簡単に作れるものなら、という条件付きで、やっぱり自分で作りたいなぁ。

↑ このページの先頭