「json」タグアーカイブ

bookmarks.json 重複URIの削除

コメントを残す

Mozilla Firefoxのbookmarkの解析を進めているのだが、今回は重複したURIの削除を行いたい。すべてのブックマークで表れる、エディターで手動でも行えるのだが。フォルダー毎に行うのと、重複が多いので手動では時間がかかる。bookmarks.jsonの解析を進めるのを兼ねて、スクリプトで行なってみる。jsonが扱いやすく、配列処理のコマンドがそろっているphpを使用している。
Firefoxからバックアップして出力させたbookmarks.jsonファイルを読み出して配列に代入し、その配列で処理を行いbookmarks.jsonのファイルを出力する。Firefoxで編集されたそのファイルを復元するで読み込ませて正常に表示できて、重複が消えていれば成功である。

今までやってきたこと。bookmarks.jsonの解析。phpでの配列への代入。それをファイルへ出力し編集。jsonファイルは直接編集しづらい。編集したファイルをbookmarks.jsonに変換しFirefoxde復元でbookmarkとして読み込ませた。

ここまではできる。

これからは配列から、別の配列にURIを代入し重複したURIを見つける。もとの配列から重複した配列を削除し、jsonファイルにする。ここまで行いたい。

json そして再び　csv化　

コメントを残す

http://blog.appliedinformaticsinc.com/how-to-parse-and-convert-json-to-csv-using-python/
まだjsonとの格闘が続いている。既に抽出まではクリアしたが、その後やってない。
上のリンクはHow To Parse and Convert JSON to CSV using Python
pythonライブラリを使ってcsv化している。phpより簡単か?やっぱ時代はpythonか?

暇な時やってみよ。それより先の方法での抽出後、csvしlibreで読みこみ編集ぐにゅぐにゅ、sqliteでもやりたいんじゃ!

bookmarks.json PHPの 連想配列 キー 取得 ネスト された配列を再帰を使って取り出してみた

コメントを残す

このjsonを解析するとarrayとobjectとstringが混ざっているんで、どう処理したらいいかと。再帰を使ってやってみた。
一応抽出するとこまではできたかな。

<?php
$json=file_get_contents("bookmarks.json");
$obj = json_decode($json,false,512,JSON_BIGINT_AS_STRING); 

function search(&$obj)
{
foreach($obj as $key => $value){
 if (is_array($value)){
    echo $key." - array"."\n";
    search($value);
    } else {
    if (is_object($value)){
      echo $key." - object\n";
      search($value);
      } else {
     echo "not array not object ".$key."---".$value."\n";    
      }
    }
}
}

search($obj);
?>

jsonのデコード　オブジェクト型

コメントを残す

https://syncer.jp/how-to-use-json
によると、jsonのデコード　オブジェクト型らしい
よくわからん
http://qiita.com/IganinTea/items/de6201fe860a65e192a1
によると
「配列であるか」が判定できるようだ。これ使えるかもね。
http://www.atmarkit.co.jp/ait/articles/1404/16/news044_2.html
なんとなく
http://php-beginner.com/reference/typearray/func_array.html
ふむふむ
http://qiita.com/mmusasabi/items/4b7d2f27bd4604bfc17f
えーっと　$memberって

<?php
$json=file_get_contents("bookmarks.json");
$obj = json_decode($json,false,512,JSON_BIGINT_AS_STRING);
echo "hairetu su".count($obj);
echo "\n";
foreach($obj as $key => $value){
  if (is_array($value)){
    echo "hairetu desu\n";
    echo $key."\n";
    echo "hairetu su".count($key);
    echo "\n";
    } else {
    echo "not haireru\n";
    echo $key.";".$value;
    echo "\n";
    }
    echo "-----\n";
}
echo "\n"
?>

再帰しないとだめかな
http://www.shigemk2.com/entry/20120509/1336555886
これよさそう

Firefoxのbookmarks.jsonが書式が後付だった気がする

コメントを残す

解析をすすめるうち、 [“annos”]=>があるのが分かるのだが、おまけの部分をここに記述してるな。 [“name”]=> [“flags”]=>[“expires”]=> [“value”]=>とあり、feedの場合それが2相か3相用意されてる。
descriptionの場合は１相だけ使ってる。[“name”]=>string(30) “bookmarkProperties/description”のように。
feedの場合 [“annos”]=>array(2) で{ [“name”]=>string(16) “livemark/feedURI”
[“annos”]=>array(3) {[“name”]=>string(16) “livemark/feedURI”[“name”]=>string(16)”livemark/siteURI”[“name”]=>string(24) “placesInternal/READ_ONLY”
の場合もある。
annosは要注意だね。そこを解析してからでないと。集計は難しいかな。

または。bookmark.htmlの方でやるか。

どうする？

phpの配列とは？ ここでの配列は？そこから入っていかないとならんな
まずは配列の数

途中で配列の配列と混合してるがどうするか

Bookmark json の処置　編集をjsonにそして戻す

コメントを残す

firefoxの肥大化したbookmarkをjsonで書出し、データを抽出、余計なもの。要らないとこや重複を削除したい。関連度によって並び分けも自動である程度行いたい。最後はブラウザに戻すわけ。

phpで抽出は行ったんで。テストはまだだが。pythonでも書いてみたいな。次はデータベースに入れて、クローラで収集、関連付けだね。

https://gist.github.com/jayrambhia/1719957
pythonはこれ?違うか
https://linuxfreelancer.com/extract-bookmarks-or-favorites-from-your-firefox-browser　こっちがいいか
http://code.activestate.com/recipes/579077-bookmarks-browser-for-firefox/
ここもいいな。pythonは検索に多くひっかかるな。最初からpythonが良かったかな。

http://stackoverflow.com/questions/1955505/parsing-json-with-unix-tools
これはいいかも

Firefoxのブックマークのバックアップのjson

コメントを残す

ブックマークのバックアップはjsonの形式で出力されている。phpで取り出してみる。childrenで階層になっているので、それも全部抜き出している。7階層まで取り出し、そこまで内包してなかった。

<?php
$json=file_get_contents("bookmarks.json");
$obj = json_decode($json,false,512,JSON_BIGINT_AS_STRING);
echo  $obj->guid.",\"".$obj->title."\",".$obj->dateAdded.",".$obj->type.",".$obj->uri."\n";
if (array_key_exists('children',$obj)){
  foreach($obj->children as $key){
    echo $key->guid.",\"".$key->title."\",".$key->dateAdded.",".$key->type.",".$key->uri."\n";
    if (array_key_exists('children',$key)) {
      foreach($key->children as $key2){
        echo $key2->guid.",\"".$key2->title."\",".$key2->dateAdded.",".$key2->type.",".$key2->uri."\n";
        if (array_key_exists('children',$key2)) {
          foreach($key2->children as $key3){
            echo $key3->guid.",\"".$key3->title."\",".$key3->dateAdded.",".$key3->type.",".$key3->uri."\n";
            if (array_key_exists('children',$key3)) {
              foreach($key3->children as $key4){
                echo $key4->guid.",\"".$key4->title."\",".$key4->dateAdded.",".$key4->type.",".$key4->uri."\n";
                if (array_key_exists('children',$key4)) {
                  foreach($key4->children as $key5){
                    echo $key5->guid.",\"".$key5->title."\",".$key5->dateAdded.",".$key5->type.",".$key5->uri."\n";
                    if (array_key_exists('children',$key5)) {
                      foreach($key5->children as $key6){
                        echo $key6->guid.",\"".$key6->title."\",".$key6->dateAdded.",".$key6->type.",".$key6->uri."\n";
                        if (array_key_exists('children',$key6)) {
                          foreach($key6->children as $key7){
                            echo $key7->guid.",\"".$key7->title."\",".$key7->dateAdded.",".$key7->type.",".$key7->uri."\n";
                          }
                        }
                      }
                    }
                  }
                }
              }
            }
          }
        }
      }
    }
  }
}

?>