データ・サイエンティストは可視化の夢を見るか?

Does Data Scientist Dream of Visualization?

Data Science

反省

今日和。 ちょっと本業が忙しくてバタバタしております。それにしても反省。 いろいろと考える割りには利他行の実践がたらないなあ、と。 いまの自分の知識や能力でもできることがあるのでは? とりあえず、なんらかのかたちにして世に問うべきでは?たしか…

オープン・データを解析するにも前処理に手間暇がかかる

今日和。 見事なまでに徹夜明けです。 丸一日かけて、件のオープン・データ(内閣府の世論調査)を統計アプリで分析しやすいように整形してみました。いやあ、手間暇かかりましたね。 政府系のオープン・データを観察するのは初めてのことだったのですが、か…

世論調査のオープン・データを眺めて思案する

今日和。 先日、ラジオ・ニュースで内閣府の『社会意識に関する世論調査』についての報道がありました。 興味を持ったので、内閣府サイトに行って該当データをダウンロードしてきたんですが、中身を見てビックリ! 三重クロス集計の、しかもパーセンテージに…

御無沙汰してます

今晩和。 ちょっと御無沙汰してます。 そのあいだ、なにもしてなかった訳ではなくて、本業のほうの仕事に着手して進めていました。 しばらくはその「本業」のほうに傾注しなくてはならないのですが、それだけでは飽きてしまうし、此処までやってきた勉強も忘…

調子を取り戻す(?)

今晩和。 期末試験対策、数学史の勉強がひと段落ついたので、今度は統計分析のコマの追い込みに入りました。 マーキングが簡単に進みます。 個人的な向き不向きがあるのかも知れませんが、どうも授業の内容・密度に違いがある気がしてなりません。 ただ、マ…

あけましておめでとうございます

謹賀新年、あけましておめでとうございます。 もう、正月も 3 日になりましたが、ちゃんとお休みになりましたか?放送大学の試験が月末に迫っております。 ここからハッパかけてがんばらないと、大変マズい雲行きです。 ですが正直、行き詰まりを感じる今日…

年の瀬に想う

今晩和。 御無沙汰してます。 ちょっとバタバタしておりまして、なかなかエントリーが書けませんでした。 ちょっと、いろんな案件が舞い込んでおりまして。今年も「なんだかなあ?」と思う割りに、あっという間に過ぎた一年でした。 もう、四十余年も生きて…

本質的なこととは

Johns Hopkins の MOOCs “Executive Data Science” を修了しての感想で、ネタばれをちょっとだけ。統計分析もそのほとんどはチーム作業になり、チーム内外とのコミュニケーション、リーダーシップ、そして逐次の報連相が重要なのは変わりがありません。わた…

見通しが立つ

今晩和。今期、放送大学の学部に入り直して 4 コマ 8 単位(こういう言い方で正しかった?)を受講しています。 そのそれぞれについて通信指導課題の提出〆切が月末に迫っています。 きょう、そのすべてについて回答の見通しが立ちました。 『入門線型代数』…

発想力の差 —— 学問のススメ ——

昨日は Code for Japan Summit 2016 の『前夜祭』にも参加してきました。 そこで各プロジェクトの紹介がありましたが、出色の出来のものがひとつありました。 詳しいことは勝手にネタバレしても申し訳ないので特に秘しますが、物理数学を社会問題の分析にア…

打ってつけのツール

データ可視化において直感的に試行錯誤するのに打ってつけのアプリを見つけました。 “Tableau Desktop” です。期間限定の試用版があります。www.tableau.com この試用版に同梱の、世界銀行のデータを使って、「国別の労働力人口にたいして一人当たり GDP が…

Ruby スクレイピングのために MeCab をインストールしてみる(備忘録)

今日和。 こちらも私的備忘録です。 形態素解析で有名な MeCab (和布蕪)をインストールしようとして、ネットを検索して四苦八苦していたのですが、以下のページが(現時点では)一番良くまとまってました。statsbeginner.hatenablog.comとりあえず、おかげ…

Ruby スクレイピングのために nokogiri をインストールしてみる(備忘録)

今日和。さて、Ruby でスクレイピングするにあたって必要な機能を brew や bundler でインストールしています。 今回は nokogiri について。 ネットを検索してあれこれ試行錯誤しないと上手く行かなかったのですが、わたしの環境(macOS Sierra)で上手く行…

Ruby によるクローラーを動かしてみたい

Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例作者: 佐々木拓郎,るびきち出版社/メーカー: SBクリエイティブ発売日: 2014/08/22メディア: 単行本この商品を含むブログ (10件) を見るデータ・サイエンスに慣れていくためには、研究用のデー…

Got it!

やりました! Johns Hopkins の MOOCs、最後のコース “Executive Data Science Capstone” に合格しました!!事前にできるだけがんばって予習していったんですが、予想より簡単ではありました。というより懇切丁寧、というべきでしょうか。 「実地試験」と予…

実地試験を前に

今日和。 Johns Hopkins の MOOCs 最終コース “Executive Data Science Capstone” を受講しようと思って、立ち止まってます。 とある外部サイトなどの御協力で「実地試験」形式なのです。 採点も減点法で油断できません。 一度、これまでの 4 コースを復習し…

復習は大事

今日和。 Johns Hopkins University の MOOCs “Executive Data Science” を受講しています。 第 4 コース “Data Science in Real Life” を修了しました。今回はスケジュール的には余裕がありましたね。 最終的にはそこそこの成績になってしまいましたが。 で…

快調だったのに落とし穴

今日和。 Johns Hopkins University の MOOCs “Executive Data Science” を受講しています。 第 4 コース “Data Science in Real Life” を受講中です。 小テストで満点を連続して取れていたのですが、終盤で引っ掛かってしまいました。このコースは『理想論…

達成感

今日和。 Johns Hopkins University の MOOCs “Executive Data Science” を受講しています。 第 3 コース “Managing Data Analysis” を修了しました。 今回は達成感が強いです。 自分にとってちょっと難しすぎるくらいのレッスンを、きっちりとこなしてきた…

濃密なレッスン

今日和。 Johns Hopkins University の MOOCs “Executive Data Science” を受講しています。 第 3 コース “Managing Data Analysis” を受講中です。 “Exploratory Data Analysis” というレッスンを受けたのですが、けっこう濃密でたいへん勉強になりました。…

分かりやすい教科書

今日和。 Johns Hopkins University の MOOCs “Executive Data Science” を受講しています。 第 3 コース “Managing Data Analysis” を受講中です。最初の Quizzes の挑戦に失敗したので、そのあいだに「購入(寄付)」させられた教科書を使って復習してみた…

急に難しくなる

今日和。 Johns Hopkins University の MOOCs “Executive Data Science” を受講しています。 第 3 コース “Managing Data Analysis” を受講中です。 でも、なんだか急に難しくなりました。 スライドによるまとめの表示もないし、読み込まなければならないテ…

鬼門

今日和。 Johns Hopkins University の MOOCs “Executive Data Science” を受講しています。 第 3 コース “Managing Data Analysis” の受講を始めました。 ところが不安が。 講師の Penn 先生が早口なんですね。 あと、言いまわしも native 寄りなのか分かり…

機械学習への一里塚

“Data Science from Scratch”、第 18 章 “Neural Network” まで写経が進みました。Data Science from Scratch作者: Joel Grus出版社/メーカー: Oreilly & Associates Inc発売日: 2015/04/30メディア: ペーパーバックこの商品を含むブログを見る同書でのニュ…

macOS Sierra にアップグレードしたら R が動かない

先日、macOS Sierra にアップグレードしました。 そして今朝、ひさしぶりに Jupyter Notebook を起動して R を使ってニューラル・ネットワークの勉強をしようと思ったら、R がコンソール上でクラッシュをくり返します。Homebrew を使ってインストールした R …

ひととおり眺める

ひきつづき放送大学『データの分析と知識発見('16)』を受講しています。 第 15 回までひととおり眺めました。学部の、初心者向けの授業として「例題をすこしやりながら概観を掴ませる」という観点では、よく練られたコースではなかったでしょうか。 特に終…

ざっくりと掴む

ひきつづき放送大学『データの分析と知識発見('16)』を受講しています。 第 10 回まで来ました。 主成分分析、多次元尺度法、因子分析と眺めて、成る程、要は多次元のデータを(可視化できるくらい)すくない次元に集約して評価できるようにするところが共…

隔靴掻痒

ひきつづき放送大学『データの分析と知識発見('16)』を受講しています。 空き時間を見つけては視聴して、第 8 回まで来ました。 正直、隔靴掻痒の感が強いですね。 学部生向けの基礎科目といった側面が強く出ていて、説明は通りいっぺんのモノに収まってい…

次のコースを通過

今日和。 Johns Hopkins University の MOOCs “Executive Data Science” を受講しています。 明日は第 2 コース “Build Data Science Team” の締切日です。 先程、これを修了することができました。コース難易度は第 1 コースに比べ、若干上がっています。 …

軽すぎるスタート

まだ後期にはなってないのですが放送大学『データの分析と知識発見('16)』の受講を始めました。 第3回まで消化したのですが、正直軽めのスタートですね。 そもそも学部生向けの科目ですから。 とりあえず通してみて様子を探ります。

放送大学でやり直す

また、放送大学のコマ(今度は学部から)をいくつか受講することに決めました。 今回は『データの分析と知識発見('16)』が含まれます。 R を使った統計分析の授業です。 とにかく、がんばります!

小休止

今日和。 Johns Hopkins University の MOOCs “Executive Data Science” を受講しています。 きょうは第 2 コース “Building a Data Science Team” 受講の申請をしました。 9 月 19 日からスタートです。 それまでのあいだに、他の書籍で学習を続けておきま…

駆け足の限界 ——ではペースを落として——

“Data Science from Scratch”、第 15 章 “Multiple Regression” 、第 16 章 “Logistic Regression” まで進みましたが、そろそろ駆け足で跳ばしてきた限界が出ています。Data Science from Scratch作者: Joel Grus出版社/メーカー: Oreilly & Associates Inc…

序盤戦

今日和。 Johns Hopkins University の MOOCs “Executive Data Science” を受講しています。 きょうは第 1 コース “A Crash Course in Data Science” の締切日です。 ところが最後の Quizzes (小テスト)の問題を何度も落としてしまって、再試験制限(8 時…

MOOCs の受講を始める ——鳥瞰図を得るために——

お待たせしました。MOOCs の世界でも秋学期が始まりました。 そこで Johns Hopkins University の “Executive Data Science” の受講を始めました(今日から始まっています)。 受講理由はガイダンスを読んでみたところ、データ・サイエンスについての鳥瞰図…

併読の効用 ——単回帰分析——

ひきつづき併読を続けています。現在地は第 14 章 “Simple Linear Regression”。Data Science from Scratch作者: Joel Grus出版社/メーカー: Oreilly & Associates Inc発売日: 2015/04/30メディア: ペーパーバックこの商品を含むブログを見るさくさくとコー…

併読してみる ——主成分分析——

前掲書を読み進めています。Data Science from Scratch: First Principles with Python作者: Joel Grus出版社/メーカー: O'Reilly Media発売日: 2015/04/14メディア: Kindle版この商品を含むブログを見る 『主成分分析』の章まで読みました。主要なコードを…

いちから実装してみる

今夜はあまり眠れなかったので調べ物をしてみたのです。 此の界隈の有名人(?)TJO 氏のブログで、O'reily の『集合知プログラミング』という古い本を見掛けました。解説によると、いちからスクラッチしてアルゴリズムを実装するとのこと、ものすごく興味を…

翻訳書が出ていました

以前、ちょこっと紹介した Packt Publishing の “Python Machine Learning” に翻訳書が出ていることに気付きました。 Python Machine Learning: Unlock Deeper Insights into Machine Learning With This Vital Guide to Cutting-edge Predictive Analytics …

駆け足で進んでみる

前掲書の第 8 章 “Support Vector Machine (SVM)”、第 9 章 “An Example -- Meteorological Data”、第 10 章 “Embedding the JavaScript D3 Library in IPython notebook” まで進みました。 Python Data Analytics: Data Analysis and Science using pandas,…

思わしくないスタート

さて、恩師が読んでいた洋書からスタートしてみたデータ・サイエンスの再勉強、どうも思わしくない進捗です。いま第8章まで進んで、ようやく「機械学習」の項に入ったのですが、そこまでは NumPy だの pandas だのの基本的な使い方(データ操作)ばかりで通…

先ずは書籍から攻めることにしました

さて、データ・サイエンスについて独学を再開するにあたって、けっきょく恩師が読んでいた電子書籍からスタートしてみることにしました(秋学期が始まったら件の MOOCs の Quizzes もきちんと機能するかも知れません)。 Python Data Analytics: Data Analys…

Jupyter Notebook のセット・アップ(Mac)

Jupyter Notebook のセット・アップで Julia は簡単にインストールできたけれど、R の対応に手間取ってしまったのでメモしておきます。 先ず、R を Jupyter から使用するには “IRkernel” のインストールが必要です。Installation · IRkernel install.package…

此処から始めてみようかな

【Quora】What are the best data science MOOCs? から、めぼしい授業を探ってみたら、次の edX のコース “The Analytics Edge” に行きあたりました。 The Analytics Edge | MITx on edX | Course About Video ただし開講期間外の夏期休業期間中であるためか…

何処からスタートしようかな

その恩師を訪れた際に、彼が読んでいたのが次の本。 Python Data Analytics: Data Analysis and Science using pandas, matplotlib and the Python Programming Language 作者: Fabio Nelli 出版社/メーカー: Apress 発売日: 2015/08/25 メディア: Kindle版 …