ファイルの種別判定にはlibmagic使おう

ファイルの種類を判定する

ファイルの種類を判定するのに拡張子から判定するやり方だと、ちょっと乱暴な感じがしたので調べてみた。
思い浮かぶのがmagicぐらいしかないので、素直にやってみた。

fileコマンドが使っているライブラリ

多分fileコマンドのパッケージと一緒に入るライブラリにlibmagicっていうのがあって、これがmagicデータベースからファイル種別を判定してくれる。

gentooだとここにあるよ

cuomo@ugui7 ~ $ file /usr/share/misc/magic.mgc
/usr/share/misc/magic.mgc: magic binary file for file(1) cmd (version 14) (little endian)

haskellで書いてみた

haskell-magicをいれる

ugui7 ~ # emerge dev-haskell/magic

コードから使ってみる

import Magic
import Control.Monad (forM_)

main :: IO ()
main = do
  magic <- magicOpen []
  magicLoadDefault magic
  forM_ fileList $ \path -> do
    magicFile magic path >>= putStrLn

fileList :: [String]
fileList = [
      "mishimahs2_original.jpg"
    , "ero_dehanai.wmv"
    , "jp106.map.gz" ]

cuomo@ugui7 ~/Code/haskell/magic $ runhaskell FileMagic.hs
JPEG image data, JFIF standard 1.01, resolution (DPI), density 100x100, segment length 16, baseline, precision 8, 624x468, frames 3
Microsoft ASF
gzip compressed data, max compression, from Unix
cuomo@ugui7 ~/Code/haskell/magic $

fileコマンドと同じ出力をとれる
ちなみに、magicOpen関数の引数にMagicMimeTypeを設定すると

image/jpeg
video/x-ms-asf
application/x-gzip

ちゃんとmimeがとれる、その他指定できるフラグは

data MagicFlag
  = MagicNone
  | MagicDebug
  | MagicSymlink
  | MagicCompress
  | MagicDevices
  | MagicMimeType
  | MagicMimeEncoding
  | MagicMime
  | MagicContinue
  | MagicCheck
  | MagicPreserveAtime
  | MagicRaw
  | MagicError
  | UnknownMagicFlag Int

があるます、おおむねfileコマンドのオプションに指定可能なものがフラグになっているぽい

ファイル種別でした...

Yesodでファイルアップロードサイズを調整する方法

Content Lengthで調整

Yesodで、デカいファイルをアップロードすると、エラーが発生する

POST /list/0
  Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
  Status: 413 Too Large 0.000029971s

ファイルのアップロードサイズというか、ContentLengthの調整で対応

設定ファイルからサイズを取れるようにする

* config/settings.ymlに追加

# Content Length Max MB
max-byte: 50

* src/Settings.hs

data AppSettings = AppSettings
...
    , appMaxByte                :: Word64
    -- ^ Content Length Max MB
...

FromJSONのインスタンス設定も修正

instance FromJSON AppSettings where
    parseJSON = withObject "AppSettings" $ \o -> do
        let defaultDev =
...
...
  appMaxByte <- o .:  "max-byte"
..

maximumContentLength関数を実装する

設定を取得してその値を元に、ContentLengthの上限を設定する

instance Yesod App where
...
...
    -- Content Length Max
    maximumContentLength app _ = do
        let size = appMaxByte $ appSettings app
        return $ size * 1024 * 1024 -- MB
...

これでデカいのがあがるようになる

YesodのURLパラメータ

URLのパラメータ変換

URLのパラメータの扱いについて調べてみた

config/routes

/list/#Int ListR GET POST

こう書くと、URLのパラメータに数字が使える、それ以外は「404エラー」、ちょっと注意が必要で、「0087」みたいなパラメータも受け付けるので、これはプログラム側のバリデーション等で対応が必要

基本的な型は、PathPieceクラスのインスタンスなっているので、そのままURLに使えて変換してくれる

それ以外の型をURLパラメータに利用する

適当な場所に、型を定義してPathPieceのインスタンスにする

import qualified Text.Read as R

newtype DirId = DirId Int deriving(Show, Read, Eq)

instance PathPiece DirId where
  toPathPiece (DirId n) = pack $ show n
  fromPathPiece n = case R.reads $ unpack n of
    (p, ""):_
      | p < 1 -> Nothing
      | otherwise -> Just $ DirId p
    _ -> Nothing

toPathPiece関数は特定の型をTextへ変換してURLで利用できるようにし、fromPathPiece関数はその逆。

そしてhandlerで

{-# LANGUAGE NoImplicitPrelude #-}
{-# LANGUAGE OverloadedStrings #-}
{-# LANGUAGE TemplateHaskell #-}
{-# LANGUAGE MultiParamTypeClasses #-}
{-# LANGUAGE TypeFamilies #-}
module Handler.DirList where

import Import

getDirListR :: DirId -> Handler Html
getDirListR (DirId n) = defaultLayout $ do
    setTitle "Routing test"
    $(widgetFile "did")

テンプレート

<div .container>
    <div .bs-docs-section>
        <div .row>
            <div .col-lg-12>
                <div .page-header>
                    <h1 #start>DirID Test
                    <p>n = #{show n}

こんな感じで、できまする、昨晩の宴で呼吸が苦しい...