[ https://issues.apache.org/jira/browse/NUTCH-2166?page=com.atlassian.jira.plugin.system.issuetabpanels:comment-tabpanel&focusedCommentId=15004191#comment-15004191 ]
Michael Joyce commented on NUTCH-2166: -------------------------------------- Output from a small example run. I don't know that I'm terribly happy with the _file solution. Open to ideas on that. {code} dumpoutputtest/ ├── edu │ └── caltech │ └── www │ └── http │ └── _file └── gov └── nasa ├── eyes │ └── http │ ├── _file │ ├── earth │ │ └── _file │ └── exoplanets │ └── _file ├── jpl │ ├── blogs │ │ └── http │ │ └── _file │ ├── http │ │ └── _file │ ├── mars │ │ └── http │ │ └── _file │ ├── photojournal │ │ └── http │ │ └── _file │ ├── planetquest │ │ └── http │ │ └── _file │ └── www │ └── http │ ├── _file │ ├── about │ │ ├── _file │ │ ├── exec.php │ │ ├── history.php │ │ └── reports.php │ ├── apps │ │ └── _file │ ├── asteroidwatch │ │ └── _file │ ├── contact_JPL.php │ ├── edu │ │ ├── _file │ │ ├── events │ │ │ ├── 2015 │ │ │ │ └── 11 │ │ │ │ └── 1 │ │ │ │ └── see-the-phases-of-the-moon-by-day-and-by-night │ │ │ │ └── _file │ │ │ └── _file │ │ ├── intern │ │ │ └── _file │ │ ├── learn │ │ │ └── _file │ │ ├── news │ │ │ └── _file │ │ └── teach │ │ └── _file │ ├── events │ │ ├── _file │ │ ├── lectures.php │ │ ├── open-house.php │ │ ├── speakers-bureau.php │ │ ├── team-competitions.php │ │ └── tours │ │ └── views │ │ └── _file │ ├── infographics │ │ └── _file │ ├── missions │ │ └── _file │ ├── multimedia │ │ └── audio.php │ ├── news │ │ ├── _file │ │ ├── factsheets.php │ │ ├── mediaroom.php │ │ └── presskits.php │ ├── opportunities │ │ └── _file │ ├── social │ │ └── _file │ ├── spaceimages │ │ └── _file │ └── videos │ └── _file ├── solarsystem │ └── http │ └── _file └── www └── http ├── _file └── earthrightnow └── _file 51 directories, 44 files {code} > Add reverse URL format to dump tool > ----------------------------------- > > Key: NUTCH-2166 > URL: https://issues.apache.org/jira/browse/NUTCH-2166 > Project: Nutch > Issue Type: Improvement > Components: tool > Affects Versions: 2.3, 1.10 > Reporter: Michael Joyce > Assignee: Michael Joyce > Fix For: 2.4, 1.11 > > Attachments: NUTCH-2166_joyce_13Nov2015.patch > > > Update the FileDumper tool with an option for dumping files to the output > directory in reverse URL format. > So the file for > http://bar.foo.com:8983/to/index.html?a=b > Would dump to > <output folder>/com/foo/bar/8983/http/to/index.html?a=b -- This message was sent by Atlassian JIRA (v6.3.4#6332)