Added hack to deal with the fact that keep servers are reporting each other's disks.

Added printing of garbage collection report to CSV file. Fixed bug in free disk space computation. Closes #2622

Added computation of resulting free space in garbage collection report.

Added retrieval of stats from keep servers and computing total and free space on keep disks.

Added most of the garbage collection reporting for #2622. Deleted some whitespace.

Moved datamanger prototype to experimental directory to indicate that
it shouldn't be used in production code.

closes #2689

Removed hack which was compensating for keep server bug which has been fixed.
Update to match new log format info field has been renamed to properties.

Added reporting of persisted blocks which are under or over replicated. Also added reporting of blocks without collections. refs #2574

Added disk usage logging! logs are written to api server.

Switched logic for readers, actual disk space is no longer examined,
instad it is the sum of the byte size of the collections (including
the manifest size) they requested to read. In rertrospect I should
probably report both the requested size and the size of the blocks
that actually appear on disk.

split reportUserDiskUsage() into computeUserStorageUsage() and
printUserStorageUsage(). Added logUserStorageUsage() to do the logging
mentioned above.

Moved command line argument parser out of the __main__ block so that
it can be accessed by other packages who wish to support commandline
arguments for this package even though they may have their own main
block.

Added new command line args for api server logging.

refs #2579 #1757

Added weighted persist disk usage. Removed debugging line I had forgotten. refs #2572.

Added memoization to computeWeightedReplicationCosts.

Added unittests for computeWeightedReplicationCosts. Moved arg parsing to main block so that I can use commandline flags for tests when testing. Fixed lots of bugs surfaced by tests.

Added method to computed weighted cost of different replication levels. Added main method to aid in unit testing.

Started reporting unweighted persist usage based on requested replication, not actual replication. refs #2572

Added ability to disable server by specifying port 0. Started keeping api reponse just in case. Started tracking replication level for peristers (although still working on using it everywhere). Added maxdict to make replication tracking easier.

Added handler for collections. Also renamed byte_size to byteSize to follow method naming convention.

Added user page. Started using send_error. Added port flag.

Started using global to actually assign to global variables instead of local variables that shadow them. Added webserver and threads!

Moved main flow into loadAllData method to get ready for multithreading.

Added logging to datamanager, as a step towards writing http server.

Modified algorithm to take disk replication when counting usage.

Added manifest size to calculations.

Merge branch 'master' of git.curoverse.com:arvados into 1968-monitor-disk-usage

Move keep mount point outside TASK_WORK directory to prevent conflict
with arvados.util.clear_tmp().

Add repository=arvados now required by jobs.create.

Bump arvados-cli version to use output_is_persistent feature. refs #1932

Merge branch '1932-job-output-persistent'

closes #1932

Fetch --tags, otherwise we miss out on commits that are tagged but are
not on a branch.

Add dependency on latest arv-run-pipeline-instance.

Clarify c_already_finished comments.

Merge branch '2291-new-keepd-read-blocks'

Addressing code review comments (refs #2485, refs #2295)

os.Remove(f.Name()) is clearer and less scary than os.Remove(PROC_MOUNTS).

Unit test for FindKeepVolumes (refs #2295)

Move "empty blob" magic number into a Collection class method, remove
some old unused code and commented-out debug statements.

Fix some whitespace complaints.

Merge branch 'master' into 1932-job-output-persistent

Conflicts:
doc/user/tutorials/tutorial-firstscript.html.textile.liquid
doc/user/tutorials/tutorial-new-pipeline.html.textile.liquid
sdk/cli/bin/arv-run-pipeline-instance
services/api/db/schema.rb

Fix migration crash when script_version is nil.

Ignore "cache directory does not exist" error when clearing cache at
server startup.

Merge branch '2068-reset-user'

reload object before unsetup

doc: Make index adorable.

It's so cute!

minor cleanup

Clean up the users controller

Update tests to match controller updates towards admin_required

Use before_filter admin_required in the users controller for setup and unsetup actions

Improve the api call invocation

Update UI to use button_to instead of link_to to deactivate the user

Merge branch 'master' into 2068-reset-user

Update the text on the deactivate link

Use post method instead of get method when invoking the unsetup method from the api server.

Story #2068: Invoke the user -> unsetup method when an admin user clicks on the deactivate button in workbench

Expose user unsetup method from the API server. Added functional tests.

Merged branch 1741-internal-git-repo into 2333-crunch-dispatch-token-management

Fixed dangling 'end'

Merge branch 'master' into 2333-crunch-dispatch-token-management

Stylistic changes based on comments from Tom/Brett

Merge branch '2051-nondeterministic-jobs'

Deleted unused code, added code to read blocks on keep server.

Updated message to be clearer.

Initial commit of datamanager.py command line utility. So far all information comes from the python SDK. Future versions will talk to the keep servers as well.

Merge branch '2291-new-keepd-read-blocks' (fixes #2291)

Incorporating code review comments (refs #2291, refs #2438)

Improve readability of unit tests. (refs #2291)

Pass *testing.T object into setup/store functions to reduce
error-checking overhead.

Add list of in-progress/planned SDKs.

Add Ruby SDK page.

Fix broken links and duplicate titles.

Add command line SDK page.

Add Perl SDK page.

Fixes "sec_error_reused_issuer_and_serial" SSL error in Firefox.

Added fix to workbench dashboard so that workbench integration tests pass.
Added slightly helpful failure message to test assertion.
Fixed non-normalized collection uuids in fixtures.

Merge branch 'master' into 2051-nondeterministic-jobs

Conflicts:
doc/README
doc/user/tutorials/tutorial-new-pipeline.html.textile.liquid

Added more tests and more aggressive input checking.

Merge branch '2412-do-not-reuse-task-work-dirs'

Merge branch 'master' of git.clinicalfuture.com:arvados

Fixes #2047: Catch connection errors in 'arv' and report the error nicely
instead of dumping a backtrace.

Incorporating comments from code review (refs #2438, refs #2291)

Reworked input validation on find_commit_range (for real this time!) and added tests.
Fixed descriptive text in tutorial-job1.
Removed dead code.

Merge branch '2288-smoke-test'

Removed trailing whitespace.

Fixed tests
Improved version string validation in find_commit_range
Removed spurious debugging flags
Removed dead code from commit.rb
Removed trailing whitespace
Fixed capitalization of Arvados in documentation

workbench: Timeout integration test Rails launch.

Merge branch 'master' into 2187-enhance-user-setup

Minor test updates

Merge branch 'master' into 2051-nondeterministic-jobs

workbench: Improve integration test Rails launch.

The previous version was susceptible to a race condition where it
would read the file after Rails created it, but before it actually
wrote a pid to it.  This would cause the rake test task to kill itself
later by running Process.kill('TERM', 0).

The controller invokes the create links method from the model when working on an existing user.

workbench: Document deployment Bundle testing.

Update controller action name in functional test. refs #1750

Merge branch '1750-remove-old-schema-doc'

closes #1750

setup method in user model assumes that the user object passed in is valid and hence no longer tries to find it.

Unit test TestGetBlockCorrupt. (refs #2291)

Ground work to remove found object logic from user model's setup method

Merge branch 'master' into 1932-job-output-persistent

Mark output as persistent at end of job, if Job record says to do so.

Add/explain output_is_persistent flag in example pipelines.

Fix reversed input/output in dependency explanation.

Update all functional tests to work with the new response format of List

Added unit tests TestGetBlockOneKeepOK and TestGetBlockFail (refs #2291)

Update user model to return a List instead of HashList

some minor refactoring